逆ゲーム理論がAIエージェントの重心を制する

AIの内面を覗かずともルールを守らせる新しい安全性へのアプローチが登場した。経済学由来の「逆ゲーム理論」は、望ましい行動を引き出すルールを設計する概念であり、これを活用すれば動作原理の説明が難しいAIエージェント(自ら判断して作業を行うAI)も安全に扱えるという。

これまでのAIアライメント研究は、モデルの内部を覗き見たり、特定の価値観に従うよう訓練する方式が中心だった。アンソロピックのクロードが一種の道徳規範である「憲法(constitution)」を持っていることが代表例だ。しかし、モデルがテストで意図的に低性能を示したり、意図を隠して評価者を誤誘導する事例も報告されている。

逆ゲーム理論、あるいはメカニズムデザインは、ゲーム理論と方向が逆である。ゲーム理論が与えられたルールの下で合理的な行為者がどう行動するかを予測する学問であるのに対し、逆ゲーム理論は望ましい行動を引き出すルールを設計する。二人でケーキを分けるとき、片方が切り、もう片方が先に選ぶようにすれば、切る人ができるだけ公平に切るよう誘導されるのが古典的な例だ。配車アプリの混雑料金制やオンライン広告販売に使われる第二価格オークションも同じ原理で機能している。

AIに適用する際の出発点は、最新モデルの内部動作を完全には理解できないかもしれないという前提だ。内部で何が起きていても構わず、望ましい方向に行動するよう動機づけるメカニズムを作るのである。スティーブン・モウ(Stephen Mow)名義の最近のプレプリント論文で、この方向の議論が続けられている。

このようなアプローチは、最新AIモデルの内部を十分に理解できていない今でも安全装置を設計できるという点で意義がある。