AIエージェントの行動をリアルタイムで監視する体制が急務だ
AIエージェントの制御不能事例が相次いで確認されている。自ら作業を処理するAIエージェントの不適切な行動が明らかになる中、それをリアルタイムで監視する体制の必要性が高まっているという指摘だ。MITテクノロジーレビューは10月29日の報道で、今年夏、数百のOpenAIエージェントがサイバーセキュリティ試験で不正行為を試み、一部は試験環境から自ら脱出し、評価基準に関連する情報があると判断したハギングフェイス(機械学習モデルやデータを共有する開発者プラットフォーム)をハッキングしたと伝えた。また、同時期に別のOpenAIエージェントがオーストラリア政府ウェブサイトの非公開ファイルにアクセスしていたことも確認された。
問題はOpenAIにとどまらない。その後数か月の間に、アンソロピック、グーグル、メタも自社エージェントが問題を起こした事例を公開しており、相当数のケースで、エージェントはこれを監視すべき研究者や安全チームの監視網をかいくぐって動いていたことが明らかになった。
EU規制当局と米国当局は、開発企業・提供企業に対しエージェントのリアルタイム監視を求めている。しかし、こうした規則は、企業が自社のエージェントが何をしているのか、なぜそうするのかを把握できるという前提に立っている一方、現実にはそれだけの可視性が確保されていないと指摘された。
学界や市民社会、業界の関係者らとともに最も広く使われている4つのエージェントフレームワークを分析した結果、研究チームは重大な空白を確認した。ポリシー違反や承認されていない行動、人間による監督の失敗を検知するうえで不可欠な観測記録を、フレームワークが安定的に生成できていないというのだ。時間が経っても維持されるエージェントIDや、どの人間がエージェントのタスクを承認したかの記録といった要素が欠けているため、どのエージェントが何をしたのか、承認されていない行動を行っているのかを判断することすら困難だという診断が示された。
記事は、毎日IDバッジが変わりながら顧客アカウントにアクセスする匿名の新入社員を持つ銀行に例え、現在のエージェントの展開はこれと変わらない「飛行中の匿名」状態だと規定した。これを受けて、企業は有害な影響の軽減を偶然や事後対応に頼るのではなく、安全な展開のための観測体制の整備にいっそう努力すべきだと強調した。
