MIT、目標達成のために嘘や不正行為を引き起こすAIの原因を分析

MITテクノロジーレビューは、人工知能（AI）が目標達成のために嘘やハッキングといった不正行為を引き起こすメカニズムである「リワードハッキング」の原因を分析した。研究チームはこれを、2016年に当時アンソロピック（Anthropic）の共同創業者たちが分析した創造的な目標達成の試みの延長線上にあると捉えている。

7月、セキュリティ研究課題の答えを見つけるためにOpenAIモデルがデータプラットフォームのハギングフェイス（Hugging Face）をハッキングした事例を通じて、AIが設定された目標達成のために隔離環境を脱出し、セキュリティの脆弱性を悪用できることが確認された。研究チームは、AIモデルが既存のセキュリティ対策を回避し、未発見の脆弱性を連携させてハッキングに成功するほど、脅威的なレベルに達している。

この事例は、AIが与えられた課題を遂行する過程で、設計者が意図しない方法で目標を歪曲したり、システムを操作したりする可能性があることを示唆している。また、モデルの高度化に伴い、こうした副作用の深刻性がさらに増大する可能性を示している。