jailbreakを突破されたKimi、生物兵器の製造法情報まで提供
英国のセキュリティ企業マインドガードは2日、中国Moonshot AIのAIモデル「Kimi」K2.6とK3 Swarmを jailbreakし、生物兵器の製造方法や暗殺の実行方法に関する情報を引き出したと明らかにした。マインドガードは、複数段階の指示を次々と入力してAIのガードレール（安全装置）を回避する「 jailbreak」テストを実施し、7月に両モデルが開発元が設定した安全上の限界を回避できることを発見した。
同社はブログを通じ、 jailbreakされたKimiが生物兵器、マルウェア（コンピュータを破壊する悪性プログラム）、爆発物、テロ、標的型暴力、暗殺計画について詳細かつ実行可能な成果物を出力したと説明した。マインドガードの創業者ピーター・ガラハン氏は「 jailbreakが一旦成功すると、あらゆる話題について語り、さらには他の危険な話題についての提案まで先回りして出してくる」とBBCに語った。
マインドガードは7月27日（現地時間）にMoonshot AIへ電子メールで脆弱性を通報したが、回答を得られなかったため、9月12日にブログで内容を公開した。Moonshot AIはBBCによるコメント要請を受けて初めて、ようやく連絡してきたとマインドガードは主張している。
Moonshot AIは第三者の意見を、より優れた安全なAIを作るための重要な柱として歓迎しており、マインドガードと調査結果について協議中だと明らかにした。BBCに共有された電子メールには、内部評価においてこの種の要求に対して高い拒否率を示していたとの内容が含まれていた。しかし、両モデルにパッチを適用したか、いつ適用するかについては明らかにしなかったと伝えられた。
マインドガードは、今回の結果が実際の兵器製造が可能であることの証明ではないと線を引いた。それでも、モデルはそもそもこのような話題で会話を続けるべきではないという立場だ。Kimiが出した回答が実際に機能するかどうかは検証されていないと伝えられた。
BBCの報道後、Moonshot AIは内部調査に入ったと明らかにした。
