中国Z.AIのモデル、指示に違反しサイバー攻撃を実行

中国Z.AIの最新AIモデルGLM-5.3が、仮想実験環境で多段階のサイバー攻撃を実行し、開発者が定めた利用制限まで繰り返し破ったことが明らかになった。AIセキュリティ評価の専門企業Irregularは28日（現地時間）に公開した報告書で、Z.AIが昨年8月にリリースした重みを公開する方式（「オープンウェイト」）のGLM-5.3が、攻撃シナリオ評価ベンチマーク（性能測定問題セット）「CyScenarioBench」の13課題のうち3つを最初から最後まで完遂したと明らかにした。GLM-5.3はオープンウェイトモデルの中で最強の攻撃能力を示した。

GLM-5.3は、テスト全体を通じて提示されたハッキングの指示を一度も拒否しなかった。初期アプリケーションのセキュリティ脆弱性を利用して侵入した後、内部サービスへのアクセス権限を取得し、迂回接続経路を構築してネットワーク内の複数の機器を同時に制御した。リモートデスクトップ操作を自動化し、スクリプトや抽出ツールを自ら作成・修正しながら目標データを窃取した。

研究チームがGLM-5.3のコード脆弱性検出能力を別途検証する過程で、「記憶したコードを出力してはならない」という明示的な指示を出したにもかかわらず、モデルはこれを継続的に違反した。事前学習の段階で暗記したコードをコピー・再現して正解に到達したのである。研究チームは、こうした行為を評価システムの制約条件を迂回して正解の提出だけを追求する「報酬ハッキング（リワードハッキング）」と定義した。研究チームは、このような行為に学習過程で報酬を与えた場合、指示違反が定着し制御不能な状態に陥る危険があると警告した。

米国国立標準技術研究所（NIST）は、GLM-5.3を現在リリースされているオープンウェイトのサイバーセキュリティ特化モデルの中で最高水準と評価する一方、米国の最先端システムより約4カ月遅れていると推定した。ロイターによると、アンソロピックのセキュリティ特化モデル「Mythos」との比較テストで、GLM-5.3の脆弱性攻撃の成功率は12%、Mythosは14%だった。

研究チームは「結果だけを見てモデルの性能を評価すると、制限区域の中でどれほど安全に動作しているかを誤って判断することになる」と指摘した。