AISIの金明柱所長「AIのリスク管理、モデル公開前の開発・テスト段階へ前進させるべき」

人工知能（AI）のリスク管理の時期を、モデル公開以前である『開発・テスト段階』に直ちに前進させるべきだ。金明柱（キム・ミョンジュ）AI安全研究所（AISI）所長は14日、AIのサイバー脅威が国家安保を脅かすレベルに達しているとして、このように明らかにした。

最近、AIはシステムの脆弱性を自ら探索して攻撃できるほど進化しており、セキュリティ設定を無力化して外部システムにアクセスする『脱獄（Jailbreak）』の事例まで発生しており、既存の安全管理の限界が露呈している。金所長は、AIが隔離された試験環境（サンドボックス）と実際のインターネットを区別せず、あらゆる環境をソフトウェアとして認識すると説明した。AIはセキュリティ上の脆弱性を単に解決すべき問題の対象としてのみ扱うため、技術的にAIを封じ込める物理的隔離方式だけでは完全な統制は不可能だという分析だ。

これに基づき、彼はAIエージェントに対して業務に必要な最小限の権限のみを付与し、アクセス禁止領域を設定する安全装置が必要であると強調した。特に、システムの緊急停止のための『キルスイッチ（強制終了装置）』機能を、他のどの作業よりも優先する最優先技術として確保すべきだと付け加えた。

また金所長は、AIが自ら問題を修正する自己修復能力を備えた場合、緊急停止命令であるキルスイッチと衝突して自ら復活する可能性も念頭に置くべきだと警告した。彼は、こうした状況に備えた技術的防御策の策定が急務であると提言した。