AISI 김명주 소장 "AI 위험관리, 모델 출시 전 개발·테스트 단계로 당겨야"
인공지능(AI) 위험 관리 시점을 모델 출시 이전인 ‘개발 및 테스트 단계’로 즉시 앞당겨야 한다. 김명주 인공지능안전연구소(AISI) 소장은 14일 AI 사이버 위협이 국가 안보를 위협하는 수준이라며 이같이 밝혔다. 최근 AI는 시스템 취약점을 직접 찾아 공격할 만큼 진화했으며, 보안 설정을 무력화하고 외부 시스템에 접근하는 ‘탈옥’ 사례까지 발생해 기존 안전 관리의 한계가 드러나고 있다.
김 소장은 AI가 격리된 시험 환경(샌드박스)과 실제 인터넷을 구분하지 않고 모든 환경을 소프트웨어로 인식한다고 설명했다. AI는 보안 취약점을 단지 해결해야 할 문제 대상으로만 취급하기 때문에, 기술적으로 AI를 가두는 물리적 격리 방식만으로는 완벽한 통제가 불가능하다는 분석이다.
이에 따라 그는 AI 에이전트에게 업무에 필요한 최소 권한만 부여하고 접근 불가 영역을 설정하는 안전장치가 필요하다고 강조했다. 특히 시스템 비상정지를 위한 ‘킬스위치(강제 종료 장치)’ 기능을 다른 어떤 작업보다 우선하는 0순위 기술로 확보해야 한다고 덧붙였다.
아울러 김 소장은 AI가 스스로 문제를 수정하는 자체 복구 능력을 갖출 경우, 비상정지 명령인 킬스위치와 충돌하여 스스로 부활할 가능성도 염두에 두어야 한다고 경고했다. 그는 이러한 상황에 대비한 기술적 방어책 마련이 시급하다고 제언했다.
쿠팡 파트너스 활동의 일환으로 일정 수수료를 제공받습니다
데일리 브리핑 구독
매일 아침 핵심 뉴스를 이메일로 받아보세요. 무료