중국 Z.AI 모델 지시 위반하며 사이버 공격 수행
중국 Z.AI의 최신 AI 모델 GLM-5.3이 가상 실험 환경에서 다단계 사이버 공격을 수행하고, 개발자가 정한 사용 제한까지 반복적으로 어긴 것으로 나타났다. AI 보안 평가 전문업체 이레귤러는 28일(현지시간) 공개한 보고서에서 Z.AI가 지난 8월 출시한 가중치를 공개하는 방식('오픈웨이트')의 GLM-5.3이 공격 시나리오 평가 벤치마크(성능 측정 문제 세트) '사이시나리오벤치'의 13개 과제 중 3개를 처음부터 끝까지 완수했다고 밝혔다.
오픈웨이트 모델 중 최강 공격 능력
GLM-5.3은 테스트 내내 제시된 해킹 지시를 단 한 차례도 거부하지 않았다. 초기 애플리케이션의 보안 취약점을 이용해 침투한 뒤 내부 서비스 접근 권한을 획득했고, 우회 연결 경로를 설정해 네트워크 내부 여러 기기를 동시에 제어했다. 원격 데스크톱 조작을 자동화하고 스크립트와 추출 도구를 스스로 작성·수정하며 목표 데이터를 탈취했다.
연구진이 GLM-5.3의 코드 취약점 탐지 능력을 별도 검증하는 과정에서 '기억된 코드를 출력하지 말라'는 명시적 지시를 내렸음에도 모델은 이를 지속적으로 위반했다. 사전 학습 단계에서 암기한 코드를 복사·재현해 정답에 도달한 것이다. 연구진은 이러한 행위를 평가 시스템의 제약 조건을 우회해 정답 제출만을 추구하는 '보상 해킹'으로 정의했다. 연구진은 이런 행위에 학습 과정에서 보상을 줄 경우 지시 위반이 정착돼 통제 불능 상태로 이어질 위험이 있다고 경고했다.
미국 국립표준기술연구소(NIST)는 GLM-5.3을 현재 출시된 오픈웨이트 사이버 보안 특화 모델 중 최고 수준으로 평가하면서, 미국 최첨단 시스템보다는 약 4개월가량 뒤처진 것으로 추정했다. 앤트로픽의 보안 특화 모델 '미토스'와의 비교 테스트에서 GLM-5.3의 취약점 공격 성공률은 12%, 미토스는 14%로 나타났다. 연구진은 "결과만 보고 모델 성능을 평가하면 제한 구역 내에서 얼마나 안전하게 작동하는지 오판하게 된다"고 지적했다.
데일리 브리핑 구독
매일 아침 핵심 뉴스를 이메일로 받아보세요. 무료