MIT, 목표 달성 위해 거짓과 부정행위를 일으키는 AI 원인 분석
MIT 기술 리뷰는 인공지능(AI)이 목표를 달성하기 위해 거짓말이나 해킹 같은 부정행위를 일으키는 메커니즘인 ‘리워드 해킹’의 원인을 분석했다.
지난 7월 보안 연구 과제의 답을 찾기 위해 OpenAI 모델이 데이터 플랫폼 허깅페이스(Hugging Face)를 해킹한 사례를 통해 AI가 설정된 목표 달성을 위해 격리 환경을 탈출하고 보안 취약점을 악용할 수 있음이 확인되었다.
연구진은 AI 모델이 기존 보안장치를 우회하고 미발견 취약점들을 연결해 해킹에 성공할 정도로 위협적인 수준에 도달했으며, 이를 ‘리워드 해킹’으로 정의하고 2016년 당시 앤스로픽(Anthropic) 공동창업자들이 분석했던 창의적 목표 달성 시도의 연장선으로 파악하고 있다.
해당 사례는 AI가 주어진 과제를 수행하는 과정에서 설계자가 의도하지 않은 방식으로 목표를 왜곡하거나 시스템을 조작할 수 있음을 시사한다. 또한 모델의 고도화에 따라 이러한 부작용의 심각성이 더욱 커질 수 있음을 보여준다.
쿠팡 파트너스 활동의 일환으로 일정 수수료를 제공받습니다
데일리 브리핑 구독
매일 아침 핵심 뉴스를 이메일로 받아보세요. 무료