프린스턴대 연구진 "AI 스스로 개선하는 시대, 예상보다 늦어질 수도"
AI의 자기 개선은 아직 요원하다. 프린스턴 대학교 연구팀의 연구를 인용, AI가 스스로를 개선하는 '순환적 자기 개선(recursive self-improvement)' 실현이 예상보다 지연될 것이라고 보도했다. 현재 AI는 스스로를 개선할 만큼 창의적인 연구 능력을 갖추지 못한 것으로 나타났다.
프린스턴 대학교 연구팀은 AI 에이전트의 연구 수행 능력을 평가했다. 연구진은 '그림자 평가(Shadow evaluation)'라는 방식을 사용했는데, 아직 공개되지 않은 논문에서 연구 질문을 가져와 AI가 풀게 하는 방식이다. 공개 전 논문을 활용하기 때문에 AI가 학습 데이터에서 정답을 암기하거나 온라인에서 찾을 수 없다는 장점이 있다.
연구진은 오픈소스 소프트웨어 '오픈클로(OpenClaw)' 위에서 구동되는 앤스로픽의 '클로드 오퍼스 4.8'에 두 개의 과제를 맡겼다. 과제는 기계학습 분야 최상위 컨퍼런스로 꼽히는 뉴립스 2026에 투고된 두 편의 논문에서 나왔다. 하나는 언어 모델의 행동을 결정하는 '페르소나'를 모델 가중치 편집으로 통제할 수 있는지를 묻는 것이었고, 다른 하나는 스프레드시트 데이터 기반 예측 모델이 신뢰할 수 없게 된 시점을 가려내는 탐지기 설계 문제였다. 에이전트에는 여섯 낮과 밤이 주어졌고, 안스로픽 API 크레딧 3,000달러, 실험용 GPU 예산, 가상 컴퓨터, 웹 접근 권한도 함께 제공됐다. 원 논문 저자들은 AI가 작성한 논문을 컨퍼런스 투고 논문을 심사하듯 평가했다.
평가 결과, AI 에이전트는 문헌 검토부터 수백 건의 실험 실행, 결과 정리까지 연구에 필요한 공학적 작업은 해냈다. 그러나 명확한 정답이 없는 탐구에서 필요한 판단력과 창의성이 부족해, AI는 매우 작은 규모의 합성 데이터셋에서 가설을 검증하는 실험을 벌였고 자신의 연구를 알아듣기 쉽게 서술하지도 못했으며 해당 분야에 새로운 기여를 하지 못했다. 논문들은 최상위 기계학습 학회 수준의 품질에 한참 못 미쳤다.
이번 연구는 AI가 스스로 AI 연구를 자동화하는 시점에 대한 기존 타임라인이 실제 증거보다 앞서 있을 수 있음을 시사한다. AI의 자기 개선 능력을 둘러싼 기대치를 재조정해야 할 필요성이 제기된다.
쿠팡 파트너스 활동의 일환으로 일정 수수료를 제공받습니다
데일리 브리핑 구독
매일 아침 핵심 뉴스를 이메일로 받아보세요. 무료