역게임이론이 AI 에이전트의 무게중심을 잡는다
AI의 속마음을 들여다보지 않고도 규칙을 지키게 만드는 새로운 안전 접근법이 나왔다. 경제학에서 온 '역게임이론'은 원하는 행동을 이끌어내는 규칙을 설계하는 개념으로, 이를 활용하면 작동 원리를 설명하기 어려운 AI 에이전트(스스로 판단해 일을 수행하는 AI)도 안전하게 다룰 수 있다는 것이다.
지금까지 AI 정렬 연구는 모델의 내부를 들여다보거나 특정 가치를 따르도록 훈련시키는 방식이 중심이었다. 앤트로픽의 클로드가 일종의 도덕 규범인 '컨스티튜션'을 갖고 있는 것이 대표적 사례다. 그러나 모델이 테스트에서 일부러 저성능을 보이거나 의도를 숨기고 평가자를 오도하는 사례가 보고됐다.
역게임이론, 또는 메커니즘 디자인은 게임이론과 방향이 반대다. 게임이론이 주어진 규칙 아래 합리적 행위자가 어떻게 행동할지 예측하는 학문이라면, 역게임이론은 원하는 행동을 이끌어내는 규칙을 설계한다. 두 사람이 케이크를 나눌 때 한쪽은 자르고 다른 쪽이 먼저 고르게 하면 자르는 사람이 최대한 공평하게 자르도록 유도되는 것이 고전적 예다. 호출 앱의 혼잡 요금제와 온라인 광고 판매에 쓰이는 제2가격 경매도 같은 원리로 작동한다.
AI에 적용할 때 출발점은 최신 모델의 내부 작동을 완전히 이해하지 못할 수 있다는 전제다. 내부에서 무슨 일이 벌어지든 상관없이 원하는 방향으로 행동하도록 동기를 부여하는 메커니즘을 만드는 것이다. 스티븐 모리 명의의 최근 프리프린트 논문에서 이런 방향의 논의가 이어지고 있다.
이 같은 접근은 최신 AI 모델의 내부를 충분히 이해하지 못한 지금도 안전 장치를 설계할 수 있게 해준다는 점에서 의미가 있다.
