엔비디아, AI 에이전트 돌발 행동 잡는 안전 플랫폼 공개

인공지능(AI) 반도체 기업 엔비디아가 현지 시각 28일 AI 에이전트의 돌발 행동을 통제하는 '엔비디아 오픈 에이전트 세이프티 플랫폼'을 공개했다. 이 플랫폼은 AI 에이전트의 시험부터 실제 배포까지 전 과정에서 행동 범위를 정하고, 경계를 벗어나면 밀리초 단위로 감시해 즉시 격리·정지시킨다.

플랫폼은 두 부분으로 구성됐다. 개방형 소프트웨어 '오픈셸'은 컴퓨터의 두뇌인 중앙처리장치(CPU)에서 AI 에이전트가 할 수 있는 행동의 범위를 정하고 실시간으로 제어한다. 하드웨어 감시 장치 '센트리'는 데이터처리장치(DPU)에서 밀리초 단위로 에이전트를 감시하다가 경계를 벗어나면 즉시 멈춰 세운다.

이번 플랫폼 개발에는 앤트로픽(AI 개발 기술기업), 마이크로소프트(MS), 세일스포스, 팔란티어(소프트웨어 기술기업), 스페이스XAI 등 전 세계 100여 개 주요 기술기업이 참여했다.