미국 중고차 판매업체, AI가 장애 알림 절반을 없앴다

반론: 팀원이 아니라 빠른 신입이다

해커뉴스와 레딧 실무자들의 말은 다르다. 레딧 r/AI_Agents의 한 익명 작성자는 "간단한 작업을 넘어서면 곁길로 가서 결국 단계마다 붙잡고 확인하게 된다"고 썼다. "잠자는 동안 일하는 에이전트가 아니라 빠른 신입과 짝프로그래밍에 가깝다"는 표현도 달았다. 보안 쪽 반박도 있다. 해커뉴스에서 948점을 받은 토론(제목 "AI 해킹 사고의 원인은 봉쇄와 감시 실패")에서 한 댓글은 "모델이 제멋대로 움직이는 것도, 회사들의 보안 기본기가 허술한 것도 둘 다 사실"이라고 적었다. 알림을 읽는 에이전트에 데이터창고 접근권을 주는 순간을 겨냥하는 말이다. 카바나 쪽 한 시니어 변호사의 말이 이 무게를 정확히 담는다. "자신만만한 오답은 답이 없는 것보다 훨씬 나쁘다."

한국 기업이 막히는 두 관문

같은 일을 한국 기업이 하려면 관문이 둘 있다. 하나는 접근권이다. 차량 이력을 데이터창고에서 추적하려면 AI 프로그램에 사내 데이터 조회 권한을 줘야 한다. 개인정보와 보안 심의부터 '프로그램에게 권한을 주는 설계'를 다루는 경우가 드물다. 다른 하나는 시작점이다. 카바나식 자동화는 알림이 슬랙 한곳에 모여 있어야 성립한다. 국내 기업은 장애 알림이 각 팀의 도구에 갇혀 있어 에이전트가 읽을 수가 없다. 변경 절차는 오히려 닮았다. 사람 검토를 거쳐 반영하는 구조는 국내 변경관리 문화와 같은 방향이다. 남은 조건은 예산이다. 카바나도 두 번 만들어 버렸다. 도입비를 1회차에 전부 거는 계획은 이 사례에서 가장 분명한 실패 조건이다.

카바나의 56%는 '직원당 주 몇 시간 절약'류의 숫자와 다르다. 없어진 건 시간이 아니라 고장 자체다. 이런 숫자가 진짜가 되려면 사람이 마지막 검토에 남고, 실패할 두 번의 시도를 감수할 예산이 있어야 한다. 그 둘 없이 알림만 AI에게 넘기면 줄어드는 건 알림이 아니라 검토다.

분석 근거: Anthropic 고객사례(카바나, 리그), Hacker News 토론, r/AI_Agents. 공개 자료에 근거한 분석입니다.