카바나는 경보 56%를 줄이고 자체 AI를 버렸다
카바나는 슬랙 경보 56%를 없앴다. 미국 온라인 중고차 판매사 카바나가 프로덕션 장애 경보 대응에 AI 에이전트를 붙인 결과다. 다만 이 숫자는 Anthropic이 공개한 자사 고객사례 기준이지 제3자 검증 수치가 아니다. 그럼에도 이 사례을 읽을 이유는 56% 앞뒤에 있다. 카바나는 같은 기능을 자체 개발해 두 번 운영했고 두 번 다 접었다.
경보 한 통이 풀리퀘스트가 되기까지
일은 슬랙에서 시작한다. 프로덕션 모니터링 경보가 채널에 뜨면 Claude Tag가 엔지니어 손이 가기 전에 조사를 시작해, 고장난 코드의 소유 팀을 찾아 태그하고 그 팀이 지정한 형식 그대로 원인 분석을 올린다. 엔지니어는 같은 스레드에서 풀리퀘스트를 한 줄 요청하면 된다. 리테일 사이언스 팀 채널의 경보는 원인이 제거되며 56% 줄었고 도매 플랫폼팀의 이슈 트리아주 응답은 65% 빨라졌다고 사례집은 적는다. 검증팀은 매 배포를 출시 직전 한 시간의 로그와 자동으로 비교한다.
두 번 만들고 두 번 버린 이유
이 회사가 AI를 처음 만난 게 아니라는 점이 핵심이다. 첫 번째 시도는 API 몇 개를 도구로 묶은 자체 에이전트 루프였고 두 번째는 1년쯤 전 Claude Agent SDK를 슬랙앱으로 감싼 것이었다. 둘 다 작동했다. 그러나 공학·애널리틱스 총괄 알렉스 데브카르의 말대로 유지에 "실무보다 나은 쓰임의 시간과 자원"이 들었고 소규모 팀이 봇을 지켜봐야 했다. 팀별 권한 통제를 매번 직접 지어야 한다는 부담도 컸다. 만들 줄 아는 회사가 유지비 계산 때문에 남의 관리형 서비스로 갈아탄 셈이다.
사례집 숫자를 나란히 놓으면
| 회사 | 붙인 업무 | 지표 | 변화 | 출처 |
|---|---|---|---|---|
| 카바나 | 슬랙 경보 원인 제거(리테일 사이언스) | 경보 건수 | 56% 감소 | Anthropic 고객사례 |
| 카바나 | 도매 플랫폼팀 이슈·경보 트리아주 | 응답 속도 | 65% 단축 | Anthropic 고객사례 |
| 허브스팟 | 웹개발·콘텐츠 제작 워크플로 | 생산성 | 최대 40% 증가 | Anthropic 고객사례 |
| 허브스팟 | 고객 에스컬레이션 트러블슈팅 | 해결 시간 | 3~5일 → 1시간 미만 | Anthropic 고객사례 |
같은 사례집에서 아틀라시안은 월 500만 건 이상의 에이전트 실행 수치를 내놓는다. 실행 건수가 곧 절감은 아닌데도 벤더 사례집은 이런 숫자를 같은 문서에 나란히 올린다.
채택률 70%인데 생산성이 떨어진 곳들
r/AI_Agents의 한 스레드(익명 커뮤니티 발언이다)는 벤더 숫자가 무너지는 지점을 짚는다. 통신사 챗봇이 좁은 파일럿에서 질의 시간을 40% 줄였지만 그 지표를 근거로 전사 확대했다가 정체했다는 것, 리테일러가 좌석 5,000개를 사고 약 1,000명만 써서 연 80만 달러가 묶였다는 것, 보험사가 클레임 업무에 생성형 AI를 도입해 채택률 70%를 찍고도 생산성이 도리어 떨어졌다는 것이다. 프로세스를 재설계하지 않아 직원들이 옛 수작업에 AI 출력 검수까지 얹은 탓이라는 분석이다. 다른 스레드의 실패담도 정확히 카바나가 겪은 지점을 되풀이한다. 에이전트 조율에 시간을 빼앗겨 "하네스 디버깅이 자체로 하나의 업무가 됐다"는 것.
한국 회사가 복사하기 어려운 지점
카바나의 전제 조건을 먼저 봐야 한다. 팀별로 스코핑된 데이터 웨어하우스 접근, 장애와 릴리스 알림이 슬랙 채널로 모이는 구조, 그리고 경보 원인 제거율 같은 지표를 파일럿과 전사에서 따로 재는 측정 관례다. 국내 기업은 이 중 마지막이 가장 약하다. 여기에 자체 구축을 선호하는 관행이 얹힌다. 카바나는 만들 수 있는 회사였는데도 유지 인력 계산 하나로 방향을 틀었다. 자체 개발 논의를 먼저하는 한국 기업이라면 이 대목에서 계산기를 다시 켜야 한다.
남는 것
전 미 하원의원 윌 허드는 기술이 오류를 줄이고 돈을 아껴야지 부담이 되어선 안 된다고 썼다. 카바나가 스스로 만든 봇은 정확히 부담이어서 버려졌고 남의 것을 빌려서야 경보가 줄었다. 56%를 믿을지 말지보다 먼저 물을 질문은 정해져 있다. 우리가 만들려는 그것의 유지비를 계산에 넣었는가.
분석 근거: Anthropic 고객사례(카바나·허브스팟·아틀라시안), r/AI_Agents 토론. 공개 자료에 근거한 분석입니다.
