---
title: "AI 추론의 진짜 비용은 저장고에 숨어 있다"
author: "VibeTimes"
published: "2026-10-23T12:45:43.821Z"
section: "technology"
tags: ["Tim Rausch", "익명의 선임 제품 관리자", "미국 MIT 소재지", "AI", "추론의", "진짜", "비용", "저장고"]
language: "ko"
url: "https://vibetimes.co.kr/news/cmvkymupjloapjxq96x8dc97v"
---

# AI 추론의 진짜 비용은 저장고에 숨어 있다

AI가 답을 만들어내는 '추론' 과정에서 생기는 데이터 저장 비용이 AI를 학습시키는 비용에 버금가는 문제로 떠오르고 있다. MIT 테크놀로지 리뷰(2026.10.22., Tim Rausch)는 추론이 남기는 데이터가 백엔드 저장 인프라에 새로운 부담이 되고 있다고 보도했다.

문제의 본질은 추론이 멈추지 않는다는 데 있다. 학습은 시작과 끝이 있는 프로젝트처럼 예산을 잡고 종료할 수 있지만, 추론은 프롬프트가 들어올 때마다 매번 데이터를 남긴다. 웨스턴디지털(WD) 내부 측정에 따르면 8초짜리 AI 생성 영상은 화질 720p 기준 3.97MB에 불과하지만, 기록 로그·임시 저장 파일(캐시)·렌더링·백업 등 추론 과정 전체에서 남는 데이터를 합치면 500MB를 넘어, 사용자가 받은 파일의 약 130배에 이른다.

규모도 커질 것으로 전망된다. 맥킨지는 AI 추론 수요가 2030년까지 연평균 35%씩 늘어 훈련의 22%를 웃돌며, 추론이 이번 10년이 끝나기 전까지 데이터센터 총수요의 40% 이상을 차지할 것으로 내다봤다. WD가 후원한 IDC 백서도 이를 뒷받침한다. 763명의 IT·비즈니스 의사결정권자를 조사한 결과 약 95%가 지난 12개월간 생성형 AI로 데이터량이 늘었다고 답했고, 61%는 25% 이상 증가했다고 답했다.

하이퍼스케일 클라우드 업체의 선임 제품 관리자는 저장 문제의 핵심을 짚었다. 이 관리자는 "저장 용량을 늘리는 일은 GPU를 멈추지 않고 계속 작동시키기 위한 최적화"라며 "가장 큰 과제는 GPU가 데이터를 기다리며 놀고 있지 않게 하는 것"이라고 말했다. 저장 계획은 이미 AI 인프라 최적화의 핵심 요소가 됐다는 것이다.