AI가 메모리와 스토리지 설계를 다시 쓴다
AI가 인프라 설계의 기준을 다시 쓰고 있다. 즉석에서 답변을 만들어내는 '추론' 시대가 열리면서 데이터센터의 메모리와 스토리지 설계 기준이 바뀌고 있다. MIT 테크놀로지 리뷰 인사이츠가 마이크론과의 파트너십으로 발표한 분석은 속도, 효율성, 확장성, 전력 효율(와트당 성능)까지 두루 갖춘 인프라 재설계만이 AI의 실용화를 여는 열쇠라고 짚었다. 방대한 의료 데이터를 실시간으로 분석하거나 수천 건의 고객 요청을 동시에 처리하는 AI 서비스에서는 지연과 병목(처리가 막히는 구간), 낭비되는 전력이 곧바로 운영 비용과 서비스 품질로 이어진다.
티리어스 리서치의 짐 맥그리거 창립자 겸 수석 애널리스트는 "AI를 하나의 워크로드로 생각하는 경향이 있지만 실제로는 수천 개, 수백만 개, 수십억 개의 서로 다른 워크로드"라고 지적했다. 최적화의 대상도 순수 연산 성능에서 메모리와 스토리지, 네트워크가 맞물린 인프라 전체로 옮겨갔다는 것이다. 이어 그는 "데이터센터는 이제 연속적이고 분산적이며 점점 실시간에 가까워지는 AI 서비스를 지원해야 하며, 그 중 단일 워크로드인 것은 아무것도 없다"고 덧붙였다.
이번 분석은 메모리와 스토리지를 더 이상 보조 하드웨어로 보지 말고 시스템의 중심에 두라고 주문했다. 데이터를 빠르게 수집하고 정리·변환한 뒤 저장하고 이동해 전달하는 파이프라인 설계가 그 첫걸음이다. 낡은 인프라에 AI를 억지로 끼워 넣는 방식은 AI가 가져올 변화의 잠재력을 스스로 제한하는 길이라는 지적도 나왔다. 성능만 좇던 시대는 지나갔다. 기업 입장에서는 비용과 유연성, 미래 대비성까지 저울질 대상이 됐고, 효율과 확장성을 성능과 균형 있게 맞추되 최대 부하에 대비해 인프라를 과잉 구축하지 않는 능력이 새 기준이 됐다. 와트당 성능을 끌어올리고 환경 부담을 줄이며, 메모리와 스토리지 병목이 성장을 가로막기 전에 이를 풀어내는 조직이 승자라고 이 분석은 짚었다.
맥그리거는 끝으로 일의 순서를 강조했다. "메모리와 스토리지를 포함한 전체 네트워크에서 앞으로 돌릴 계획인 워크로드 유형에 맞춰 최적화해야 한다"는 주문이다. 그는 "그 워크로드가 무엇이 될지 상세하게 이해하는 일"이 최적화의 출발점이라고 밝혔다.
데일리 브리핑 구독
매일 아침 핵심 뉴스를 이메일로 받아보세요. 무료