AI 발전 이끄는 컴퓨팅 파워, 술레이만 "이제 시작"

술레이만이 AI 연구를 시작한 2010년 이후 현재까지, 최첨단 AI 모델 훈련에 투입된 연산량은 1조 배 증가했다. 초기 시스템이 약 10¹⁴ 플롭스(부동소수점 연산) 수준이었던 반면, 현재 최대 규모 모델은 10²⁶ 플롭스를 넘어선다.

이러한 연산 능력 증가는 엔비디아 칩의 6년간 8배 성능 향상(2020년 312테라플롭스에서 현재 2,500테라플롭스)과 같은 구체적인 하드웨어 발전으로 뒷받침되고 있으며, Maia 200 칩은 출시 시점 대비 달러당 30% 향상된 성능을 제공했다.

NVLink 및 InfiniBand와 같은 기술은 수십만 개의 GPU를 하나의 거대한 슈퍼컴퓨터처럼 기능하도록 연결한다.

하드웨어 발전과 별개로, 소프트웨어 효율성 향상도 비용 하락을 이끌고 있다. AI 연구 기관 에포크AI의 분석에 따르면, 동일한 성능에 도달하는 데 필요한 연산량이 약 8개월마다 절반으로 줄고 있다. 이는 18~24개월마다 성능이 두 배로 늘어난다는 무어의 법칙보다 훨씬 빠른 속도다.

본 기사는 AI가 생성하였으며, 사람이 검수한 기사입니다.