MIT 테크놀로지 리뷰, LLM 다음 트렌드와 AI 연구 변화 분석

AI의 심장 '트랜스포머'가 한계에 직면했다. MIT 테크놀로지 리뷰는 현재 인공지능(AI)의 핵심 기술인 '트랜스포머'가 모델이 커질수록 데이터 처리 비용이 급증하는 효율성 문제를 겪고 있다고 분석했다.

트랜스포머는 9년 전 구글이 도입한 이후 모든 주요 대형 언어 모델(LLM)의 핵심 엔진 역할을 했다. 그러나 처리해야 할 텍스트 양이 늘어날수록 중요한 정보에 집중하는 주의(attention) 기능이 비효율적이며, 많은 정보를 동시에 처리하는 데 한계가 드러나고 있다.

트랜스포머의 병목 현상을 해결하기 위해 네 가지 새로운 기술적 대안이 제시됐다. 해당 기술들은 모델의 처리 속도와 효율성 개선을 목표로 한다.