MITテクノロジーレビュー、LLMの次なるトレンドとAI研究の変化を分析

AIの心臓部「トランスフォーマー」が限界に直面している。MITテクノロジーレビューは、現在の人工知能（AI）の中核技術である「トランスフォーマー」が、モデルの規模が大きくなるにつれてデータ処理コストが急増する効率性の問題に直面していると分析した。トランスフォーマーは9年前にGoogleが導入して以来、すべての主要な大規模言語モデル（LLM）の中核エンジンとしての役割を果たしてきた。

しかし、処理すべきテキスト量が増えるほど、重要な情報に集中する「注意（Attention）」機能が非効率になり、多くの情報を同時に処理することに限界が浮き彫りになっている。

トランスフォーマーのボトルネックを解消するため、4つの新しい技術的代替案が提示された。該当技術は、モデルの処理速度と効率性の改善を目指している。