子供に勝てないAI、学習の原理はいまだ謎

AIは子供よりも10万倍多いデータを学習する必要がある。MITテクノロジーレビューの報道によると、子供は極少量のデータで母国語を流暢に習得するが、AIは子供が接するデータ量の10万倍に達するテキストを学習して初めて同様のレベルに達するという。

最近の生成AI（ChatGPT、Claudeなど）は人間に似た言語能力を備えるようになったが、スタンフォード大学の認知科学者マイケル・C・フランク氏は「最近の進展は驚くべきだが、リビングルームで1年のうちに成し遂げられる成果を再現するには、森林を焼き尽くし、人類の知識全体をかき集める必要がある」と指摘し、効率性の問題を提起した。

実際、メタが公開したオープンウェイトモデル「Llama 3.1」は、事前学習段階で15兆トークンを処理した。一方、読解力を含め、20歳までに子供が接する単語数は約3億個にすぎない。ジョージタウン大学の認知科学者で言語学者であるイ・サン・ガトリエップ・ウィルコックス氏は、最先端のモデルはその10倍以上のデータで事前学習が可能だと述べた。

2030年代には学習データがオンライン上で枯渇する可能性があるとの見通しが出る中、AI学習の効率改善が急務の課題として浮上している。