プリンストン大研究チーム「AI自ら改善する時代、予想より遅れる可能性」

AIの自己改善はまだまだ先の話となりそうだ。MITテクノロジーレビューは18日、プリンストン大学の研究チームの研究を引用し、AIが自らを改善する「再帰的自己改善」の実現が、予想より遅れる可能性があると報じた。現在のAIは、自らを改善するほどの創造的な研究能力を有していないことが判明した。

プリンストン大学の研究チームは、AIエージェントの研究遂行能力を評価した。研究チームは「シャドウ評価（Shadow evaluation）」と呼ばれる手法を用い、まだ公開されていない論文から研究課題を取り出し、AIに解かせる方法を採った。公開前の論文を利用するため、AIが学習データから正解を暗記したり、オンラインで検索したりできないという利点がある。

研究チームは、オープンソースソフトウェア「OpenClaw」上で動作するアントロピックの「Claude Opus 4.8」に2つの課題を与えた。課題は、機械学習分野のトップカンファレンスであるNeurIPS 2026に投稿された2本の論文に出典を持つ。1つは、言語モデルの行動を決定する「ペルソナ」をモデルの重み編集によって制御できるかを問うものであり、もう1つは、スプレッドシートのデータに基づく予測モデルが信頼できなくなった時点を見極める検知器の設計問題だった。エージェントには6日間の時間と、アントロピックのAPIクレジット3,000ドル、実験用GPU予算、仮想コンピュータ、ウェブアクセス権も提供された。

原本の論文の執筆者らは、AIが執筆した論文を、カンファレンス投稿論文を審査するように評価した。評価の結果、AIエージェントは文献調査から数百回に及ぶ実験の実行、結果の取りまとめまで、研究に必要とされる工学的な作業はこなした。しかし、明確な正解がない探究において必要とされる判断力と創造性が欠けており、AIは非常に小規模な合成データセットで仮説を検証する実験を行い、自身の研究を分かりやすく記述することもできず、当該分野への新たな貢献も果たせなかった。それらの論文は、トップレベルの機械学学会の品質には程遠かった。

今回の研究は、AIが自らAI研究を自動化する時期に関するこれまでのタイムラインが、実際の証拠よりも先行している可能性があることを示唆している。AIの自己改善能力を巡る期待値を再調整する必要性が提起されている。