AI評価の基準はトークンではなくリリースだ
AIコーディングツールの性能をトークン(文を細かく分割する処理単位)の使用量で測る慣行が変わる可能性がある。MITテクノロジーレビューは2026年11月2日、アファン・シエッド名義の寄稿を通じて、AIコーディングエージェント(コーディング作業を自律的に行うAI)の成果はトークンの消費量ではなく、実際にリリースされたソフトウェアで測定すべきだと主張した。
開発者がコーディングエージェントに作業を任せると、単純な質疑応答とは異なり、計画の策定、コード生成、テスト、エラー修正が繰り返され、1つの作業が基本的なチャットプロンプトより10倍から50倍多くのトークンを消費する。エージェントが有用になるほど呼び出し回数は増え、トークン単位の課金構造では最も価値を生み出す作業ほど最も高くつくという逆説が生じる。
財政的な圧迫はすでに現実のものとなっている。ウーバーはClaude Codeの使用を拡大した後、2026年のAI予算を4月までに使い切った。GitHub Copilotは定額制から使用量ベースのクレジットへ課金モデルを変更した。ガートナーは2028年までにAIコーディングのトークンコストが開発者の平均年収を上回ると予測している。
こうした流れの中で企業は、使用量の上限、座席制限、エージェント実行の承認などの配給式の制御で対応している。しかし寄稿は、一律の制限が価値を生み出すワークフローまで縛っていると指摘した。トークン単位のコストは消費量を測るだけで、結果を測ることができないという。また、トークンコストのメーターは再試行や無限ループのような無駄と、リリースのための作業を区別できず、誤った指標を最適化させてしまうと批判した。
代替として提示された指標は、マージされたプルリクエスト1件あたりのコストだ。AI支援開発の総コストを、レビューを通過してマージされた変更件数で割った値である。これに加えて、手戻りと欠陥も併せて追跡することを推奨した。
寄稿は、高価な推論は本当に必要な作業にのみ使い、反復的な作業の単価を下げるべきだと述べた。エージェントコーディングのすべての段階で最上位モデルが必要なわけではない。難しい計画策定と新しい推論にはフロンティアモデルを、コード生成、テスト作成、反復リファクタリングは自社運営のオープンウェイトモデルに任せる方式だ。ゲートウェイは課題の複雑さ、データの機密性、コスト、遅延時間に応じてリクエストをルーティングできる。プレミアム推論が正当化される瞬間にのみ使用されるようにする方式である。
寄稿は、トークンの節約ではなく、マージとリリースを中心とした測定への転換を、AIコーディングのコスト管理の新たな基準として提示した。MITテクノロジーレビューへの掲載を通じて、AIコーディングのコスト管理手法をめぐる業界の議論が続くと見られる。
