ジェミナイ4カーボン、AI指数59点で首位に立つ
グーグルの「ジェミナイ4カーボン」が59点を獲得し、AI性能評価の首位に立った。これはウェイトが公開されているモデルの最高点である32点を27点上回るスコアだ。グーグルのジェミナイ4カーボンが28日にランキングに登場したことで、首位が入れ替わった。
評価機関アーティフィシャル・アナリシスが27日に公表した「インテリジェンス・インデックスv5」は、知識業務、コーディング、科学、一般分野の結果をそれぞれ25%ずつ反映し、9つの評価に重み付けを適用して、0~100点の単一スコアとして総合算出するものである。指数の公表時点では、アンソロピックのクロード・オーパス5.5が58点で首位だった。オープンAIのGPT-6アストラとGPT-6.1ソルはそれぞれ57点、55点を記録した。
v5のスコアの60%は、非公開のテストセットや正答が公開されていない評価に基づいて算出される。非公開評価の比重を高めた趣旨は、公開された問題に合わせてモデルの性能を最適化することがスコアに与える影響を抑えることにある。ただし、問題や正答が公開されていない評価結果は外部で同じ条件で再現することが難しく、評価項目も変更されたため、v4.3とv5のスコア差をモデル自体の性能変化としてすぐに解釈することは難しい。
非公開モデルとオープンウェイトモデルとの差は、v4.3の3点からv5公表時点では12点に拡大した。当時46点を獲得したKimi K3.1 Proは最高のオープンウェイトモデルに分類されたが、ウェイトはまだ公開されていない。現在ウェイトが実際に公開されているモデルの中での最高点は、ディープシークV4.1フラッシュ1017とGLM-5.3の32点である。
ジェミナイ4カーボンは9つの評価のうち4つで最高スコアを獲得したものの、コーディングと知識業務の分野では首位ではなかった。インテリジェンス・インデックスは主に英語ベースのテキスト評価であり、実際の採用率や開発者の選好度を測定するものではないため、総合スコアだけで特定のモデルがあらゆる業務に適していると断定することは難しい。
アーティフィシャル・アナリシスは28日、ジェミナイ4カーボンは現在一部のユーザーにのみ提供されており、一般公開前であると説明した。
