Pichai氏がGDPxの難度とCarbonの費用に注目、11分野でAIエージェントを評価

何について

GoogleのSundar Pichai氏が、SemiAnalysisの新ベンチマークGDPxについて、改善余地が大きい高品質な評価とGemini 4 Carbonの費用に注目する投稿をした。GDPxは11分野・206課題を対象とし、公開表では首位のClaude Opus 5.5でも12.0％、Carbonは10.9％で1課題平均16.29ドル。各分野を等しく重み付けし、課題ごとの採点を3回の試行で平均する。運営側は、一部モデルでは安全上の拒否が総合点に影響すると説明しており、点数をそのまま全用途での能力順位とは読めない。費用もこの評価を走らせた条件での値だ。

なぜ注目

高得点が並ぶテストとは違い、首位でも低い点にとどまる課題設計です。企業トップが注目した費用と性能の関係を、公開された条件と合わせて確認できます。