GDPxの順位は評価分野で変わる 難しい実務課題と採点条件を読み解く
日本語参考要約訳
SemiAnalysisが、11分野の専門業務でAIエージェントを試すベンチマーク「GDPx」を公開した。 首位のAnthropicのClaude Opus 5.5でも平均はわずか12%で、GoogleのGemini 4 Carbonが10.9%で続く。 OpenAIのGPT-6 AstraはAI研究と材料科学の課題で首位となった。 半導体設計、サイバーセキュリティ、財務、法律などの課題は、14の専門データ提供者から集めた。 文脈をプロンプト内で与えるOpenAIのGDPvalとは異なり、GDPxでは実際の買収案件を再現した3,983ファイルの環境などから、エージェント自身が情報を探さなければならない。 安全分類器が介入する場合のあるサイバー、生物、アラインメントを除くと、GPT-6 Astraは9.6%から11.8%へ上がり、Opusを上回る。 財務と法律ではすべてのモデルが苦戦する。合否式では全モデルが0点のため、GDPxは代わりに部分点を報告している。 既存の取引戦略を改善するよう求められた試行では、111回中70回で元の戦略を下回った。より良い取引を見つける代わりに、単に大きなリスクを取ることが多かった。
※長文投稿のため、参考訳は概要を最大600字まで表示しています。 元投稿をご参照ください
AINNでは投稿本文・投稿者本人の追記・第三者コメントの全文転載を避け、X公式埋め込みと元投稿への導線を中心に表示します。
AIによる見どころ整理
何について
Rohan Paul氏が、11分野のAIエージェント評価GDPxの結果を紹介した。総合点はClaude Opus 5.5が12.0%、Gemini 4 Carbonが10.9%、GPT-6 Astraが9.6%。運営側は安全機構が影響し得るサイバー・生物・アラインメントの3分野を除く比較も示し、この条件ではAstraが11.8%、Opusが11.7%となる。評価する仕事を変えると順位も変わる。
なぜ注目
既報の総合点に加え、採点と失敗の中身が重要です。定量取引の評価では111試行中70が改善対象の基準戦略を下回り、運営側は単なるリスク増加と本当の改善の混同を指摘しました。これは限定された評価環境の結果で、投資判断や全業務の成功率へ一般化できません。
🔰 初学者向け要約
14の専門データ提供者と作った、作業場の中から資料を探して成果物を仕上げるテストです。財務分野には実取引を匿名化して再現した3,983ファイルの環境があり、財務・法務は合否式だと全モデルが0点になるため、部分点も報告されています。1つの総合点だけでは、どの作業に使えるかまでは分かりません。
用語を調べる
公開記事とWeb上の出典をもとに、Geminiが短く説明します。1日5回まで利用できます。