Artificial Analysisが6業務分野の能力指数をv2.0へ 誤答抑制とツール利用の重みを見直し
日本語参考要約訳
6つのArtificial Analysis Capability Indexesをv2.0に更新しました。Artificial Analysis Intelligence Index v5.0の評価にそろえ、誤った情報を生成しない能力と、エージェントによるツール利用をより重視しています。 Capability IndexesはO*NETの職業に含まれる業務を、それを代表するベンチマークへ対応付け、各能力がその職業に登場する頻度で重みを付けます。指数は金融・会計、戦略・業務、法務、医療、エンジニアリング、経済の6つです。 主な変更： ➤ 金融・会計：Non-Hallucinationの重みを増加。HLEをHLE-Diamondへ、AA-Omniscienceをv1.1へ更新。Agentic Knowledge WorkからGDPval-AAを、Long-ContextからAA-LCRを削除。 ➤ 戦略・業務：Agentic Tool Useの重みを増加。Non-Hallucinationを追加し、AA-Omniscienceをv1.1へ更新。Agentic Knowledge WorkからGDPval-AAを、Long-ContextからAA-LCRを削除。 ➤ 法務：Non-Hallucinationの重みを増加。
※長文投稿のため、参考訳は概要を最大600字まで表示しています。 元投稿をご参照ください
AINNでは投稿本文・投稿者本人の追記・第三者コメントの全文転載を避け、X公式埋め込みと元投稿への導線を中心に表示します。
AIによる見どころ整理
何について
Artificial Analysisは、金融・会計、戦略・業務、法務、医療、エンジニアリング、経済の6分野を対象とするCapability Indexesをv2.0へ更新したと発表した。職業情報O*NETの業務と評価課題を対応付け、各能力がその仕事に現れる頻度で重みを付ける指数だ。 今回はIntelligence Index v5.0の評価へそろえ、分野ごとに誤答を控える能力やエージェントのツール利用を重視。エンジニアリングでは科学を新しい能力として追加し、経済では長文推論の評価にGDP.pdfを採用した。評価項目の入れ替えを伴うため、旧版の数値と同じ尺度のまま比較することはできない。 発表時点ではClaude Opus 5.5のmax設定が6分野で首位とされる。投稿はKimi K3.1 Proの順位にも触れるが、重みはまだ公開されていないと明記している。指数上の順位と、実際の業務での適合性や利用可能な公開条件は分けて確認する必要がある。
なぜ注目
業務向けのモデル選定に使われる評価で、誤答抑制やツール利用への比重が変わりました。評価方法の変更とモデルの推論設定、重み公開の有無を併せて読める発表です。
🔰 初学者向け要約
一つの総合点ではなく、法務や技術職など仕事ごとに必要なAIの能力を重み付けする評価の更新です。採点方法も変わっているため、順位だけで導入先を決めるより、どの能力を測っているかを見ることが大切です。
用語を調べる
公開記事とWeb上の出典をもとに、Geminiが短く説明します。1日5回まで利用できます。