AA-Omniscience v1.1、知識・幻覚評価を3,000問に更新 正答率と回答抑制を分けて比較
日本語参考要約訳
AA-Omniscience v1.1を公開しました。公開セットの更新、飽和した問題の削除、曖昧さの修正を行い、知識と推論の評価を改定しています。中心指標のNet Scoreは正答を加点し、誤答を減点、回答を控えた場合は中立とします。 問題は6,000問から3,000問へ変更。6分野42トピックを維持し、公開用300問を非公開セットの難しさに合わせて調整しました。新旧版の順位相関は0.98で、Net Scoreは平均1.9点低下しています。 発表時点のNet ScoreはGemini 4 Carbonが54で首位。正答率ではClaude Fable 5.1の68％、幻覚率ではGemini 4 Argonの4％がそれぞれ最良でした。数値は投稿に記された推論設定と、この評価の条件に基づきます。
※長文投稿のため、参考訳は概要を最大600字まで表示しています。 元投稿をご参照ください
AINNでは投稿本文・投稿者本人の追記・第三者コメントの全文転載を避け、X公式埋め込みと元投稿への導線を中心に表示します。
AIによる見どころ整理
何について
Artificial Analysisは、モデルの知識と誤った回答の傾向を測るAA-Omniscience v1.1の変更点を説明した。問題数を6,000問から3,000問へ見直し、既に公開した問題や評価が飽和した問題を除き、曖昧さの修正と新問追加を行った。公開用の300問も非公開セットと難しさが対応するよう調整したという。 中心指標のNet Scoreは正答を加点、誤答を減点し、回答を控えた場合は中立に扱う。発表時点ではGemini 4 Carbon（high）が54、Claude Opus 5.5（max with fallback）が48、Claude Fable 5.1（同）が46。正答率ではFable 5.1が68％で最上位となり、幻覚率が最も低いのはGemini 4 Argon（high）の4％だった。 旧版との順位相関は0.98だが、Net Scoreは平均1.9点低下した。問題セットの更新で点数が変わった結果であり、モデル自体がその分劣化したことを意味しない。正答率、誤答時の減点、回答を控える傾向を分けて読む評価だ。
なぜ注目
既公開の知能指数v5全体の発表に対し、今回は知識・幻覚評価の問題構成、公開セットの調整、指標別の結果を具体化しています。総合得点だけでは見えないモデルの回答傾向を比較できます。
🔰 初学者向け要約
AIが何問正解するかだけでなく、分からないときに無理に答えないかも調べるテストです。よく正解するモデルと、誤った回答を避けるモデルは同じとは限りません。問題が入れ替わったため、新旧の点数をそのまま性能低下と読むこともできません。
用語を調べる
公開記事とWeb上の出典をもとに、Geminiが短く説明します。1日5回まで利用できます。