同じAIモデルでも提供先で精度に差 Artificial Analysisが100超の接続先を比較
日本語参考要約訳
Artificial Analysis Endpoint Accuracy Index v1.1を公開し、GLM-5.3 FlashとMuse Spark Openの評価を追加しました。測定した100超のサーバーレス接続先では、ほぼ4分の1が基準を下回りました。提供各社は速度やコストのために、重みの量子化、独自カーネル、推論処理の調整、出力長の制限を使います。バグが入り込むこともあります。公式の重みを自前で動かした基準に対し、各接続先がどれだけ精度を維持したかを割合で表します。ツール呼び出しのBFCL-500、科学的推論のHLE-250、長文の情報を取り出すAA-LCR-25を均等に評価します。 AA-LCRをv1.1に更新し、正解表の誤りや曖昧さを修正しました。採点はGPT-5.6 Luna（medium）に移し、各問の反復を10回から25回に増やした結果、平均95%信頼区間は±4.7ポイントから±2.6ポイントに縮まりました。対象はDeepSeek V4.1 Flash 1017（max）、GLM-5.3（max）、Kimi K3（max）、gpt-oss-120b（high）にGLM-5.3 Flash（max）とMetaのMuse Spark Open（xhigh）を加えた6モデルです。
※長文投稿のため、参考訳は概要を最大600字まで表示しています。 元投稿をご参照ください
AINNでは投稿本文・投稿者本人の追記・第三者コメントの全文転載を避け、X公式埋め込みと元投稿への導線を中心に表示します。
AIによる見どころ整理
何について
Artificial Analysisは、公式の重みを自ら動かした際の精度を基準に、各社のAPI経由でどこまで精度が保たれるかを測る指数をv1.1に更新した。調べた100超の接続先のうち、基準を下回ったのは約4分の1。GLM-5.3 Flashでは、出力上限によって科学問題の解答が途中で切れる例があった。
なぜ注目
速度や価格だけでは見えにくい提供先の違いを、ツール呼び出し、科学的推論、長文からの情報抽出の3分野で比較できる。今回の精度差は同社のテスト条件で測ったものだ。
🔰 初学者向け要約
同じ名前のモデルを選んでも、どのサービスから呼び出すかで答えが変わることがある。例えばMuse Spark Openでは、文字列で返すべき予約番号を数値に変えてしまう提供先があり、外部ツールを呼び出すテストの点数に差が出た。
用語を調べる
公開記事とWeb上の出典をもとに、Geminiが短く説明します。1日5回まで利用できます。