推論を有効にすると9モデル共通の誤りも増加、Max Planckの研究が一致度を検証
日本語参考要約訳
Max Planckの新しい論文によると、推論を有効にすると、異なるLLMは間違いも含めて一致しやすくなる一方、長い推論過程は意見が分かれる対象の目印になります。 複数のLLMが同じ人について判断するとき、あるモデルの誤答は別のモデルに切り替えることで修正できるかもしれません。ただし、それが機能するのは、すべてのモデルが同じ間違いをしていない場合だけです。 著者らは、米国の国勢調査に基づく3つの予測課題で、QwenとGPTの9モデルを推論の有効・無効で検証しました。各モデルの正解率だけから予想される水準を超える一致度を測っています。 推論を有効にするとモデル間の一致が増え、9モデルすべてが誤答した人の割合は2.0〜2.4ポイント上昇しました。最も長い推論を引き出した人については、調整済み一致度が約0.31〜0.39まで下がりました。 人について判断する場合、用いるモデル群のどれかが正しい答えを出しているかを確認してください。一致が増えても、共通の誤りが増えている可能性があるためです。
※長文投稿のため、参考訳は概要を最大600字まで表示しています。 元投稿をご参照ください
AINNでは投稿本文・投稿者本人の追記・第三者コメントの全文転載を避け、X公式埋め込みと元投稿への導線を中心に表示します。
AIによる見どころ整理
何について
Max Planckの研究者らは、Qwen・GPT系の9モデルを米国の国勢調査データに基づく3つの二値分類課題で比較した。推論を有効にすると、正解率を考慮したモデル間の一致度が上がり、9モデルすべてが誤答する対象の割合も約2.0〜2.4ポイント増えた。一方、同じ推論設定の中で長い推論を引き出す対象ほど一致度は低かった。設定変更の効果と、観測された推論の長さとの関連は別の分析であり、長く考えさせれば誤りを防げるという結論ではない。
なぜ注目
複数モデルによる確認を考える際の論点を示す研究です。対象は9モデル・3課題で、実運用での被害や全用途の性能を測ったものではありません。
🔰 初学者向け要約
複数のAIが同じ答えを出しても、全員が同じ間違いをしている場合があります。この研究は、回答の一致だけでなく、正しい答えを出すモデルが残っているかも調べています。
用語を調べる
公開記事とWeb上の出典をもとに、Geminiが短く説明します。1日5回まで利用できます。