AIの誤った修正を減らす「Thinking-in-Bets」　反論を読む前の記録が鍵

何について

AIDBが、GoogleのNghi D. Q. Bui氏による「Thinking-in-Bets」の研究を紹介した。AIエージェントがユーザーの根拠のない反論に合わせ、確認済みの仕事まで変えてしまう問題を扱っている。 論文では、5つのGeminiモデルを評価。投稿の「最大8割」に対応する値は、SWE-Interactで誤った指摘を受けた後に不要な編集をした割合で、Gemini 3.8 Flashの80.0%だった。正しいコードの8割が壊れたという意味ではない。Gemini 4.0 Argonでも不要な編集は57.9%と報告されている。 対策は、反論を読む前に、主張・検証結果・確信度を短く記録すること。同じ条件で不要な編集は3.8 Flashで50.0%、4.0 Argonで22.9%に下がった。単に頑固に振る舞わせると正しい指摘も拒むため、検証済みの部分と未確認の部分を分ける。反論後の記録では効果が小さい。 模擬ユーザーによる実験で、評価対象はGeminiに限られる。途中の未完成な判断を固定してしまう場合や追加の処理コストもあり、常に反論を無視する方法ではない。

なぜ注目

AIへの指摘の仕方と検証記録の残し方に関わる研究です。最大8割という数字の意味と、記録するタイミングの条件を論文で確認できます。