HarnessMM、決定済みの操作を再利用してAIエージェントのトークン消費を削減
日本語参考要約訳
清華大学とMicrosoftの新しい論文によると、HumanEvalの98課題でDeepSeek Harnessのトークン消費が元の版より87.93%少なくなり、成功率は71.43%から85.71%へ上がりました。 CodexやDeepSeek Harnessのようなエージェントツールは、ツールの結果が返るたびにLLMを呼び出して次の手順を選びます。しかし、コードがコンパイルできたらテストする場合など、その手順はすでに決まっていることもよくあります。 HarnessMMでは、モデルが将来のコマンドと正確な引数、さらにビルド成功などの確認条件をあらかじめ書きます。ツールの結果が条件を満たすと、エージェントはコマンドを実行し、LLMの呼び出しを省略します。 HumanEvalの98課題では、Codexは成功率90.82%を維持しながら通常のCodexよりトークンを29.54%削減しました。DeepSeek Harnessは成功率が71.43%から85.71%へ上がり、元の版よりトークンを87.93%削減しました。 作成、ビルド、テストのように予測可能な手順をエージェントが実行するなら、各段階で尋ね直す代わりに、通過条件付きの計画を一度モデルに作らせてみてください。
※長文投稿のため、参考訳は概要を最大600字まで表示しています。 元投稿をご参照ください
AINNでは投稿本文・投稿者本人の追記・第三者コメントの全文転載を避け、X公式埋め込みと元投稿への導線を中心に表示します。
AIによる見どころ整理
何について
清華大学とMicrosoft Research Asiaの研究者らが、判断済みのコマンドを条件付きで再利用するHarnessMMを提案した。HumanEvalのテスト98問では、DeepSeek Harnessの成功率が71.43%から85.71%へ上がり、トークン消費は87.93%減少。Codexは90.82%を維持し29.54%減った。文脈管理や終了処理の変更も含む統合結果で、再利用だけの効果ではない。他の課題では成功率低下もあり、全業務で同じ節約を保証する結果ではない。
なぜ注目
モデルそのものの変更ではなく、判断の呼び出し方を見直す研究。トークン数の減少と品質を同時に測っており、料金や所要時間の削減とは区別して評価できます。
🔰 初学者向け要約
AIに毎回「次は何をするか」を考え直させず、決めておいた操作を条件が整ったときに実行する仕組みです。新しい判断が必要なら、元のAIへ戻します。
用語を調べる
公開記事とWeb上の出典をもとに、Geminiが短く説明します。1日5回まで利用できます。