AGENTS.mdの指示の書き方で遵守率に差、Sonnet 5など4構成の研究

何について

NAIST・和歌山大学・大阪大学の研究者らが、指示ファイルの文体によってコーディングAIのルール遵守率が変わるかを調べた。AIDBが紹介したSonnet 5とClaude Codeの組み合わせでは、言い切りが71.6%、理由付きが49.4%、条件付きが35.6%、禁止形が17.3%だった。 実験は10リポジトリの86課題を基に、追加・変更するPython関数へ指定のコメントを入れる同じルールを4通りに書き、各条件を3回ずつ試したもの。Sonnet 5の集計対象は81課題で、変更対象すべてにコメントがある場合を遵守と判定している。 一次論文では4つのモデル・実行環境を比較し、最も有効な文体は構成によって異なった。各文体は1種類の文章、ルールも1種類に限られ、一般的な指示や安全上の禁止事項すべてに同じ割合が当てはまる結果ではない。11月3日公開の査読中論文であり、指示ファイルの書き換えだけで動作を保証するものでもない。

なぜ注目

日常的に使う指示ファイルの書き方を実験で比較しており、AIエージェントの運用に関わる。ただしコメント追加という限定条件の結果で、モデルと実行環境ごとの差を伴う。