AstraがQwenの重み0.016%を直接編集、反復を減らし数学正答率を改善
日本語参考要約訳
大きな成果です。MITの研究者らは、GPT-6 Astraが学習を行わず、重みを直接変更して別のAIモデルを改善できると示しました。Qwen3.5-0.8Bの重みの0.016%を編集し、MATH-500の正答率を7.9%から48.1%に引き上げました。AstraにはPythonノートブック内のQwenの重みと、練習用の数学問題で50回試す予算が与えられました。モデルが長さの上限まで同じ内容を繰り返すことを見つけ、その傾向を2つの層が書き込む内部信号に突き止めて、重みから差し引きました。反復がなくなると、もともと解ける問題の回答を完成できるようになりました。この狙いを絞った編集は重みの0.016%を変更し、数学正答率を7.9%から48.1%に高めました。
※長文投稿のため、参考訳は概要を最大600字まで表示しています。 元投稿をご参照ください
AINNでは投稿本文・投稿者本人の追記・第三者コメントの全文転載を避け、X公式埋め込みと元投稿への導線を中心に表示します。
AIによる見どころ整理
何について
MIT研究者らは、学習や勾配を使わずにAIが別モデルの重みを直接読み書きする「Weight-Space Programming」を報告した。GPT-6 AstraにQwen3.5-0.8Bと練習問題での50回の順伝播評価を与え、2層の出力にある反復要因を除去。重み全体の0.016%に当たる13万1072個の変更で、MATH-500は7.9%から48.1%、GSM8Kは13.8%から67.1%へ改善した。
なぜ注目
少数の重み編集で不具合を直せる可能性を示しますが、万能な能力向上ではありません。3万2768トークンの上限に達する回答は93%から約33%に減ったものの残存。反復が少ないGemma 3 270Mでは、同手法による数学能力の改善は確立できませんでした。
🔰 初学者向け要約
小型AIが同じ文章を繰り返して答えに届かない問題を、別のAIが内部の数値を編集して減らした研究です。新しい知識を学習させたというより、既に解ける問題で回答を最後まで出しやすくした結果です。
用語を調べる
公開記事とWeb上の出典をもとに、Geminiが短く説明します。1日5回まで利用できます。