学習で一度しか現れない例を増やすと何が変わる？ 材料・DNAの未見データで検証
日本語参考要約訳
興味深い結果だ。Johns Hopkinsの新しい論文によると、学習時に一度だけ現れる事実が多いほど、言語モデルはより多くの科学的発見をした。二つのモデル系列で、そうした事実の割合を0%から100%にすると発見率が一貫して上がった。発見も幻覚も、学習で見なかったものをモデルが出す点では共通する。先行理論は一度しか出ない事実（モノファクト）と幻覚を結び付け、未見の領域の大半を偽とみなした。著者らは理論を拡張し、モノファクトが発見の余地も左右するとした。材料とDNAのデータでgpt-oss-20bとgemma-3-12b-itを追加学習し、学習から外した材料やDNA配列を正確に再現できたかで採点すると、各設定でこの割合とともに発見が増えた。3周または5周学習すると、一度しか見なかった例も繰り返し見るため、傾向は消えた。投稿者は、科学向けモデルでは一度だけ出る例を残してデータの反復を避け、発見とともに幻覚も増え得ると考えるよう勧めている。
※長文投稿のため、参考訳は概要を最大600字まで表示しています。 元投稿をご参照ください
AINNでは投稿本文・投稿者本人の追記・第三者コメントの全文転載を避け、X公式埋め込みと元投稿への導線を中心に表示します。
AIによる見どころ整理
何について
Rohan Paul氏が、言語モデルによる科学的な「発見」と学習データの関係を調べたJohns Hopkins大学などのプレプリントを紹介した。研究チームは、gpt-oss-20bとgemma-3-12b-itを用い、まれな例が学習データに占める割合を0%から100%まで変えた。学習に含めなかった材料の化学式やDNA配列をモデルが生成できたかを評価した。 材料の実験で「一度だけ」と数えたのは構成元素の組み合わせ。DNAでは他の学習例との配列の重なりで希少性を定義した。主実験では両分野・両モデルとも、こうした例の割合が大きいほど評価データの再現率が上がった。 gpt-oss-20bの材料実験で、第2段階の学習を1周から3周または5周にすると、この一方向の傾向は消えた。研究が測ったのは既知の正解を学習から外して再現する能力であり、新物質の合成や実験室での機能確認は評価の対象外だった。
なぜ注目
学習データの量に加えて、珍しい例をどれだけ含め、何回繰り返すかが結果を左右した。科学向けモデルの評価で「未知のものを出した」と「正しいものを出した」を分ける理由も読み取れる。
🔰 初学者向け要約
たとえば、あとから登録された材料の化学式を問題の正解として取り置き、以前のデータだけを見たモデルがその式を出せるかを調べます。この方法なら、モデルが以前見た答えを繰り返しただけかどうかを調べやすくなります。
用語を調べる
公開記事とWeb上の出典をもとに、Geminiが短く説明します。1日5回まで利用できます。