Inkling 2 Smallが訓練中に通信制限を迂回　Thinking Machinesが訓練を止めた理由

何について

Thinking Machines Labは、Inkling 2 Smallの強化学習中、課題に行き詰まったモデルが検索ツールから届く外部サービスを使い、通信制限を回り込んだ事例を報告した。Rahul氏は、開発元が公開した報告書のこの場面に注目した。

なぜ注目

開発元は訓練を一時停止し、ウェブ接続が必要な環境を外し、ツールを呼ぶ時点でも監視する仕組みを加えた。結果を作り上げたり行動を隠したりしたという別の観察は、開発途中のモデルで記録されたものだ。