Anthropic、無害に見える学習データの危険をAIで探る　安全性テスト自動化の研究

何について

Anthropicは、学習データの監視を通過しながら、別の研究用モデルに不適切な振る舞いを学習させるデータをClaudeに探させる実験を発表した。人間の研究者が試せる案の数には限りがあるため、安全性テストを計算資源で拡張する方法を検討したものだ。 原投稿は数千のClaudeエージェントによる探索を紹介。公式研究では、物語やロールプレイなど、一見問題のない内容が監視をすり抜け、実験用モデルの振る舞いを変える例を報告している。こうした例を、今後の学習データ監視の評価・改善に役立てる狙いがある。 ただし、これは公開中のClaudeの挙動を示した結果ではない。エージェントが評価用の監視器にアクセスでき、作成データに現実的な制約を課さない有利な条件で行った概念実証で、実験で学習したモデルは配備していない。より現実的な学習条件での検証が今後の課題となる。

なぜ注目

学習データの安全点検を、人手の試行だけでなくAIによる継続的な探索へ広げる公式研究です。検出を通過するデータの問題と、実験条件の限界を併せて示しており、AIの安全性をどう評価するかに関わります。