Science’s Last Examを公開、9分野113課題でAIの研究成果を検証
日本語参考要約訳
LeanはAIによる数学に、異論の余地がない採点役を与えました。実証科学でも、それに相当する考え方が形になりつつあります。 Science’s Last Exam（SLE）は、開いて再実行できる成果物を使い、研究エージェントを評価するベンチマークです。分野の専門家が各課題を作る際に、検査内容を封じておきます。 米国の非営利団体AItonomy Foundationが主導し、9分野113課題を対象に、エージェントに隠された検査で提出物を採点します。 多くのAI科学テストが既知の答えを尋ねるのに対し、SLEは研究目標、データ、研究用ソフトウェアをAIエージェントに渡し、エージェントには見えないテストで完成した仕事を確認します。 AIの仮説を、そのモデルの学習期限後に公開された研究と照合するため、記憶では助けにならないという考え方です。仮説の21.28%が後の研究を先取りしたDeepSeek V4.1 Flashが、この評価で首位でした。
※長文投稿のため、参考訳は概要を最大600字まで表示しています。 元投稿をご参照ください
AINNでは投稿本文・投稿者本人の追記・第三者コメントの全文転載を避け、X公式埋め込みと元投稿への導線を中心に表示します。
AIによる見どころ整理
何について
米非営利AItonomy Foundationが、研究エージェントを成果物で評価するScience’s Last Exam（SLE）を公開した。9分野113課題を対象に、専門家が事前に定めた非公開の検査で提出物を採点する。 仮説発見の評価では、DeepSeek V4.1 Flashの仮説案の21.28%が学習期限後の研究を先取りしたと判定された。これは科学全体の正答率ではなく、文献調査によるInspire rateという個別指標。公開時の総合首位はClaude Opus 5の37.5点で、研究を最初から最後まで完遂する区分は評価済み全モデルが0だった。
なぜ注目
研究用AIを比べる際の評価対象が、既知の答えを当てる試験から再検証できる成果物へ広がる発表です。モデルごとに得意な区分が異なり、21.28%という仮説評価だけで総合的な研究能力を判断できない点も重要です。
🔰 初学者向け要約
科学の知識を答えるだけでなく、AIが研究目標・データ・ソフトウェアを使って作った成果物を検査する試験です。仮説の評価では、AIの学習期限より後に発表された研究と照合します。仮説を出す能力と、一連の研究を完遂する能力は別々に見る必要があります。
用語を調べる
公開記事とWeb上の出典をもとに、Geminiが短く説明します。1日5回まで利用できます。