科学研究ベンチマーク「Science’s Last Exam」、仮説発見でDeepSeekが21.28% 公式表で指標を確認
日本語参考訳
本当に驚いた。AIが初めて本格的な科学の試験を受けた。Claude Opus 5は科学コーディングで90.9%を記録したという。重みを公開するDeepSeek-V4.1-Flashは仮説発見でGPT-6.1とClaudeを上回り、21.3%に対してそれぞれ4.9%と7.3%だった。「Science’s Last Exam」には9分野の実際の研究課題が50件以上あり、エージェントに見せていないテストで採点する。AI研究全体にとって大きな瞬間だ、と投稿者は述べている。
AINNでは投稿本文・投稿者本人の追記・第三者コメントの全文転載を避け、X公式埋め込みと元投稿への導線を中心に表示します。
AIによる見どころ整理
何について
Yarchi氏が紹介した「Science’s Last Exam」の仮説発見部門では、公式表のInspire rateがDeepSeek V4.1 Flashで116/545（21.28%）、Claude Opus 5で25/341（7.33%）、GPT-6.1 Solで6/122（4.92%）だった。3モデルの実行環境はDiscoveryRSIで、集計の分母はモデルごとに異なる。
なぜ注目
投稿には「科学コーディングでClaude Opus 5が90.9%」ともある。11月4日公表の公式表でScientific ComputingのPass rateを選ぶと、Claude Code上の同モデル（High）は57.00%。90.9%がどの課題や集計に対応するかは確認できず、公式の部門成績としては扱えない。
🔰 初学者向け要約
この試験では研究目標を与えられたAIが、データやソフトを使って成果物を作る。評価条件は事前に決めてAIには伏せ、提出後に照合する。主催者が案内する公開課題は9分野113件で、仮説を立てる力と科学計算用のコードを直す力は別々に評価される。
用語を調べる
公開記事とWeb上の出典をもとに、Geminiが短く説明します。1日5回まで利用できます。