生命科学の図をAIはどこまで読めるか VIALS-AAでGemini 4 Carbonが64%、GPT-6 Astraが63%
日本語参考要約訳
生命科学とバイオテクノロジー研究での視覚的推論を測る、Handshake AIのVIALSベンチマークの順位表VIALS-AAを公開します。実験を読み解き研究上の判断を下すには視覚資料が欠かせませんが、先端モデルにとっても正しい解釈は課題です。161課題は8領域にわたり、ゲルブロット、フローサイトメトリーの図、プラスミドマップ、系統樹などから具体的な科学的結論を導く必要があります。オープンソースのStirrupでコード実行と画像調査のツールを使い、各課題を3回実行します。GPT-6 Luna（medium）が参照解答と照らして採点し、全3回で正解した課題の割合（pass^3）を報告します。上位の差は3ポイント。Gemini 4 Carbon（high）が64%、GPT-6 Astra（max）が63%、Claude Opus 5.5（max with fallback）が61%でした。AstraとSolはOpusとSonnetに近い得点を、より低い課題当たり費用で達成しています。Opusは平均$1.64で、Sol（約$0.056）の約29倍。差にはターン数が大きく関係し、AstraとGPT-6.1 Sol（いずれもmax）は平均約8ターン、Opusは約27、Sonnet 5.5（max with fallback）は約25でした。
※長文投稿のため、参考訳は概要を最大600字まで表示しています。 元投稿をご参照ください
AINNでは投稿本文・投稿者本人の追記・第三者コメントの全文転載を避け、X公式埋め込みと元投稿への導線を中心に表示します。
AIによる見どころ整理
何について
Artificial Analysisは、ゲルのバンドや細胞の測定結果、系統樹などを読み、科学的な結論を出す力を測るVIALS-AAを公開した。Handshake AIの161課題を用い、同じ課題で繰り返し正解できた割合を比べている。
なぜ注目
上位でも全問には正解しない。公表結果ではGemini 4 Carbonが64%、GPT-6 Astraが63%、Claude Opus 5.5が61%。正答率だけでなく、再現性、課題当たりの費用、安全上の理由による回答拒否も比べられる。
🔰 初学者向け要約
画像の名前を当てる試験ではない。実験結果の図を見て、そこから何が言えるかまで答える。モデルにはコード実行と画像調査の道具を渡し、各回答が参照解答に合うかをGPT-6 Lunaが判定する。
用語を調べる
公開記事とWeb上の出典をもとに、Geminiが短く説明します。1日5回まで利用できます。