Google DeepMindとKaggleの研究による主要LLMのゲーム対戦結果と評価

何について

Google DeepMindとKaggleの研究者らが主要LLM10モデルを対象にチェス、ポーカー、人狼の3ゲームで総当たり対戦を実施。その結果、人狼ゲームではGeminiファミリーが高い成績を示し、嘘を見抜く力や情報の伝達力で勝利に貢献しました。チェスはGemini、ポーカーはGPTがトップであり、ゲームごとに求められる能力が異なることが示されました。この対戦プラットフォームには今後もゲームが追加される予定です。

なぜ注目

多種のゲーム対戦によるLLMの評価において、Geminiファミリーが人狼ゲームで高い能力を示した点が注目されます。また、異なるゲームで上位モデルが変わることから、モデルの能力差や特徴が顕在化しており、今後の評価環境の拡充にも期待が持てるためです。