選択肢から答えるAI「Jev」で文章を生成　254トークンに絞った実験

何について

Simplifying AI氏は、選択肢を評価するモデルJevに、限定した語彙から次のトークンを選ばせる実験を紹介した。GPT-2の語彙を254トークンに減らし、選んだ結果を再び入力して文をつなぐ。

なぜ注目

決められた候補から選ぶモデルでも、選択を連ねれば文章の形を作れる。一方、語彙が小さいため意味の通らない出力もあると実験者は説明しており、汎用の文章生成性能を示す比較ではない。