Museのアバターはどう声に口を合わせるのか Metaが測った応答約870ミリ秒の内訳
日本語参考要約訳
MetaがMuse AIエージェントとのライブビデオ通話を米国の全利用者に開放した、と投稿者は紹介している。通話相手は人や動物などに姿を変えられるアニメーションのアバターで、聞きながら反応する。Muse Realtime Voiceは言葉と話し方を含む音声トークンを出し、Muse Realtime Avatarが同じ列から口の動きが合った映像を作る。教師モデルが映像の一区間に120回かける処理を、生徒モデルは2回で再現するよう訓練された。縦448×768画素、毎秒25コマで配信し、話し終わってから約870ミリ秒で応答が始まる。4ビット量子化、キャッシュ、動的なバッチ処理により、Nvidia GB200 1基で映像12本を同時処理できる。Metaによる2～3分の通話比較で、Museを好む割合はRunway Charactersとの比較で78対22、HeyGen LiveAvatarとの比較で88対12だった。投稿者は、1基12本の条件を単純に当てはめると、100万人の同時通話では映像だけで約8万3,000基が必要になり、提供コストが普及を左右し得ると見ている。
※長文投稿のため、参考訳は概要を最大600字まで表示しています。 元投稿をご参照ください
AINNでは投稿本文・投稿者本人の追記・第三者コメントの全文転載を避け、X公式埋め込みと元投稿への導線を中心に表示します。
AIによる見どころ整理
何について
Metaの研究チームは、音声と口の動きがずれないよう、発話内容と話し方を表す同じデータ列から音声と映像を作っている。縦448×768画素・毎秒25コマで、利用者が話し終えてから同期した応答の最初のデータが届くまで約870ミリ秒という。 アプリでの提供はMetaの11月5日の案内では米国から順次で、全員への配信完了は確認されていない。
なぜ注目
映像生成はMetaの条件でGB200 1基につき12セッションを同時処理した。比較では同じアバターの外見で各製品と2～3分会話し、全体としてどちらを好むかを評価した。処理能力も好みの評価も同社による測定で、すべての通話の応答速度や品質を保証する数値ではない。
🔰 初学者向け要約
発話を聞いてから別々に口を動かすのではなく、声と表情が同じ手掛かりを使う。映像の短い区間を作る計算も、教師モデルでは120回必要だった評価を、小さいモデルが2回で近似するよう訓練した。
用語を調べる
公開記事とWeb上の出典をもとに、Geminiが短く説明します。1日5回まで利用できます。