写真と声から話すアバターを作るには　顔の動き・口の同期・音声合成を担う5ツール

何について

0xMarioNawfal氏が、話すアバターの制作に使える5つのツールを紹介した。LivePortraitは顔写真に動きを付け、MuseTalkとWav2Lipは音声に合わせて口の動きを作る。SadTalkerは画像と音声から話す顔の動画を生成し、Chatterboxは読み上げ音声を作る。

なぜ注目

写真1枚と声を出発点にする例で、それぞれのツールが制作のどの部分を担うかを見比べられる。