Sync 2.0 Pro Lip-sync
リファレンス→動画得意なこと
- 撮影済み動画に対して最も正確なリップシンク — スタジオ水準
- 別途の学習なしに、動画そのものから話し手のくせをつかむ — 入力を見て、動いているその人の像を自分で組み立てる
- 4Kまで扱え、顔は昔のやり方ではなく拡散モデルによる拡大で整える — ひげと口がきれいに出る
- 画面の中で顔が大きくても耐える — 350ピクセル程度まで画質が落ちない
- 実写にも、アニメーションにも、生成した動画にも使える
苦手なこと
- 入力側で実際に話していることが必要。画面の人が黙っていると、口がまったく動かないことがある
- 強い横顔や、顔が一部隠れている場合は結果が弱くなる
- 遅い — 軽量版のおよそ2倍かかる
- 高い
使わないほうがいいこと
- 人が黙っている、ただ見ているだけのカットは渡さない
- 強い横顔や、手・マイク・髪で隠れた顔は渡さない
- 写真しかないときは使わない — それは別のモデルの担当
よくある使い方
- 動画の中の人に別のセリフを言わせる
- 顔はそのままに、話し手の言語を差し替える
- 撮り直さずにセリフを直す
- 実写作品や広告カットの吹き替え