OmniHuman(写真 → 発話)
リファレンス→動画得意なこと
- 写真1枚と音声だけで、その人が話したり歌ったりする動画をつくります — 撮影はいりません
- 口だけを動かすのではありません:音声の感情を読み取り、体全体で演じます — 興奮した話し方と、静かな告白の口調では身ぶりが変わります
- 中では2つの頭が働きます:ひとつは音声の意味を読んで身ぶりを組み立て、もうひとつがそれを1コマずつ描きます
- 歌にも対応 — 間の取り方、気分の切り替え、ステージらしい動きまで
- 画面に複数の人物がいても大丈夫
- 音声のほかに短いテキストも受け取ります — カメラの動き、身ぶり、雰囲気を指定できます
苦手なこと
- 長さは画質しだい:1080pなら音声30秒まで、720pなら60秒まで
- いちばん得意なのは15秒未満 — それを超えると仕上がりが崩れはじめます
- シーンは静止しています:背景は変わらず、カメラは動かず、人物もほぼその場にとどまります
- 仕上がりは写真しだい — 悪い写真からは悪い動画になります
- 早口でとぎれた話し方だと、身ぶりが落ち着く時間が足りません
使わないほうがいいこと
- 横顔や、顔が隠れている写真、目が見えないサングラスの写真は渡さないで
- 長い録音をまるごと渡さないで — 15秒未満に切り分けましょう
- すでに撮影した動画があるときは使わないで — そちらのほうが口の同期は正確です
よくある使い方
- 1枚の写真からつくるしゃべるアバター
- 歌う肖像
- 用意したテキストと声でのメッセージ
- 古い写真や家族写真を動かす
- 撮影日なしで用意する、短い動画の出演者