OmniHuman(照片 → 說話)
參考素材→個影片擅長
- 只用一張照片和一段聲音,就做出這個人說話或唱歌的影片——不需要拍攝任何影片
- 它不只是動嘴唇:它讀出聲音裡的情緒,用整個身體去演——激動的語氣給出的手勢,和低聲傾訴時完全不同
- 底下有兩個「大腦」在幹活:一個讀懂聲音的意思、規劃動作,另一個把它一幀一幀畫出來
- 唱歌是專門考慮過的——停頓、情緒轉折和舞台上的動作
- 畫面裡有幾個人物也能處理
- 除了聲音,還可以給一小段文字——用它來指定鏡頭運動、手勢或情緒
不擅長
- 長度取決於品質:1080p 時聲音最長 30 秒,720p 時最長 60 秒
- 15 秒以內效果最好——超過之後結果就開始散架
- 場景是靜止的:背景不變,鏡頭不動,人也大致待在原地
- 結果完全取決於那張照片——照片差,影片就差
- 說話又快又斷斷續續,它就沒那麼多時間把動作做到位
不要用它來做
- 別給它側臉的照片、臉被遮住的照片,或者眼鏡擋住眼睛的照片
- 別一次給它很長的錄音 —— 切成 15 秒以內的片段
- 你已經有拍好的影片時,別用它 —— 那種情況下對嘴型更準
典型用途
- 用一張照片做會說話的頭像
- 會唱歌的肖像
- 按給定的文字和聲音做致詞
- 讓舊照片或家庭肖像動起來
- 短影片的主持人,不用專門拍攝