OmniHuman(照片 → 说话)
参考素材→个视频擅长
- 只用一张照片和一段声音,就做出这个人说话或唱歌的视频——不需要拍摄任何视频
- 它不只是动嘴唇:它读出声音里的情绪,用整个身体去演——激动的语气给出的手势,和低声倾诉时完全不同
- 底下有两个「大脑」在干活:一个读懂声音的意思、规划动作,另一个把它一帧一帧画出来
- 唱歌是专门考虑过的——停顿、情绪转折和舞台上的动作
- 画面里有几个人物也能处理
- 除了声音,还可以给一小段文字——用它来指定镜头运动、手势或情绪
不擅长
- 长度取决于质量:1080p 时声音最长 30 秒,720p 时最长 60 秒
- 15 秒以内效果最好——超过之后结果就开始散架
- 场景是静止的:背景不变,镜头不动,人也大致待在原地
- 结果完全取决于那张照片——照片差,视频就差
- 说话又快又断断续续,它就没那么多时间把动作做到位
不要用它来做
- 别给它侧脸的照片、脸被遮住的照片,或者眼镜挡住眼睛的照片
- 别一次给它很长的录音 —— 切成 15 秒以内的片段
- 你已经有拍好的视频时,别用它 —— 那种情况下对口型更准
典型用途
- 用一张照片做会说话的头像
- 会唱歌的肖像
- 按给定的文字和声音做致辞
- 让老照片或家庭肖像动起来
- 短视频的主持人,不用专门拍摄