OmniHuman (фото → речь)
референс→видеоСилён в
- Из ОДНОГО фото и звука делает видео, где человек говорит или поёт — без съёмки
- Двигает не только губы: считывает ЭМОЦИЮ в звуке и играет всем телом — взволнованная речь даёт другие жесты, чем тихий исповедальный тон
- Внутри работают ДВА ума: один разбирает смысл звука и планирует жест, второй рисует его кадр за кадром
- Пение предусмотрено — паузы, смена настроения и сценическое движение
- Выдерживает несколько героев в кадре
- Кроме звука принимает и короткий текст — им задаёшь движение камеры, жест или настроение
Слаб в
- Длина зависит от качества: до 30 секунд звука при 1080p и до 60 секунд при 720p
- Лучше всего он до 15 секунд — дальше результат начинает разваливаться
- Сцена СТАТИЧНАЯ: фон не меняется, камера стоит, человек остаётся примерно на месте
- Результат целиком зависит от фото — из плохого фото выйдет плохое видео
- Быстрая рваная речь даёт ему меньше времени, чтобы жест улёгся
Не используй для
- Не подавай фото в профиль, с закрытым лицом или в очках, которые прячут глаза
- Не давай ему длинную запись целиком — режь её на куски меньше 15 секунд
- Не используй, когда у тебя уже есть снятое видео — там синхрон губ точнее
Типичные задачи
- Говорящий аватар из одного фото
- Поющий портрет
- Обращение по готовому тексту и голосу
- Оживший архивный или семейный портрет
- Ведущий для короткого видео, без съёмочного дня