Sync 2.0 Pro Lip-sync
референс→видеоСилён в
- САМЫЙ ТОЧНЫЙ синхрон губ поверх СНЯТОГО видео — студийный уровень
- Схватывает манеру говорящего прямо из видео, без отдельного обучения — смотрит на вход и сам составляет представление о человеке в движении
- Работает до 4K, а лицо вычищает диффузионным увеличением, а не старым способом — борода и рот выходят чистыми
- Выдерживает более крупное лицо в кадре — примерно до 350 пикселей, без потери качества
- Годится и для игрового кадра, и для рисованного, и для сгенерированного видео
Слаб в
- Требует АКТИВНОЙ речи на входе: если человек в кадре молчит, губы могут вообще не тронуться
- Резкий профиль или частично закрытое лицо дают слабый результат
- Медленный — примерно вдвое медленнее облегчённого варианта
- Дорогой
Не используй для
- Не давай кадр, где человек молчит или просто смотрит
- Не давай резкий профиль или лицо за рукой, микрофоном, волосами
- Не бери его, когда у тебя есть только фото — для этого есть другая модель
Типичные задачи
- Заставь человека из клипа сказать другой текст
- Смени язык говорящего, сохранив лицо
- Поправь реплику, не переснимая
- Дубляж игрового или рекламного кадра