OmniHuman (ภาพ → เสียงพูด)
ภาพอ้างอิง→วิดีโอเก่งเรื่อง
- จากภาพนิ่งเพียงภาพเดียวกับไฟล์เสียง สร้างวิดีโอที่คนในภาพพูดหรือร้องเพลงได้ — โดยไม่ต้องถ่ายวิดีโอ
- ไม่ได้ขยับแค่ริมฝีปาก: มันอ่านอารมณ์ในเสียงแล้วแสดงออกทั้งตัว — น้ำเสียงตื่นเต้นให้ท่าทางต่างจากน้ำเสียงเบา ๆ แบบสารภาพ
- เบื้องหลังมีสองสมองทำงาน: ตัวหนึ่งอ่านความหมายของเสียงแล้ววางแผนท่าทาง อีกตัววาดออกมาทีละเฟรม
- รองรับการร้องเพลงด้วย — ทั้งจังหวะหยุด การเปลี่ยนอารมณ์ และการเคลื่อนไหวแบบบนเวที
- รับได้หลายตัวละครในเฟรมเดียว
- นอกจากเสียงแล้วยังรับข้อความสั้น ๆ ได้ — ใช้สั่งการเคลื่อนกล้อง ท่าทาง หรืออารมณ์
อ่อนเรื่อง
- ความยาวขึ้นกับคุณภาพ: เสียงได้ถึง 30 วินาทีที่ 1080p และถึง 60 วินาทีที่ 720p
- ดีที่สุดเมื่อสั้นกว่า 15 วินาที — ยาวกว่านั้นผลลัพธ์เริ่มพัง
- ฉากเป็นภาพนิ่ง: ฉากหลังไม่เปลี่ยน กล้องอยู่กับที่ คนก็อยู่ตำแหน่งเดิมโดยประมาณ
- ผลลัพธ์ขึ้นกับภาพต้นฉบับทั้งหมด — ภาพแย่ก็ได้วิดีโอแย่
- เสียงพูดเร็วและขาดเป็นห้วง ๆ ทำให้มันมีเวลาน้อยลงในการวางท่าทาง
อย่าใช้กับ
- อย่าป้อนภาพด้านข้าง ภาพที่ใบหน้าถูกบัง หรือภาพที่แว่นบังดวงตา
- อย่าให้ไฟล์เสียงยาว ๆ ในครั้งเดียว — ตัดเป็นท่อนละไม่เกิน 15 วินาที
- อย่าใช้เมื่อคุณมีวิดีโอที่ถ่ายไว้แล้ว — กรณีนั้นการขยับปากจะตรงกว่า
งานที่ใช้บ่อย
- อวาตารพูดได้จากภาพเดียว
- ภาพพอร์เทรตที่ร้องเพลงได้
- คำกล่าวจากข้อความและเสียงที่ป้อนให้
- ภาพเก่าหรือภาพครอบครัวที่ถูกทำให้มีชีวิต
- พิธีกรสำหรับคลิปสั้น โดยไม่ต้องมีวันถ่ายทำ