OmniHuman — hidupkan foto seseorang dengan suara dan pergerakan

Apakah itu OmniHuman

OmniHuman ialah model video generatif yang dibangunkan oleh ByteDance — syarikat di sebalik TikTok. Ia mengambil satu foto seseorang sahaja dan rakaman audio (ucapan atau lagu) lalu menukarkannya menjadi video yang memaparkan orang dalam foto itu bercakap atau menyanyi. Pergerakan bibir, kepala dan badan diselaraskan dengan bunyi, supaya imej statik itu menjadi hidup dengan cara yang semula jadi.

Berbeza daripada model yang sekadar menambah pergerakan pada foto, OmniHuman tertumpu tepat pada rupa manusia dan pertuturan — matlamatnya ialah supaya bibir mengikuti dengan tepat apa yang didengar, manakala ekspresi dan gerak isyarat kelihatan hidup, bukan mekanikal. Justeru ia pilihan yang sesuai apabila anda mahu membuat foto seseorang yang tertentu “bercakap” dengan suara yang diberikan.

Di genkiki.com, model ini tersedia sebagai “OmniHuman (foto → ucapan)” dalam mod Video daripada foto — anda memuat naik potret dan audio, dan sistem mengembalikan video yang siap.

Versi dan keupayaan dalam generiram

OmniHuman ditawarkan sebagai satu model dengan tugas yang jelas: menghidupkan foto seseorang melalui suara. Di bawah ini ringkasan fungsinya.

VarianModKegunaan
OmniHuman (foto → ucapan)Video daripada fotoMenukarkan foto seseorang + rakaman audio menjadi video bercakap atau menyanyi dengan penyelarasan bibir, kepala dan badan

Video daripada foto

Anda berikan foto seseorang dan rakaman audio. OmniHuman mengekalkan rupa daripada foto itu dan menambah pergerakan bibir mengikut rentak ucapan, serta pergerakan kepala dan badan yang semula jadi. Hasilnya ialah video yang memaparkan orang dalam foto itu seolah-olah benar-benar menuturkan atau menyanyikan bunyi yang diberikan.

Sesuai untuk apa

  • Menghidupkan potret — buat foto statik bercakap atau menyanyi.
  • Avatar bercakap — cipta watak atau wajah yang menyampaikan mesej dengan suara yang diberikan.
  • Foto bercakap — hidupkan foto keluarga, bersejarah atau produk yang menampilkan seseorang.
  • Alih suara imej statik — tambah suara dan mimik muka pada satu bingkai, tanpa kamera dan penggambaran.

Cara untuk bermula

Buka Studio AI genkiki.com, pilih OmniHuman (foto → ucapan), muat naik foto seseorang yang jelas dan rakaman audio yang ingin anda dengar, kemudian mulakan penjanaan. Untuk hasil terbaik, gunakan foto yang wajahnya kelihatan dan diterangi dengan baik, serta rakaman audio yang bersih tanpa bunyi latar yang kuat.

Model OmniHuman — secara terperinci

Yang mana sesuai untuk apa, di mana kelemahannya, dan untuk apa ia tidak patut digunakan.

OmniHuman (foto → ucapan)

rujukanvideo
Nisbah bidang: 1:1, 9:16, 16:9 Tempoh: 5 saat, 10 saat Harga: 321 kredit

Kuat dalam

  • Daripada SATU foto dan bunyi, ia menghasilkan video yang orangnya bercakap atau menyanyi — tanpa video yang dirakam
  • Bukan sekadar menggerakkan bibir: ia membaca EMOSI dalam bunyi dan bergerak dengan seluruh badan — ucapan yang bersemangat memberi gerak isyarat berbeza daripada nada pengakuan yang tenang
  • Di bawahnya bekerja DUA minda: yang satu membaca maksud bunyi dan merancang gerak isyarat, yang kedua melukisnya bingkai demi bingkai
  • Nyanyian turut diambil kira — jeda, perubahan emosi dan gerakan pentas
  • Boleh mengendalikan beberapa watak dalam bingkai
  • Turut menerima teks pendek selain bunyi — dengannya anda menetapkan gerakan kamera, gerak isyarat atau emosi

Lemah dalam

  • Panjang bergantung pada kualiti: sehingga 30 saat bunyi pada 1080p dan sehingga 60 saat pada 720p
  • Paling baik di bawah 15 saat — selebihnya hasilnya mula merosot
  • Babak itu STATIK: latar belakang tidak berubah, kamera tidak bergerak, orangnya kekal lebih kurang di tempat yang sama
  • Hasilnya bergantung sepenuhnya pada foto — foto yang teruk menghasilkan video yang teruk
  • Pertuturan yang laju dan terputus-putus memberinya masa yang lebih singkat untuk menetap dalam gerak isyarat

Jangan gunakan untuk

  • Jangan berikan foto dari sisi profil, dengan muka tertutup atau cermin mata yang menyembunyikan mata
  • Jangan beri rakaman panjang sekali gus — potong kepada bahagian di bawah 15 saat
  • Jangan gunakan apabila anda sudah mempunyai video yang dirakam — di situ penyegerakan bibir lebih tepat

Tugasan lazim

  • Avatar bercakap daripada satu foto
  • Potret yang menyanyi
  • Ucapan berdasarkan teks dan suara yang diberikan
  • Potret arkib atau keluarga yang dihidupkan
  • Pengacara untuk video pendek, tanpa hari penggambaran

Soalan lazim tentang OmniHuman

Berapakah kos satu penjanaan dengan OmniHuman?

Bayaran dibuat dengan kredit dan harga bergantung pada model: OmniHuman (foto → ucapan) — 321 kredit. Harga tepat dipaparkan sebelum anda memulakan penjanaan.

Apakah had bagi OmniHuman?

Inilah yang disokong oleh setiap model: OmniHuman (foto → ucapan) — nisbah aspek 1:1, 9:16, 16:9, tempoh 5 saat, 10 saat.

Untuk apakah OmniHuman paling sesuai?

Kekuatan mengikut model: OmniHuman (foto → ucapan) — Daripada SATU foto dan bunyi, ia menghasilkan video yang orangnya bercakap atau menyanyi — tanpa video yang dirakam, Bukan sekadar menggerakkan bibir: ia membaca EMOSI dalam bunyi dan bergerak dengan seluruh badan — ucapan yang bersemangat memberi gerak isyarat berbeza daripada nada pengakuan yang tenang, Di bawahnya bekerja DUA minda: yang satu membaca maksud bunyi dan merancang gerak isyarat, yang kedua melukisnya bingkai demi bingkai.

OmniHuman berbanding model lain

Semua perbandingan model

Cuba OmniHuman sekarang

Jana video anda sendiri dengan OmniHuman terus dalam pelayar — tanpa pemasangan, dalam Bahasa Melayu.