Perjalanan AI Meta pasti akan membawanya ke ranah video AI yang sedang berkembang. Sekarang, perusahaan yang dipimpin Mark Zuckerberg memilikinya Jenderal Filmgenerator video lain yang mampu membuat video realistis dari perintah teks pendek. Meta mengklaim ini berguna bagi Hollywood dan bagi rata-rata Instagrammer, meskipun ini tidak tersedia untuk siapa pun di luar Meta. Movie Gen dapat membuat audio, membuatnya generator deep fake paling mumpuni yang pernah kami lihat.
Di sebuah postingan blogMeta memamerkan beberapa contoh video, termasuk bayi kuda nil yang bahagia berenang di bawah air, entah bagaimana mengambang tepat di bawah permukaan dan tampaknya tidak mengalami masalah dalam menahan napas. Video lain menampilkan penguin yang mengenakan pakaian “Victoria” dengan lengan dan rok yang terlalu pendek untuk mewakili periode waktu tersebut. Ada video lain tentang seorang wanita yang menjadi DJ di samping seekor cheetah yang terlalu terganggu oleh iramanya sehingga tidak peduli dengan bahaya yang ada padanya.
Semua orang terlibat dalam ruang video yang dihasilkan AI. Sudah tahun ini, VASA-1 Microsoft Dan Sora dari OpenAI menjanjikan video “realistis” yang dihasilkan dari perintah teks sederhana. Meskipun sempat digoda pada bulan Februari, Sora masih belum menemukan titik terang. Movie Gen Meta menawarkan beberapa kemampuan lebih dibandingkan kompetitor, termasuk mengedit video yang ada dengan perintah teks, membuat video berdasarkan gambar, dan menambahkan suara yang dihasilkan AI ke video yang dibuat.
Rangkaian pengeditan video tampaknya sangat baru. Ini berfungsi pada video yang dihasilkan serta pengambilan gambar di dunia nyata. Meta mengklaim modelnya “mempertahankan konten asli” sambil menambahkan elemen pada rekaman, baik itu latar belakang atau pakaian untuk karakter utama adegan tersebut. Meta menunjukkan bagaimana Anda juga dapat mengambil gambar orang dan memasukkannya ke dalam film yang dihasilkan.
Meta sudah memiliki model pembuatan musik dan suara, tetapi raksasa media sosial ini menampilkan beberapa contoh generator audio parameter 13B yang menambahkan efek suara dan soundtrack di atas video. Input teksnya bisa sesederhana “gemerisik dedaunan dan ranting yang patah” untuk ditambahkan ke video yang dihasilkan, yaitu seekor ular yang meliuk-liuk di lantai hutan. Generator audio saat ini dibatasi hingga 45 detik, sehingga tidak dapat mencetak seluruh film. Setidaknya, itu belum terjadi.
Dan tidak, maaf, Anda belum bisa menggunakannya. Chief product officer Meta, Chris Cox, menulis di Threads, “Kami belum siap merilis produk ini dalam waktu dekat—harganya masih mahal, dan waktu pembuatannya terlalu lama.”
Di dalamnya kertas putih membahas Movie Gen, Meta mengatakan seluruh rangkaian perangkat lunak terdiri dari beberapa model dasar. Model video terbesar yang dimiliki perusahaan adalah model transformator parameter 30B dengan panjang konteks maksimum 73,000 token video. Generator audio adalah model dasar parameter 13B yang dapat melakukan video-ke-audio dan teks-ke-audio.
Sulit untuk membandingkannya dengan generator video perusahaan AI terbesar, terutama sejak OpenAI klaim Sora menggunakan “data yang disebut patch, yang masing-masing mirip dengan token di GPT.” Meta adalah salah satu dari sedikit perusahaan besar yang masih merilis data dengan alat AI barunya, sebuah praktik yang sudah ditinggalkan karena AI telah dikomersialkan secara berlebihan. Meskipun demikian, whitepaper Meta tidak memberikan banyak gambaran tentang dari mana ia mendapatkan data pelatihan untuk Movie Gen. Kemungkinan besar, beberapa bagian dari kumpulan data telah berasal dari video pengguna Facebook. Meta juga menggunakan foto yang Anda ambil dengan Meta Ray-Ban kacamata pintar untuk melatih model AI-nya.
Anda belum dapat menggunakan Movie Gen. Sebaliknya, generator film AI lainnya menyukainya RunwayML Generasi 3 menawarkan token dalam jumlah terbatas untuk membuat klip kecil sebelum Anda harus mulai membayar. Sebuah laporan oleh 404 Media awal tahun ini menunjukkan bahwa Runway melatih AI-nya dari ribuan video YouTube, dan seperti kebanyakan startup AI, Runway tidak pernah meminta izin sebelum menghapus konten tersebut.
Meta mengatakan pihaknya bekerja sama dengan para pembuat film dan produser video saat membuat model ini dan akan terus melakukannya seiring dengan pengerjaannya di Movie Gen. Laporan dari awal tahun ini menunjukkan bahwa studio sudah mulai menerima perusahaan AI. Sayang independen A24 baru-baru ini bekerja dengan perusahaan VC berspesialisasi dalam AI, dan beberapa terkait dengan OpenAI. Di sisi lain, Meta adalah dilaporkan sedang berdiskusi dengan bintang Hollywood seperti Judi Dench dan Awkwafina tentang penggunaan suara mereka untuk proyek AI di masa depan.
