Google Para ilmuwan peneliti telah merilis makalah mereka tentang GameNGenmesin permainan berbasis AI yang menghasilkan game asli Malapetaka permainan pada jaringan saraf. Dengan menggunakan Stable Diffusion, ilmuwan Dani Valevski, Yaniv Leviathan, Moab Arar, dan Shlomi Fruchter merancang GameNGen untuk memproses frame sebelumnya dan masukan terkini dari pemain guna menghasilkan frame baru di dunia dengan ketepatan dan kohesi visual yang mengejutkan.
AI yang menghasilkan mesin permainan lengkap dengan logika yang konsisten adalah sebuah pencapaian yang unik. Malapetaka dapat dimainkan seperti gim video sungguhan, dengan berputar dan menyerang, menembakkan senjata, dan kerusakan akurat dari musuh dan bahaya lingkungan. Level sebenarnya dibangun di sekitar Anda secara real-time saat Anda menjelajahinya. Bahkan, gim ini mencatat sebagian besar amunisi pistol Anda dengan tepat. Menurut penelitian, gim ini berjalan pada 20 FPS dan sulit dibedakan dalam klip pendek dari yang sebenarnya Malapetaka permainan.
Untuk mendapatkan semua data pelatihan yang diperlukan agar GameNGento dapat memodelkan dirinya sendiri secara akurat Malapetaka level, tim Google melatih agen AI-nya untuk bermain Malapetaka pada semua tingkat kesulitan dan mensimulasikan berbagai tingkat keterampilan pemain. Tindakan seperti mengumpulkan power-up dan menyelesaikan level diberi hadiah. Pada saat yang sama, kerusakan atau kematian pemain dihukum, menciptakan agen yang dapat bermain Malapetaka dan menyediakan ratusan jam data pelatihan visual untuk referensi dan pembuatan ulang model GameNGen.
Inovasi penting dalam penelitian ini adalah bagaimana para ilmuwan mempertahankan kohesi antar frame saat menggunakan Stable Diffusion dalam jangka waktu yang lama. Stable Diffusion adalah model AI generatif yang ada di mana-mana yang menghasilkan gambar dari gambar atau teks dan telah digunakan untuk proyek animasi sejak dirilis pada tahun 2022.
Dua kelemahan Stable Diffusion yang paling signifikan untuk animasi adalah kurangnya kohesi dari bingkai ke bingkai dan kemundurannya dalam kesetiaan visual dari waktu ke waktu. Seperti yang terlihat dalam film pendek Anime Rock Paper Scissors dari Corridor, Stable Diffusion dapat menciptakan gambar diam yang meyakinkan tetapi mengalami efek kedipan saat model mengeluarkan bingkai berturut-turut (perhatikan bagaimana bayangan tampak melompat di seluruh wajah para aktor dari bingkai ke bingkai).
Kedipan tersebut dapat diatasi dengan memasukkan output-nya ke Stable Diffusion dan melatihnya menggunakan gambar yang dibuatnya untuk memastikan frame-frame saling cocok. Namun, setelah beberapa ratus frame, pembuatan gambar menjadi semakin tidak akurat, mirip dengan efek memfotokopi berkali-kali.
Google Research memecahkan masalah ini dengan melatih frame baru dengan urutan input pengguna dan frame yang lebih panjang yang mendahuluinya—bukan hanya gambar perintah tunggal—dan merusak frame konteks ini menggunakan derau Gaussian. Kini, jaringan saraf yang terpisah namun terhubung memperbaiki frame konteksnya, memastikan gambar yang terus mengoreksi diri sendiri dan tingkat stabilitas visual tinggi yang bertahan dalam jangka waktu lama.
Contoh GameNGen yang terlihat sejauh ini, harus diakui, kurang sempurna. Blob dan blur muncul di layar secara acak. Musuh yang mati menjadi gundukan buram setelah mati. Doomguy di HUD terus-menerus mengedipkan alisnya ke atas dan ke bawah seperti dia adalah The Rock di Monday Night Raw. Dan, tentu saja, level yang dihasilkan tidak konsisten; video YouTube yang disematkan di atas berakhir di lubang racun tempat Doomguy tiba-tiba berhenti menerima kerusakan pada 4% dan sepenuhnya mengubah tata letaknya setelah berputar 360 derajat di dalamnya.
Meskipun hasilnya bukanlah sebuah video game yang dapat dimenangkan, GameNGen menghasilkan simulasi yang mengesankan Malapetaka kami sukai. Di antara demo teknologi dan eksperimen pemikiran tentang masa depan AI, GameNGen Google akan menjadi bagian penting dari pengembangan game AI di masa depan jika bidang ini terus berlanjut. Dipasangkan dengan penelitian Caltech tentang menggunakan Minecraft untuk mengajarkan model AI pembuatan peta yang konsisten, mesin permainan video berbasis AI dapat hadir di komputer dekat Anda lebih cepat dari yang kita duga.
