Pada acara Meta Connect awal pekan ini, Mark Zuckerberg memamerkan segudang fitur baru di andalan perusahaannya Kacamata pintar Meta Ray-Ban. Menyebut kacamata sebagai “faktor bentuk sempurna untuk AI”, peningkatan kualitas hidup baru ini berpusat pada AI multi-modal kacamata untuk interaksi yang lebih alami (mirip dengan apa yang kami lihat pada kacamata). Gemininya Google Dan ObrolanGPT 4o).
Juga: Semuanya diumumkan di Meta Connect 2024: Quest 3 yang Terjangkau, kacamata AR, dan banyak lagi
Namun selain peningkatan pada komunikasi, AI multimodal pada kacamata ini memungkinkan beberapa interaksi baru yang menarik, memberi mereka kemampuan untuk “melihat” apa yang Anda lihat dan “mendengar” apa yang Anda dengar dengan lebih sedikit konteks yang dibutuhkan oleh pengguna.
Salah satu fitur yang paling berguna adalah kemampuan kacamata untuk “mengingat” sesuatu untuk Anda — mencatat angka atau indikator visual tertentu untuk disimpan nanti. Berikut rincian semua hal yang akan segera diluncurkan.
1. Terjemahan dengan cepat
Mirip dengan teknologi terjemahan langsung lainnya seperti yang kita lihat muncul tahun ini, Meta Ray-Bans akan mendapatkan fitur terjemahan langsung yang dirancang untuk bekerja secara real-time (atau setidaknya mendekati itu) dengan bahasa Spanyol, Prancis, dan Italia. Selama acara tersebut, Zuckerberg mendemonstrasikan percakapan dengan seorang penutur bahasa Spanyol, dan kacamata tersebut menerjemahkan apa yang dikatakan dan didengar setiap pembicara dari bahasa Spanyol ke bahasa Inggris hanya dalam hitungan detik.
Tentu saja, tidak setiap percakapan akan melibatkan dua pengguna yang memakai kacamata pintar, sehingga perusahaan mengizinkan pengguna untuk menyinkronkan keluaran mereka dengan aplikasi pendamping Meta, memanfaatkan ponsel cerdas untuk menampilkan terjemahan.
Juga: Ulasan Meta Ray-Ban Smart Glasses: Kacamata AR bertenaga AI terbaik untuk dibeli saat ini
Selain fitur-fitur baru pada kacamata, Meta juga memperkenalkan alat AI terjemahan barunya untuk Reel Instagram yang secara otomatis menerjemahkan audio ke dalam bahasa Inggris dan kemudian menggunakan AI untuk menyinkronkan gerakan mulut pembicara agar sesuai dengan terjemahan bahasa Inggris. Hasilnya — setidaknya dalam demonya — adalah video berbahasa Inggris yang terlihat natural menggunakan sampel suara pembicara sendiri.
Sejauh ini, fitur ini masih dalam tahap awal, dan saat ini hanya tersedia dalam bahasa Spanyol di Instagram dan Facebook sementara Meta terus menguji teknologinya.
2. Kacamatanya sekarang bisa 'mengingat' sesuatu
Demo ini juga memamerkan “memori fotografis” kacamata dengan memecahkan masalah yang kita semua hadapi: mengingat di mana kita parkir. Pengguna melihat nomor di tempat parkir dan hanya berkata, “Ingat di mana saya parkir.”
Kemudian bertanya kepada si kacamata, “Hei Meta, aku parkir di mana?” memanggil AI untuk merespons dengan nomor tempat parkir. Jenis “pengarsipan” pengetahuan dengan cepat adalah contoh pemanfaatan keahlian terbaik AI: mengingat data spesifik dalam konteks yang telah ditentukan sebelumnya. Kami harus menguji sendiri seberapa andal fitur tersebut untuk informasi yang kurang terlihat secara visual.
Contoh kegunaan tambahan dari fitur ini mudah dibayangkan, dengan melihat apa saja mulai dari daftar belanjaan hingga tanggal acara atau nomor telepon.
3. Multimodalitas tingkat berikutnya
Sebelumnya, Anda harus mengatakan “Hai Meta” untuk memanggil AI kacamata, lalu tunggu perintah untuk memulai pertanyaan Anda. Kini, Anda cukup mengajukan pertanyaan tentang kacamata secara real-time, bahkan saat sedang bergerak, memanfaatkan AI multimodal kacamata untuk menganalisis apa yang Anda lihat atau dengar.
Juga: Kesepakatan Quest 3 512GB baru dari Meta mungkin merupakan penawaran headset VR terbaik saat ini
Salah satu demo menunjukkan pengguna mengupas alpukat dan bertanya, “Apa yang bisa saya buat dengan ini?”, tanpa menyebutkan apa yang dimaksud dengan “ini”. Demo lain menunjukkan pengguna menelusuri lemari dan mengeluarkan beberapa item pakaian sekaligus, meminta AI untuk membantu menata pakaian secara real time. Seperti yang lainnya asisten suara populer telah berkembang, Anda selalu dapat mengganggu Meta AI saat mengonversinya.
Sejalan dengan itu, kemampuan multimodal kacamata ini lebih dari sekadar menganalisis apa yang dilihat dalam arti statis. Kacamata akan mengenali hal-hal seperti URL, nomor telepon yang dapat Anda hubungi, atau kode QR, yang dapat Anda pindai secara instan dengan kacamata.
4. Kemitraan 'Jadilah Mataku'
Terakhir, Zuckerberg mendemonstrasikan fitur aksesibilitas baru yang cerdas pada kacamata tersebut. Orang-orang tunanetra dan tunanetra dapat menggunakan kacamata untuk menyiarkan apa yang mereka lihat kepada sukarelawan di ujung sana, yang dapat menjelaskan kepada mereka secara detail apa yang mereka lihat. Jadilah Mataku adalah program yang sudah ada yang menghubungkan orang-orang dengan gangguan penglihatan dengan sukarelawan virtual melalui video langsung.
Demo tersebut menunjukkan seorang wanita melihat undangan pesta dengan tanggal dan waktu. Namun, kegunaannya di dunia nyata pada dasarnya bisa berupa apa saja, mulai dari membaca tanda, berbelanja bahan makanan, hingga menavigasi gadget teknologi.
Terakhir, Zuck memamerkan beberapa desain baru, termasuk Ray-Bans edisi terbatas baru dengan bingkai bening dan transparan, serta pengenalan lensa transisi baru, yang secara efektif menggandakan kegunaannya sebagai kacamata hitam dan kacamata resep.
Itu Larangan Meta Ray mulai dari $300 dan hadir dalam sembilan desain bingkai berbeda dan gaya transparan edisi terbatas baru.
