Microsoft Copilot kini dapat membaca layar Anda, berpikir secara mendalam, dan berbicara dengan lantang kepada Anda

Seminggu setelah mengumumkan gelombang pembaruan untuk rangkaian perusahaannya Kopilot Produk yang didukung AI, Microsoft meluncurkan kemampuan Copilot baru di Windows untuk semua pengguna, termasuk alat yang dapat memahami dan merespons pertanyaan tentang apa yang ada di layar Anda.

Aplikasi Copilot yang diperbarui untuk iOS, Android, Windows, dan web diluncurkan hari ini, dan semuanya menampilkan Copilot dengan gaya yang lebih “hangat” dan “berbeda”, seperti yang dijelaskan oleh Microsoft. Microsoft juga menghadirkan chatbot ke WhatsApp, memungkinkan pengguna ngobrol dengan Copilot lewat DMmirip dengan pengalaman yang Anda dapatkan dengan bot lain di platform perpesanan Meta.

Visi Kopilot

Copilot Vision memiliki pandangan tentang apa yang Anda lihat di PC Anda — lebih khusus lagi, lensa ke situs yang Anda kunjungi dengan Microsoft Edge. Berpagar di belakang Copilot Labs, yang baru, Kopilot Pro-program opt-in eksklusif untuk kemampuan Copilot eksperimental, Copilot Vision dapat menganalisis teks dan gambar di halaman web dan menjawab pertanyaan (misalnya, “Apa resep makanan di gambar ini?”) tentangnya.

Vision, yang dapat diakses dengan mengetikkan “@copilot” di bilah alamat Edge, bukanlah sebuah keajaiban teknis. penawaran Google teknologi pencarian serupa di Android, dan baru-baru ini dibawa potongan-potongan teknologi itu ke Chrome juga.

Namun Microsoft menyarankan bahwa Copilot Vision lebih kuat dan sadar akan privasi dibandingkan fitur analisis layar sebelumnya.

“Copilot Vision dapat… menyarankan langkah selanjutnya, menjawab pertanyaan, membantu menavigasi apa pun yang ingin Anda lakukan, dan membantu tugas, semuanya hanya dengan berbicara dalam bahasa alami,” tulis Microsoft dalam postingan blog yang dibagikan dengan TechCrunch. “Bayangkan Anda mencoba melengkapi apartemen baru. Copilot Vision dapat membantu Anda mencari furnitur, menemukan palet warna yang tepat, memikirkan pilihan Anda untuk segala hal mulai dari permadani hingga selimut, dan bahkan menyarankan cara mengatur apa yang Anda lihat.”

Visi Kopilot
Menggunakan Copilot Vision untuk mengajukan pertanyaan tentang foto di web.
Kredit Gambar: Microsoft

Pastinya sangat ingin dihindari satu lagi pemberitaan buruk tentang privasi AI yang gagalMicrosoft menekankan bahwa Copilot Vision dirancang untuk menghapus data segera setelah percakapan. Audio, gambar, atau teks yang diproses tidak disimpan atau digunakan untuk melatih model, klaim perusahaan — setidaknya tidak dalam versi pratinjau ini.

Copilot Vision juga terbatas pada jenis situs web yang dapat diinterpretasikannya. Untuk saat ini, Microsoft memblokir fitur tersebut agar tidak berfungsi pada konten berbayar dan “sensitif”, sehingga membatasi Vision pada daftar properti web “populer” yang telah disetujui sebelumnya.

Apa sebenarnya yang dimaksud dengan konten “sensitif”? Porno? Kekerasan? Pada saat ini, Microsoft tidak akan mengatakannya.

Tuduhan menghindari paywall dengan alat AI telah membuat Microsoft terkena masalah hukum di masa lalu. Dalam gugatan yang sedang berlangsung, The New York Times dugaan bahwa Microsoft mengizinkan pengguna untuk mengatasi paywall-nya dengan menyajikan artikel NY Times melalui Kopilot chatbot di Bing. Ketika diminta dengan cara tertentu, Copilot – yang didukung oleh model OpenAI kolaborator dekat Microsoft – akan memberikan cuplikan cerita berbayar secara verbatim (atau mendekati kata demi kata), menurut The Times.

Microsoft mengatakan bahwa Copilot Vision, yang saat ini hanya tersedia di AS, akan menghormati “kontrol AI yang dapat dibaca mesin” di situs – seperti aturan yang melarang bot dari mengambil data untuk pelatihan AI. Namun perusahaan belum mengatakannya dengan tepat yang mengendalikan Vision akan dihormati; ada beberapa di dalam menggunakan. Kami telah meminta klarifikasi dari Microsoft.

Banyak penerbit besar telah memilih untuk memblokir alat AI agar tidak menjaring situs web mereka bukan hanya karena takut data mereka akan digunakan tanpa izin, namun juga untuk mencegah alat ini menyebar. mengirim biaya server mereka melonjak. Jika tren saat ini bertahan, Copilot Vision mungkin tidak berfungsi di beberapa web situs berita teratas.

Microsoft mengatakan pihaknya berkomitmen untuk “menerima masukan” untuk menghilangkan kekhawatiran.

“Sebelum kami meluncurkannya secara luas, kami akan terus… menyempurnakan langkah-langkah keamanan kami dan menjaga privasi dan tanggung jawab sebagai inti dari semua yang kami lakukan,” kata Microsoft dalam postingan blognya. “Tidak ada pemrosesan khusus atas konten situs web yang Anda jelajahi (dengan Copilot), atau pelatihan AI apa pun — Copilot Vision hanya membaca dan menafsirkan gambar dan teks yang dilihatnya di halaman untuk pertama kalinya bersama Anda.”

Pikirkan Lebih Dalam

Seperti halnya Vision, fitur Think Deeper baru dari Copilot merupakan upaya untuk membuat asisten Microsoft lebih serbaguna.

Think Deeper memberi Copilot kemampuan untuk berpikir melalui masalah yang lebih kompleks, kata Microsoft, berkat “model penalaran” yang membutuhkan lebih banyak waktu sebelum merespons dengan jawaban langkah demi langkah.

Model penalaran yang mana? Microsoft agak cerdik ketika saya bertanya, hanya mengatakan bahwa Think Deeper menggunakan “model terbaru dari OpenAI, yang disempurnakan oleh Microsoft.” Membaca yang tersirat, dapat dipastikan bahwa ini adalah versi OpenAI yang disesuaikan o1 model.

“Kami telah merancang Think Deeper agar berguna untuk semua jenis tantangan praktis sehari-hari, seperti membandingkan dua opsi kompleks secara berdampingan,” tulis Microsoft dalam postingan blog. “Think Deeper dapat membantu dalam segala hal mulai dari memecahkan soal matematika yang sulit hingga mempertimbangkan biaya pengelolaan proyek rumah.”

Microsoft sedikit membicarakan potensi Think Deeper dalam materi persnya. Namun dengan asumsi model di bawahnya adalah o1, hal itu pasti terjadi gagal di beberapa daerah. Kami penasaran untuk melihat peningkatan seperti apa yang dilakukan Microsoft pada model dasarnya, dan seberapa cepat Think Deeper akan hadir mengenai keterbatasannya.

Think Deeper akan tersedia mulai hari ini untuk sejumlah pengguna Copilot Labs di Australia, Kanada, Selandia Baru, Amerika Serikat, dan Inggris.

Suara Kopilot

Fitur Copilot baru yang tersedia secara umum saat ini adalah Copilot Voice (jangan bingung dengan GitHub Suara Kopilot). Diluncurkan dalam bahasa Inggris di Selandia Baru, Kanada, Australia, Inggris, dan Amerika Serikat, Voice menambahkan empat suara sintetis, memungkinkan Anda berbicara dengan Copilot dan tanggapannya diucapkan dengan lantang.

Suara Kopilot
Kredit Gambar: Microsoft

Seperti OpenAI Mode Suara Tingkat Lanjut untuk ChatGPT, Copilot Voice dapat menangkap nada bicara Anda selama percakapan dan merespons sesuai dengan itu, dan Anda dapat menyela kapan saja saat Copilot Voice menjawab. Seorang juru bicara Microsoft mengatakan kepada saya bahwa mode tersebut menggunakan “teknologi suara terbaru dengan model-model baru yang telah disesuaikan untuk aplikasi Copilot.” Teknologi apa? Model yang mana? Secara spesifik, kata ibu.

Satu hal yang perlu diperhatikan: Copilot Voice memiliki batas penggunaan berdasarkan waktu. Pelanggan Copilot Pro mendapatkan menit lebih banyak tetapi jumlahnya “bervariasi,” kata Microsoft kepada saya, tergantung permintaan.

Personalisasi

Copilot akan segera menjadi lebih disesuaikan dengan kesukaan dan preferensi Anda, kata Microsoft, berkat pengaturan personalisasi baru.

Saat pengaturan diaktifkan, Copilot akan memanfaatkan interaksi dan riwayat Anda sebelumnya, serta interaksi Anda dengan aplikasi dan layanan Microsoft lainnya (Microsoft tidak akan menyebutkan yang mana) untuk merekomendasikan cara menggunakan Copilot.

“Ini membantu Anda memulai,” tulis Microsoft dalam postingan blog, “menawarkan panduan praktis tentang fitur-fitur berguna Copilot dan pembuka percakapan.”

Personalisasi di Copilot, yang dapat dimatikan di menu pengaturan Copilot di Windows, tidak dijadwalkan untuk Inggris atau UE dalam waktu dekat. Namun pengguna di tempat lain akan mulai melihat pengaturannya sore ini.

Microsoft dan UE memiliki hubungan yang sulit dalam hal peluncuran produk AI perusahaan. Pada bulan Mei, UE diperingatkan Microsoft akan didenda hingga 1% dari omset tahunan globalnya berdasarkan rezim tata kelola online blok tersebut, Undang-Undang Layanan Digital, setelah perusahaan tersebut gagal menanggapi permintaan informasi yang berfokus pada alat AI generatifnya.

Sejumlah raksasa teknologi di luar Microsoft, termasuk Apel Dan Metatelah mengambil pendekatan hati-hati dalam meluncurkan alat AI di UE, karena khawatir akan melanggar undang-undang UE yang mengatur privasi data dan penerapan model.

“Untuk pengguna di Wilayah Ekonomi Eropa (EEA) dan sejumlah negara lain, kami sedang mengevaluasi opsi sebelum menawarkan personalisasi Copilot tingkat ini untuk pengguna tersebut,” kata juru bicara Microsoft kepada TechCrunch. “Beberapa fitur tidak akan tersedia di EEA hingga nanti.”

Sumber