Peringatan baru dikeluarkan untuk jutaan pengguna Gmail
Kita berada di tengah-tengah perubahan generasi, seiring dengan peningkatan kemampuan terbesar yang pernah ada pada ponsel pintar yang sudah mendukung kehidupan kita. Ketika AI diterapkan dalam segala hal, di mana pun, semakin jelas bahwa kita belum sepenuhnya memahami risikonya, apalagi cara untuk tetap aman. Jelas juga tidak ada gigi mundur.
Hal serupa juga terjadi pada sejumlah besar pengguna Gmail minggu ini, karena Google terus memperbarui jutaan akun Workspace untuk menyediakan alat AI baru. Mereka yang mengandalkan platform email paling populer di dunia baru saja melihat sisi baik dan buruk dari semua perubahan ini pada waktu yang hampir bersamaan.
Pertama untuk yang baik. Google punya dikonfirmasi bahwa balasan cerdas bertenaga Gemini yang pertama kali digembar-gemborkan pada acara I/O awal tahun ini kini hadir di Android dan iOS. “Kami sangat gembira untuk mengumumkan fitur Gemini baru di Gmail, Balasan Cerdas kontekstual, yang akan menawarkan tanggapan lebih rinci untuk sepenuhnya menangkap maksud pesan Anda.”
Ini akan menawarkan serangkaian tanggapan “yang mempertimbangkan seluruh isi rangkaian email.” Meskipun ada masalah keamanan dan privasi yang jelas dalam AI yang membaca seluruh rangkaian pesan—mungkin pada akhirnya seluruh riwayat email, hal ini dapat diatasi dengan membedakan antara pemrosesan di perangkat dan pemrosesan clouddan melalui arsitektur baru yang menawarkan pemrosesan cloud sebagai ekstensi aman pada ponsel Anda.
Gemini mendukung balasan yang cerdas dan kontekstual
Namun ada masalah serius, yang disorot oleh laporan lain minggu ini yang membahas penggunaan Gemini dalam Workspace sebagai alat produktivitas, termasuk membaca dan merangkum serta membalas email yang belum kami periksa sendiri.
Hal ini meningkatkan “risiko signifikan” dari kerentanan Gemini terhadap “serangan injeksi langsung tidak langsung.” Lapisan TersembunyiTim peneliti memperingatkan bahwa email berbahaya dapat dibuat bukan untuk dibaca manusia, melainkan untuk meminta AI merangkum atau mengambil tindakan. Dengan cara ini, “penyerang pihak ketiga”, seperti yang ditunjukkan oleh bukti konsep mereka, dapat memasang serangan phishing di dalam obrolan AI itu sendiri, mengelabui pengguna agar mengeklik secara berbahaya.
Sebagai IBM menjelaskan, “injeksi cepat adalah jenis serangan siber terhadap model bahasa besar (LLM). Peretas menyamarkan masukan berbahaya sebagai perintah yang sah, memanipulasi sistem AI generatif (GenAI) untuk membocorkan data sensitif, menyebarkan informasi yang salah, atau lebih buruk lagi… Pertimbangkan asisten virtual bertenaga LLM yang dapat mengedit file dan menulis email. Dengan perintah yang tepat, peretas dapat mengelabui asisten ini agar meneruskan dokumen pribadi.”
Perintah AI berbahaya di email
Penyerang mengirimkan email yang tidak berbahaya ke korban yang dituju, dengan perintah sistem di email itu sendiri. Salah satu contoh yang diberikan adalah email sederhana yang menanyakan tentang pertemuan makan siang yang mencakup permintaan untuk menampilkan peringatan peretasan kata sandi termasuk tautan phishing jika korban yang dituju menanyakan rencana perjalanan mereka kepada Gemini.
“Kerentanan injeksi cepat,” kata IBM, “muncul karena perintah sistem dan masukan pengguna menggunakan format yang sama: rangkaian teks bahasa alami. Artinya LLM tidak bisa membedakan instruksi dan input hanya berdasarkan tipe data. Sebaliknya, hal ini bergantung pada pelatihan sebelumnya dan petunjuknya sendiri untuk menentukan apa yang harus dilakukan. Jika penyerang membuat masukan yang terlihat seperti perintah sistem, LLM mengabaikan instruksi pengembang dan melakukan apa yang diinginkan peretas.”
“Meskipun ini adalah contoh pembuktian konsep yang sederhana,” kata tim Hidden Layer, “mereka menunjukkan bahwa pihak ketiga yang jahat dapat mengambil kendali Gemini untuk Workspace dan menampilkan pesan apa pun yang mereka inginkan. Sebagai bagian dari pengungkapan yang bertanggung jawab, hal ini dan suntikan cepat lainnya di blog ini dilaporkan ke Google, yang memutuskan untuk tidak melacaknya sebagai masalah keamanan dan menandai tiket sebagai “Tidak Akan Diperbaiki (Perilaku yang Diinginkan).”
Respons Gemini, mengubah pesan jahat menjadi serangan phishing
Ini bukan hanya Gmail. Dengan panel samping AI yang kini menghiasi begitu banyak aplikasi dan alat produktivitas, vektor serangan meluas ke semua jenis aplikasi perpesanan dan lampiran. Dan kita berada di awal dari semua ini. Ini adalah versi berikutnya dari rekayasa sosial yang mendorong begitu banyak serangan siber yang kami laporkan, hanya rekayasa sosial di sini yang berhubungan dengan interaksi kita dengan AI, bukan interaksi satu sama lain.
“Meskipun Gemini for Workspace sangat serbaguna dan terintegrasi di banyak produk Google, ada peringatan yang signifikan,” Hidden Layer memperingatkan, “kerentanannya terhadap injeksi cepat tidak langsung… dalam kondisi tertentu, pengguna dapat memanipulasi asisten untuk menghasilkan tanggapan yang menyesatkan atau tidak diinginkan. Selain itu, penyerang pihak ketiga dapat mendistribusikan dokumen dan email berbahaya… membahayakan integritas respons yang dihasilkan oleh target Gemini.”
Google tampaknya menanggapi hal ini dengan serius dan tidak akan menganggap ancaman ini sebagai perilaku yang disengaja. Menanggapi laporan Lapisan Tersembunyi, juru bicara Google mengatakan kepada saya bahwa “pertahanan terhadap serangan jenis ini telah menjadi prioritas berkelanjutan bagi kami, dan kami telah mengerahkan banyak pertahanan yang kuat untuk menjaga keamanan pengguna, termasuk perlindungan untuk mencegah serangan injeksi cepat dan tanggapan yang merugikan atau menyesatkan. Kami terus memperkuat pertahanan kami yang sudah kuat melalui latihan tim merah yang melatih model kami untuk bertahan melawan serangan musuh semacam ini.”
Hal ini berlaku secara menyeluruh, tidak hanya pada Google Workspace. Hanya saja Google diposisikan secara unik dengan platform seperti Gmail untuk mendorong AI-nya lebih cepat dibandingkan platform lain, sehingga masalah ini kemungkinan besar akan muncul terlebih dahulu.
