Di antara serangan lain yang dibuat oleh Bargury adalah sebuah demonstrasi bagaimana seorang hacker—yang, sekali lagi, pasti sudah membajak sebuah akun email—bisa mendapatkan akses ke informasi sensitif, seperti gaji seseorang, tanpa memicu perlindungan Microsoft untuk file sensitif. Saat meminta data, perintah Bargury menuntut sistem untuk tidak memberikan referensi ke file tempat data diambil. “Sedikit intimidasi memang membantu,” kata Bargury.
Dalam contoh lain, ia menunjukkan bagaimana seorang penyerang—yang tidak memiliki akses ke akun email tetapi meracuni database AI dengan mengirimkan email berbahaya—dapat memanipulasi jawaban tentang informasi perbankan untuk memberikan rincian bank mereka sendiri. “Setiap kali Anda memberi AI akses ke data, itu adalah cara bagi penyerang untuk masuk,” kata Bargury.
Demo lain menunjukkan bagaimana seorang hacker eksternal bisa mendapatkan beberapa informasi terbatas tentang apakah suatu serangan akan terjadi. panggilan pendapatan perusahaan akan baik atau buruksedangkan pada contoh terakhir, Bargury mengatakan, mengubah Copilot menjadi “orang dalam yang jahat”” dengan memberi pengguna tautan ke situs web phishing.
Phillip Misner, kepala deteksi dan respons insiden AI di Microsoft, mengatakan perusahaan menghargai Bargury yang mengidentifikasi kerentanan dan mengatakan telah bekerja sama dengannya untuk menilai temuan tersebut. “Risiko penyalahgunaan AI pasca-kompromi serupa dengan teknik pasca-kompromi lainnya,” kata Misner. “Pencegahan dan pemantauan keamanan di seluruh lingkungan dan identitas membantu mengurangi atau menghentikan perilaku tersebut.”
Sebagai sistem AI generatif, seperti ChatGPT dari OpenAIBahasa Indonesia: Kopilot MicrosoftDan Gemini milik Googletelah berkembang dalam dua tahun terakhir, mereka telah bergerak ke lintasan di mana mereka mungkin akhirnya menyelesaikan tugas untuk orang lain, seperti memesan rapat atau belanja onlineNamun, para peneliti keamanan secara konsisten menyoroti bahwa mengizinkan data eksternal masuk ke sistem AI, seperti melalui email atau mengakses konten dari situs web, menciptakan risiko keamanan melalui suntikan prompt tidak langsung dan serangan keracunan.
“Saya rasa belum banyak yang memahami seberapa efektif seorang penyerang bisa menjadi lebih efektif sekarang,” kata Johann Rehberger, seorang peneliti keamanan dan direktur tim merah, yang telah kelemahan keamanan yang ditunjukkan secara luas dalam sistem AI“Yang perlu kita khawatirkan sekarang adalah apa yang diproduksi dan dikirimkan LLM kepada pengguna.”
Bargury mengatakan Microsoft telah berupaya keras untuk melindungi sistem Copilot dari serangan injeksi cepat, tetapi ia mengatakan ia menemukan cara untuk mengeksploitasinya dengan mengungkap bagaimana sistem tersebut dibangun. Ini termasuk mengekstrak perintah sistem internalkatanya, dan mencari cara untuk mengaksesnya sumber daya perusahaan dan teknik yang digunakan untuk melakukannya. “Anda berbicara dengan Copilot dan percakapannya terbatas, karena Microsoft telah menerapkan banyak kontrol,” katanya. “Namun begitu Anda menggunakan beberapa kata ajaib, percakapan akan terbuka dan Anda dapat melakukan apa pun yang Anda inginkan.”
Rehberger secara umum memperingatkan bahwa beberapa masalah data terkait dengan masalah lama perusahaan yang mengizinkan terlalu banyak karyawan mengakses file dan tidak menetapkan izin akses dengan benar di seluruh organisasi mereka. “Sekarang bayangkan Anda menempatkan Copilot di atas masalah itu,” kata Rehberger. Ia mengatakan bahwa ia telah menggunakan sistem AI untuk mencari kata sandi umum, seperti Password123, dan sistem tersebut telah memberikan hasil dari dalam perusahaan.
Baik Rehberger maupun Bargury mengatakan perlu ada lebih banyak fokus pada pemantauan apa yang diproduksi dan dikirimkan AI kepada pengguna. “Risikonya adalah tentang bagaimana AI berinteraksi dengan lingkungan Anda, bagaimana ia berinteraksi dengan data Anda, bagaimana ia menjalankan operasi atas nama Anda,” kata Bargury. “Anda perlu mencari tahu apa yang dilakukan agen AI atas nama pengguna. Dan apakah itu sesuai dengan apa yang sebenarnya diminta pengguna.”
