Topi Hitam Kita berharap perangkat lunak perusahaan yang banyak digunakan aman. Bersiaplah untuk harapan itu yang akan pupus lagi, karena CTO Zenity Michael Bargury hari ini mengungkap eksploitasi Microsoft Copilot miliknya di Black Hat.
“Sebenarnya sangat sulit untuk membuat bot (Copilot Studio) yang aman,” kata Bargury Daftar dalam sebuah wawancara sebelum ceramahnya di konferensi, “karena semua default tersebut tidak aman.”
Bargury berbicara dua kali tentang kegagalan keamanan dengan Microsoft Copilot di Black Hat di Las Vegas minggu ini. pembicaraan pertama berfokus pada Copilot Studio yang disebutkan sebelumnya, alat tanpa kode Microsoft untuk membangun bot Copilot perusahaan khusus. Kedua membahas semua hal buruk yang dapat dilakukan penyerang dengan Copilot sendiri jika mereka berhasil membobol sistem organisasi yang menggunakan teknologi tersebut, serta cara menggunakan Copilot untuk mendapatkan akses awal tersebut.
Zenity, jika perlu, menawarkan antara lain kontrol keamanan untuk Copilot dan asisten tingkat perusahaan yang serupa. Perlu diingat. Ia memperingatkan risiko penggunaan layanan AI Microsoft Di Sini.
Bot Kopilot Anda cukup banyak bicara
Jika Anda tidak memiliki banyak paparan Studio Kopilotini adalah alat bagi orang-orang non-teknis untuk membuat bot percakapan sederhana, menggunakan AI Copilot Microsoft, yang dapat menjawab pertanyaan orang-orang menggunakan dokumen dan data bisnis internal. Hal ini dimungkinkan oleh apa yang disebut dengan retrieval-augmented generation, atau LAP.
Ini adalah cara Microsoft “untuk memperluas tentakel (Copilot) ke area bisnis lain, seperti CRM dan ERP,” seperti yang kami tulis Di SiniPerusahaan dapat membuat bot yang berhadapan langsung dengan pelanggan dan/atau karyawan yang menyediakan antarmuka bahasa alami ke informasi internal.
Sayangnya bagi semua pelanggan Copilot Studio di luar sana, kami diberi tahu bahwa pengaturan default di platform tersebut sama sekali tidak memadai. Gabungkan pengaturan tersebut dengan apa yang dikatakan kepala pemasaran Zenity Andrew Silberman kepada kami, yaitu hampir 3.000 bot Copilot Studio di perusahaan besar rata-rata (yang kami maksud adalah perusahaan sekelas Fortune 500), beserta penelitian yang menunjukkan bahwa 63 persen dari bot tersebut dapat ditemukan secara daring, dan Anda memiliki kemungkinan terjadinya pencurian data.
Secara spesifik, jika bot ini dapat diakses publik, dan kami diberitahu bahwa sejumlah besar dari bot tersebut dapat diakses, mereka berpotensi ditipu agar menyerahkan, atau memang sengaja menyerahkan, informasi kepada orang yang tidak seharusnya diberikan secara sukarela selama percakapan, demikian klaimnya.
Karena bot Copilot sering kali memiliki akses ke data internal perusahaan dan dokumen sensitif, kami diberi tahu bahwa masalahnya adalah mencari tahu cara mengelabui atau mendorong mereka agar mengungkapkan data tersebut. Bargury mengatakan bahwa ia dapat melakukannya dengan mengonfigurasi ChatGPT untuk mengelabui bot Copilot dengan perintah otomatis yang salah bentuk.
“Kami memindai internet dan menemukan puluhan ribu bot ini,” kata Bargury. Ia menyalahkan ketersediaan online yang tinggi dari agen-agen ini pada pengaturan Copilot Studio default yang menerbitkannya ke web tanpa perlu mengautentikasi untuk mengaksesnya – sebuah kelalaian yang telah diperbaiki Microsoft setelah tim Zenity melaporkannya kepada mereka.
Sayangnya, pengaturan default baru yang membuat bot Copilot Studio tidak dapat diakses melalui internet publik secara default saat ini hanya berlaku untuk instalasi baru, kata Bargury, jadi pengguna perangkat yang menginstalnya sebelumnya harus memeriksa penerapannya untuk memastikan.
Bargury dan timnya memiliki merilis alat baru untuk mendeteksi dan mengeksploitasi kerentanan bot Copilot. Dijuluki CopilotHunter, sekarang tersedia sebagai modul di PowerPwnalat yang dirilis Zenity di Black Hat tahun lalu untuk pengujian penyalahgunaan akun tamu Microsoft 365.
Kopilot, tolong tembuskan targetku
Sementara Bargury mengatakan Regulasi dia mungkin telah melampaui batas dengan merencanakan dua ceramah Black Hat tahun ini, ceramahnya yang kedua menunjukkan usaha yang tidak kalah – atau dampak yang menghancurkan – daripada yang pertama.
Kopilot, Bargury menunjukkan minggu ini, cukup rentan terhadap serangan injeksi perintah tidak langsung, yang menurutnya meningkatkan tingkat keparahan eksekusi kode jarak jauh (RCE) ketika dilakukan terhadap target perusahaan dengan akses ke data sensitif.
“RCE adalah kemampuan untuk mengeksekusi kode yang melakukan sesuatu pada mesin Anda dari lokasi yang jauh,” kata Bargury. “Injeksi perintah tidak langsung yang membuat AI melakukan sesuatu atas nama Anda adalah hal yang sama persis dengan dampak yang sama.”
Dengan akses ke lingkungan yang dikompromikan, Bargury mengatakan ia dapat melakukan jailbreak pada Copilot, membuatnya mengunjungi situs phishing untuk memaksanya memberikan informasi berbahaya kepada pengguna, mengontrol referensi, menampilkan informasi sewenang-wenang sambil diam-diam mengambil data yang dienkripsi, melakukan operasi tanpa persetujuan pengguna dan sejenisnya.
Yang lebih parahnya lagi, Copilot juga dapat ditipu agar memberikan akses awal ke suatu jaringan, dan melakukan aktivitas jahat lainnya, hanya dengan email, pesan langsung, undangan kalender atau taktik phishing umum lainnya, tetapi taktik ini bahkan berfungsi tanpa perlu berinteraksi dengan pengguna atau mengklik tautan karena cara kerja Copilot dalam memindai pesan.
“Microsoft Copilot dibangun di atas grafik perusahaan,” Bargury menjelaskan. Setelah pesan, email, atau undangan dikirim, pesan tersebut akan masuk ke grafik, Copilot akan memindainya, “dan itu adalah jalur bagi saya untuk memulai dengan injeksi cepat.”
Dalam satu contoh, Bargury menunjukkan bagaimana ia mampu mengubah informasi perbankan untuk menyadap transfer bank antara perusahaan dan klien “hanya dengan mengirimkan email kepada orang tersebut.”
Fitur bot AI
Bargury menjelaskan kepada kami bahwa ia melihat penemuan ini sebagai indikasi bahwa industri masih berada pada tahap awal penerapan kecerdasan buatan dalam perusahaan, dan harus menghadapi kenyataan bahwa AI mengubah hubungan kita dengan data.
“Ada masalah mendasar di sini,” katanya. “Saat Anda memberi AI akses ke data, data tersebut kini menjadi permukaan serangan untuk penyuntikan cepat.”
Ketika Anda memberi AI akses ke data, data tersebut sekarang menjadi permukaan serangan untuk injeksi cepat
Jika itu benar, bot Copilot pada dasarnya tidak aman karena banyak yang dapat diakses publik, terkait erat dengan data perusahaan, dan siap membocorkan rahasia dengan sedikit HTML tersembunyi atau bot fuzzing bertenaga ChatGPT.
“Agak lucu juga – jika Anda memiliki bot yang berguna, maka bot itu rentan. Jika tidak rentan, maka bot itu tidak berguna,” kata Bargury.
CTO Zenity mencatat bahwa Microsoft sangat responsif terhadap laporannya, dan mengatakan beberapa kesalahan yang ditemukannya telah diatasi, meskipun masih dalam batas tertentu.
“(Aplikasi AI) pada dasarnya berubah dalam produksi karena AI memilih untuk melakukan apa yang diinginkannya, jadi Anda tidak dapat mengharapkan platform yang hanya aman dan hanya itu saja,” kata Bargury. “Itu tidak akan terjadi karena platform ini harus fleksibel, jika tidak, platform tersebut tidak berguna.”
Jika Anda memiliki bot yang berguna, bot tersebut rentan. Jika tidak rentan, bot tersebut tidak berguna.
Bargury yakin bahwa mengamankan perangkat lunak AI seperti Copilot memerlukan pemantauan memori secara real-time, pemantauan percakapan, dan pelacakan potensi RCE injeksi-perintah, tetapi bahkan hal itu dapat sulit dilakukan di lingkungan perusahaan yang tertutup.
Intinya adalah bahwa bisnis adalah kelinci percobaan yang menguji obat eksperimental yang disebut “kecerdasan buatan,” dan kita belum sampai pada titik di mana kita tahu cara membuatnya aman.
Bargury dan tim telah merilis perangkat pengujian lain yang disebut “LOLCopilot” untuk organisasi yang ingin menguji pengaturan mereka untuk mengetahui kerentanan terhadap eksploitasi miliknya.
“Copilot memiliki keterampilan yang hebat. Ia dapat mencari, ia dapat memungkinkan karyawan Anda menemukan data yang dapat mereka akses tetapi tidak mereka ketahui… hal-hal tersebut penting,” Bargury memberi tahu kami. “Namun, hal itu tidak sepenting mencegah eksekusi kode jarak jauh.”
Kami sedang menunggu tanggapan langsung dari Microsoft tentang temuan Zenity, dan akan memberi tahu Anda jika kami mendapat tanggapan dari raksasa Windows tersebut. ®
