OpenAI telah membangun dan menguji alat untuk mendeteksi apakah ada konten tertulis yang dibuat menggunakan ChatGPT. Namun, Jurnal Wall Street melaporkan bahwa perusahaan menahan alat tersebut dari peluncuran ke publik karena beberapa kekhawatiran.
Alat ini menambahkan pola pada cara model bahasa besar (LLM) menulis output-nya, yang memungkinkan OpenAI mendeteksi apakah ChatGPT yang membuatnya. Namun, pola tersebut tetap tidak terlihat oleh manusia, sehingga tidak memengaruhi kualitas LLM. Dokumentasi internal menyatakan bahwa alat ini 99,9% efektif dalam mendeteksi output ChatGPT, tetapi OpenAI belum merilisnya.
Meskipun watermarking teks sangat efektif untuk mendeteksi konten yang ditulis oleh ChatGPT, watermarking ini tidak dapat bekerja dengan output dari LLM lain seperti Gemini AI atau Llama 3. Lebih jauh lagi, teknik ini dapat dengan mudah dielakkan. Misalnya, Anda dapat memasukkan output ChatGPT ke dalam Google Terjemahkan, konversi ke bahasa lain, lalu kembalikan lagi ke bahasa Inggris, yang secara efektif menghilangkan tanda air.
Bahkan bisa semudah meminta AI untuk memasukkan karakter unik, emoji, atau bahkan frasa pendek di antara kata-kata dan kemudian menghapusnya nanti (melalui Microsoft Fungsi Temukan dan Ganti Word, misalnya) atau meminta LLM lain untuk mengulang seluruh keluaran sepenuhnya sudah cukup untuk merusak alat deteksi.
Hal lain yang dipersoalkan OpenAI saat merilis alat ini adalah bahwa alat ini bisa jadi bias terhadap penulis non-asli bahasa Inggris. Perusahaan ini sebelumnya merilis alat deteksi teks AI generatif tahun lalu. Namun, hanya butuh waktu tujuh bulan sebelum alat ini dirilis. OpenAI mencabut stekernya karena tingkat deteksinya yang rendah dan kecenderungannya memberikan hasil positif yang salah. Bahkan, ada seorang profesor yang pernah gagal dalam satu kelas karena semua makalah yang diserahkan ditandai secara tidak akurat sebagai hasil AI.
Lebih jauh, OpenAI juga mempertimbangkan basis pelanggannya, dengan survei pelanggan yang menunjukkan bahwa 69% pengguna ChatGPT percaya bahwa alat tersebut akan menghasilkan tuduhan palsu tentang kecurangan AI. 30% bahkan mengatakan mereka kemungkinan akan beralih ke LLM pesaing jika OpenAI menggunakan alat tersebut. Perusahaan menghadapi masalah lain dengan penggunaan detektor ChatGPT secara luas, karena pengguna lain dapat merekayasa ulang teknik watermarking OpenAI dan merilis plug-in atau aplikasi untuk menetralkannya.
Meskipun demikian, OpenAI memahami risiko yang ditimbulkan oleh konten yang dihasilkan AI terhadap masyarakat dan telah mencari alternatif untuk teknik watermarking teks. Ada pula permintaan untuk detektor AI, dengan data internal yang menunjukkan bahwa 80% orang yang ditanyai secara global mendukung keberadaannya.
Masih menjadi pertanyaan apakah OpenAI akan merilis alat dan detektor tanda air teksnya. Namun, OpenAI juga memahami bahwa sebagai salah satu organisasi terkemuka dalam pengembangan AI, OpenAI juga harus mengambil langkah-langkah untuk memastikan penggunaan alat-alatnya secara bertanggung jawab. Sumber-sumber mengatakan bahwa OpenAI, hingga musim gugur ini, harus memengaruhi opini publik seputar transparansi AI. Kami tidak tahu apa artinya ini, tetapi ada satu hal yang kami yakini: kami harus kritis terhadap apa yang kami baca dan memastikan kami mendapatkan kebenaran.
