Diskusi terkini di Reddit tidak lagi muncul di hasil mesin pencari non-Google. Ketidakhadiran ini disebabkan oleh pembaruan Reddit Kebijakan Konten yang melarang perayapan situsnya tanpa menyetujui aturan Reddit, yang melarang penggunaan konten Reddit untuk pelatihan AI tanpa persetujuan tegas dari Reddit.
Seperti yang dilaporkan oleh 404 Mediamenggunakan “site:reddit.com” pada mesin pencari non-Google, termasuk Bing, DuckDuckGo, dan Mojeek, menampilkan hasil Reddit yang minimal atau tidak ada sama sekali dari minggu lalu. Ars Technica melakukan pencarian pada mesin pencari ini dan lainnya dan dapat mengonfirmasi temuan tersebut. Brave, misalnya, terkadang menampilkan beberapa hasil Reddit (contoh Di Sini Dan Di Sini) tetapi tidak sebanyak yang muncul di Google saat menggunakan kueri yang sama. Yang menonjol adalah Kagi, yang merupakan mesin berbayar yang membayar Google untuk sebagian indeks pencariannya dan masih menampilkan hasil Reddit terkini.
Seperti yang dicatat oleh 404 Media, Protokol Pengecualian Robot Reddit (berkas robots.txt) memblokir bot agar tidak melakukan scraping pada situs. Protokol tersebut juga menyatakan, “Reddit percaya pada Internet yang terbuka, tetapi tidak pada penyalahgunaan konten publik.” Reddit telah menyetujui scraping dari Internet Archive dan beberapa entitas yang berfokus pada penelitian.
Bahasa Indonesia: Reddit diumumkan perubahan pada file robots.txt pada tanggal 25 Juni. Sebelum perubahan tersebut, dikatakan “Telah terjadi peningkatan jumlah entitas komersial yang menggunakan Reddit dan menyatakan bahwa mereka tidak terikat oleh ketentuan atau kebijakan kami. Lebih buruk lagi, mereka bersembunyi di balik robots.txt dan mengatakan bahwa mereka dapat menggunakan konten Reddit untuk kasus penggunaan apa pun yang mereka inginkan.”
Bulan lalu, Reddit mengatakan bahwa setiap “aktor yang beritikad baik” dapat menghubungi Reddit untuk mencoba bekerja sama dengan perusahaan tersebut, dengan menghubungkan ke formulir online. Namun, Colin Hayhurst, CEO Mojeek, memberi tahu saya melalui email bahwa ia menghubungi Reddit setelah ia diblokir tetapi Reddit “tidak menanggapi banyak pesan dan email.” Ia mencatat bahwa sejak laporan 404 Media, CEO Reddit Steve Huffman telah menghubunginya.
Cengkeraman aneh Google terhadap pencarian semakin ketat
Karena Google adalah satu-satunya mesin pencari yang dapat menampilkan hasil Reddit terbaru—setidaknya untuk saat ini—Reddit secara tidak sengaja telah membantu memperketat Cengkeraman Google pada industri pencarian. Perubahan ini terjadi di tengah kekhawatiran kualitas baru-baru ini tentang hasil Google, yang telah memberi peringkat Bahasa Indonesia: Pencarian Kata Kunci Dan Peternakan spam AIiklan, dan tautan e-commerce lebih tinggi daripada hasil yang lebih relevan. Ada juga kekhawatiran tentang Google Ikhtisar AI.
Saat dimintai komentar, juru bicara Reddit Tim Rathschmidt mengatakan melalui email bahwa Reddit telah berunding “dengan sejumlah mesin pencari.” Ia menambahkan:
Kami belum dapat mencapai kesepakatan dengan semuanya, karena beberapa tidak dapat atau tidak bersedia membuat janji yang dapat ditegakkan terkait penggunaan konten Reddit, termasuk penggunaan mereka untuk AI.
Setelah Reddit menyatakan perang terhadap penggunaan konten gratisnya untuk pelatihan AI (yang juga mengakibatkan kenaikan harga akses API yang menutup banyak aplikasi Reddit pihak ketiga), Reddit menandatangani kesepakatan senilai $60 juta per tahun yang dilaporkan memungkinkan Google menggunakan data Reddit untuk melatih AI-nya. Reddit diharapkan akan mencoba melakukan kesepakatan serupa dengan Microsoft, namun tampaknya kedua belah pihak tidak dapat mencapai kesepakatan sesuai dengan Reddit kebijakan kontenyang juga mencakup aturan tentang privasi pengguna dan konten yang dihapus, misalnya.
Seorang juru bicara Microsoft mengatakan kepada saya:
Microsoft menghormati standar robots.txt dan kami menghormati arahan yang diberikan oleh situs web yang tidak ingin konten di halaman mereka digunakan dengan model AI generatif kami. Bing berhenti merayapi Reddit setelah mereka menerapkan file robots.txt yang diperbarui pada tanggal 1 Juli, yang melarang semua perayapan situs mereka.
Pada bulan Oktober, Surat Kabar Washington Postmengutip sumber anonim, melaporkan bahwa Reddit sedang mempertimbangkan untuk memblokir perayap pencarian Bing jika tidak dapat mencapai kesepakatan dengan Microsoft.
Seperti yang ditunjukkan oleh 404 Media, Reddit memandu untuk mengakses datanya, nama “iklan pencarian atau situs web” digunakan sebagai penggunaan komersial yang memerlukan biaya. Tidak jelas berapa banyak uang yang harus dikeluarkan mesin pencari lain agar diizinkan untuk mengikis platform tersebut. Rathschmidt mengatakan Reddit “terbuka untuk bekerja sama dengan mitra besar dan kecil.”
“Sangat buruk bagi kesehatan Internet jika perusahaan yang mencari keuntungan mengambil konten kami tanpa batasan dan menggunakannya untuk, antara lain, (pelatihan) model AI,” katanya.
Untuk saat ini, Google dapat terus mengandalkan Reddit untuk membantu membuat hasil pencarian lebih relevanGoogle tidak menanggapi permintaan komentar Ars.
Sementara itu, mesin pencari alternatif mungkin akan kesulitan bersaing.
“Dengan algoritme pemeringkatan kami sendiri, sebelumnya pengguna sering kali menemukan halaman berbeda di Reddit daripada yang mungkin mereka temukan di Google dan lainnya,” kata Hayhurst dari Mojeek kepada saya.
CEO tersebut menambahkan bahwa meskipun pemblokiran oleh Reddit saja “bukan masalah besar,” ia khawatir tentang preseden yang dapat ditimbulkannya. “Mesin pencari adalah sumber lalu lintas utama bagi sebagian besar situs web, dan penyebaran perilaku ini akan semakin menghambat lalu lintas. Dan situs yang lebih kecil akan lebih terpengaruh daripada situs besar,” katanya.
Advance Publications, yang memiliki induk perusahaan Ars Technica, Condé Nast, adalah pemegang saham terbesar Reddit.
Artikel ini diperbarui dengan komentar tambahan dari Microsoft.
