Jawaban kecerdasan buatan yang mudah digunakan yang kini ditempatkan Google di bagian atas hasil pencariannya mendatangkan kerugian besar bagi situs web yang seharusnya dikunjungi pengguna. Namun, banyak pemilik situs mengatakan mereka tidak mampu menghalangi AI Google untuk meringkas konten mereka.
Hal itu karena alat Google yang menyaring konten web untuk menghasilkan jawaban AI-nya adalah alat yang sama yang melacak halaman web untuk hasil pencarian, menurut penerbit. Memblokir Google milik Alphabet Inc seperti situs yang memblokir beberapa pesaing AI-nya juga akan menghambat kemampuan situs untuk ditemukan secara daring.
Dominasi Google dalam pencarian – yang minggu lalu diputuskan oleh pengadilan federal AS sebagai monopoli ilegal – memberinya keuntungan yang menentukan dalam perang AI yang sedang terjadi, yang menurut perusahaan rintisan dan penerbit pencarian tidak adil saat industri ini mulai terbentuk. Dilema ini khususnya serius bagi penerbit, yang menghadapi pilihan antara menawarkan konten mereka untuk digunakan oleh model AI yang dapat membuat situs mereka usang dan menghilang dari pencarian Google, sumber lalu lintas utama.
“Ini menjadi seperti krisis eksistensial bagi perusahaan-perusahaan ini,” kata Joe Ragazzo, penerbit situs berita Talking Points Memo. “Ini adalah dua pilihan yang buruk. Anda keluar dan langsung mati, atau Anda bermitra dengan mereka dan Anda mungkin mati perlahan, karena pada akhirnya mereka juga tidak akan membutuhkan Anda.”
Google mengatakan AI Overviews – ringkasan yang ditampilkan di bagian atas pencarian Google – merupakan bagian dari komitmen jangka panjangnya untuk menyajikan informasi berkualitas lebih tinggi dan meningkatkan peluang bagi penerbit dan bisnis lainnya. “Setiap hari, Google mengirimkan miliaran klik ke situs di seluruh web, dan kami bermaksud agar pertukaran nilai yang telah lama terjalin dengan situs web ini terus berlanjut,” kata juru bicara Google dalam sebuah pernyataan. “Dengan AI Overviews, orang-orang merasa Penelusuran lebih bermanfaat dan mereka kembali untuk mencari lebih banyak, sehingga menciptakan peluang baru bagi konten untuk ditemukan.”
Sejak awal berdirinya, Google telah menggunakan perangkat lunak yang dikenal sebagai Googlebot untuk mengunjungi atau “merayapi” jutaan situs web, membangun gudang informasi terperinci tentang internet global. Indeks tersebut telah menjadi hambatan yang berat bagi perusahaan yang telah berupaya membangun mesin pencari pesaing selama bertahun-tahun – bahkan perusahaan yang berkantong tebal, seperti Microsoft Corp.
Meningkatnya AI generatif telah memicu gelombang baru perusahaan rintisan yang berusaha menawarkan produk pencarian yang model AI-nya memberikan jawaban singkat atas pertanyaan pengguna. Popularitas chatbot telah memicu kepanikan di Google tentang masa depan mesin pencarinya, yang selama ini tampak tak terkalahkan. Namun, sebelum perusahaan rintisan ini benar-benar dapat mengancam bisnis raksasa pencarian tersebut, mereka harus menjelajahi web. Dan itu bukan hal yang mudah.
Dirayapi akan merugikan pemilik situs web, daya komputasi, dan penyimpanan, sehingga banyak penerbit menyertakan berkas yang menetapkan aturan bagi bot yang mengunjungi situs mereka. Perusahaan yang diberi keleluasaan paling besar biasanya adalah Google dan Bing milik Microsoft, yang dapat mengarahkan lalu lintas ke situs melalui mesin pencari mereka.
Namun, perusahaan rintisan pencarian tidak dapat menjanjikan lalu lintas seperti itu sebelum mendapatkan daya tarik – yang merupakan salah satu alasan mengapa perusahaan-perusahaan muda tersebut mulai membuat kesepakatan untuk membayar penerbit agar melisensikan konten, kata Alex Rosenberg, kepala eksekutif Tako Inc., perusahaan rintisan AI.
“Sekarang ada banyak perusahaan teknologi yang membayar konten, mereka membayar akses ke konten tersebut karena mereka membutuhkannya agar dapat bersaing secara serius,” kata Rosenberg. “Sedangkan untuk Google, mereka tidak perlu melakukan hal itu.”
Di tengah gelombang kesepakatan antara perusahaan media dan perusahaan rintisan AI, Google telah menjadi penentang yang menonjol. Kecuali kesepakatan senilai $60 juta yang dilaporkan dengan Reddit Inc., Google telah memberi isyarat kepada penerbit secara tertutup bahwa mereka tidak tertarik untuk bernegosiasi, menurut dua orang yang mengetahui masalah tersebut, yang meminta untuk tidak disebutkan namanya karena informasi tersebut bersifat pribadi.
Perusahaan media tidak memiliki pengaruh yang berarti dalam percakapan ini. Awal tahun ini, Google meluncurkan AI Overviews, di mana perusahaan menggunakan AI untuk memberikan jawaban singkat atas beberapa pertanyaan pengguna di bagian atas halaman pencarian. Penerbit langsung khawatir tentang dampak jawaban tersebut terhadap lalu lintas mereka tetapi tidak memiliki cara yang jelas untuk mengatasi ketakutan tersebut.
Google menggunakan perayap terpisah untuk beberapa produk AI, seperti chatbot Gemini. Namun perayap utamanya, Googlebot, melayani AI Overviews dan Google Search. Seorang juru bicara perusahaan mengatakan Googlebot mengatur AI Overviews karena AI dan mesin pencari perusahaan saling terkait erat. Juru bicara tersebut menambahkan bahwa halaman hasil pencariannya menampilkan informasi dalam berbagai format, termasuk gambar dan grafik. Google juga mengatakan penerbit dapat memblokir halaman atau bagian halaman tertentu agar tidak muncul di AI Overviews dalam hasil pencarian – tetapi hal itu juga kemungkinan akan menghalangi cuplikan tersebut muncul di semua fitur pencarian Google lainnya, termasuk daftar tautan web.
Banyak penerbit, yang sering kali mengandalkan mesin pencari untuk setidaknya setengah dari lalu lintas mereka, tidak mau mengambil risiko meminimalkan jangkauan mereka.
Posisi Google “meremehkan risiko signifikan yang ditimbulkan hal ini bagi kreator konten, khususnya mereka yang bergantung pada visibilitas pencarian untuk mata pencaharian mereka,” kata Marc McCollum, yang mengepalai inovasi di Raptive, yang mewakili penerbit dan influencer. “Dengan memilih keluar, kreator mungkin secara tidak sengaja mengurangi keseluruhan kehadiran mereka di pencarian, yang dapat merusak kemampuan mereka untuk menjangkau audiens dan menghasilkan pendapatan.”
Kyle Wiens, CEO iFixit, situs web yang menerbitkan panduan perbaikan daring gratis untuk barang elektronik konsumen, mengatakan hubungan situs tersebut dengan Google “jauh lebih renggang” dibandingkan dengan perusahaan AI lainnya. “Saya dapat memblokir ClaudeBot agar tidak mengindeks kami tanpa merugikan bisnis kami,” tulis Wiens dalam email, merujuk pada bot dari perusahaan rintisan AI generatif Anthropic. “Namun jika saya memblokir Googlebot, kami akan kehilangan lalu lintas dan pelanggan.”
Kesepakatan Google dengan Reddit, tempat jutaan pengguna terlibat dalam perdebatan sengit tentang topik-topik khusus, menawarkan perusahaan itu harta karun berupa informasi untuk model AI. Kesepakatan itu bertepatan dengan perubahan yang dibuat Google yang meningkatkan kehadiran hasil dari forum-forum seperti Reddit dalam hasil pencarian, yang mendorong peningkatan besar dalam lalu lintas ke situs media sosial tersebut. Seorang juru bicara Reddit mengatakan peningkatan kualitas dan kecepatan produk juga berkontribusi terhadap pertumbuhan lalu lintas.
Startup pencarian Perplexity sedang dalam pembicaraan dengan Reddit tentang lisensi konten, tetapi kesepakatan Google telah menetapkan tarif yang sulit ditandingi oleh startup lain, menurut seseorang yang mengetahui masalah tersebut. Google mengatakan kesepakatan dengan Reddit adalah kemitraan yang luas jangkauannya yang mencakup lebih dari sekadar data pelatihan. Juru bicara Reddit menolak berkomentar tentang diskusi bisnis. Perplexity menolak berkomentar.
Perusahaan rintisan pencarian lainnya telah menyimpulkan bahwa data tersebut berada di luar jangkauan.
“Kami membutuhkan pendapatan kami saat ini selama 20 tahun hanya untuk membayar Reddit,” kata Vladimir Prelovac, pendiri Kagi, perusahaan rintisan pencarian. “Saya tidak mempertimbangkan kemungkinan itu.”
Perusahaan rintisan kecil tidak sendirian dalam menghadapi kesulitan. OpenAI baru-baru ini meluncurkan SearchGPT, versi uji coba chatbot yang sangat populer yang dirancang khusus untuk pencarian. Namun, situs web populer seperti Amazon, Goodreads, dan Uniqlo telah memblokir perayap GPT dari situs mereka, menurut dokumentasi publik, yang berpotensi menimbulkan masalah bagi ambisi OpenAI dalam pencarian. OpenAI mengatakan situs dapat muncul dalam hasil pencariannya meskipun mereka memilih untuk mengecualikan konten mereka dari pelatihan AI.
Prelovac mengatakan setidaknya setengah dari biaya Kagi digunakan untuk perayapan dan sumber data pencarian lainnya. Indeks web yang terperinci adalah hal yang penting bagi mesin pencari, untuk menawarkan kepada pengguna tampilan terperinci tentang konten internet. Namun, bagi perusahaan yang ingin menjawab pertanyaan pengguna secara langsung menggunakan AI, model yang dipopulerkan oleh ChatGPT, data memiliki tingkat kepentingan yang berbeda, kata Prelovac.
“Model AI generatif sendiri tidaklah terlalu cerdas,” kata Prelovac. “Untuk menghasilkan keluaran AI generatif berkualitas tinggi, Anda perlu memiliki akses ke indeks pencarian yang sama.”
Keberadaan file robots.txt, yang menjadi pedoman untuk perayapan, memaksa perusahaan rintisan untuk membuat keputusan yang rumit, kata Richard Socher, pendiri perusahaan rintisan pencarian You.com. File tersebut belum terbukti mengikat secara hukum, sehingga perusahaan dapat merayapi data publik selama tidak diperlukan kredensial masuk atau pelanggan, kata Socher.
“Saat kami melakukan perayapan, kami berusaha untuk tidak membebani situs web mana pun secara berlebihan,” katanya. “Setiap situs web yang memiliki file robots.txt yang hanya mengizinkan Google untuk melakukan perayapan dan tidak ada pihak lain yang mendukung monopoli pencarian Google.”
Neeva, perusahaan rintisan pencarian yang didirikan oleh mantan karyawan Google yang dibeli oleh Snowflake Inc. tahun lalu, menganjurkan “kenetralan perayapan” untuk memudahkan perusahaan rintisan dalam membangun indeks pencarian mereka. Setelah putusan pengadilan penting yang menyatakan bahwa Google memonopoli pasar pencarian daring, Departemen Kehakiman mempertimbangkan untuk mencari solusi termasuk memaksa raksasa pencarian tersebut untuk berbagi lebih banyak data dengan para pesaing dan bahkan memecah perusahaan, demikian laporan Bloomberg. Salah satu usulan yang menarik perhatian besar adalah mewajibkan Google untuk membagikan data yang dikumpulkannya melalui Googlebot, atau membuka indeks pencariannya yang terkenal kepada para pesaingnya. Undang-Undang Pasar Digital Uni Eropa telah mewajibkan Google untuk membagikan beberapa data kueri pencarian.
Bagi Wiens, CEO iFixit, keunggulan yang dimiliki Google dibandingkan perusahaan AI lainnya karena kerajaan pencariannya merupakan inti dari masalah antimonopoli bagi perusahaan tersebut. “Memisahkan pencarian Google dari pekerjaan AI mereka,” katanya, “akan menghilangkan konflik.”
Mesin pencari DuckDuckGo mengatakan pergeseran teknologi yang sedang berlangsung dalam pencarian membuat “indeks Google yang terkait dengan masalah antimonopoli menjadi semakin bermasalah.”
“Indeks pencarian sangat penting di era AI generatif,” kata Kamyl Bazbaz, wakil presiden senior urusan publik di DuckDuckGo.
Terlepas dari hasil kasus antimonopoli, perubahan yang sedang berlangsung dalam lanskap pencarian menggarisbawahi pentingnya bagi penerbit untuk mengendalikan nasib mereka sendiri dan tidak terlalu bergantung pada satu platform teknologi – termasuk Google, kata Ragazzo dari TPM.
“Keyakinan kami adalah Anda harus membentuk hubungan nyata dengan pembaca,” kata Ragazzo, “dan begitulah cara Anda membangun penerbitan yang dapat bertahan di berbagai era.” – Bloomberg
