Izinkan AI melakukan scraping dari Google atau kehilangan visibilitas pencarian

Ketika pemerintah AS mempertimbangkan pilihannya setelah sebuah keputusan penting “monopoli” terhadap Google Minggu lalu, penerbitan daring semakin menghadapi masa depan yang suram. (Dan kali ini, bukan hanya karena pendapatan iklan yang menurun drastis.) Bloomberg laporan bahwa pilihan mereka sekarang bermuara pada mengizinkan Google menggunakan konten yang mereka publikasikan untuk menghasilkan pencarian AI sebaris “jawaban” atau kehilangan visibilitas di mesin pencari perusahaan.

Inti masalahnya terletak pada Googlebot, perayap yang menjelajahi dan mengindeks web aktif untuk menghasilkan hasil yang Anda lihat saat memasukkan istilah pencarian. Jika penerbit memblokir Google agar tidak menggunakan konten mereka untuk jawaban yang dihasilkan AI yang kini Anda lihat di bagian atas banyak hasil pencarian, mereka juga kehilangan hak istimewa untuk menyertakan halaman web mereka dalam hasil web standar.

Situasi dilematis ini telah menyebabkan berbagai penerbitan, mesin pencari pesaing, dan perusahaan rintisan AI menaruh harapan mereka pada Departemen Kehakiman. Pada hari Selasa, Surat kabar New York Times dilaporkan bahwa DOJ sedang mempertimbangkan untuk meminta hakim federal untuk memecah beberapa bagian perusahaan (memisahkan beberapa bagian seperti Chrome atau Android). Pilihan lain yang dilaporkan dipertimbangkan termasuk memaksa Google untuk berbagi data pencarian dengan pesaing atau melepaskan kesepakatan mesin pencari default-nya, seperti $18 miliar yang ditandatangani dengan Apple.

Google menggunakan perayap terpisah untuk Chatbot Gemini (sebelumnya Bard). Namun perayap utamanya mencakup Ringkasan AI dan penelusuran standar, sehingga penerbit web tidak memiliki banyak pengaruh (jika ada). Jika Anda membiarkan Google mengorek konten Anda untuk mendapatkan jawaban Ringkasan AI, pembaca mungkin menganggap itu sebagai akhir masalah tanpa repot-repot mengunjungi situs Anda (yang berarti tidak ada pendapatan dari pembaca potensial tersebut). Namun jika Anda memblokir Googlebot, Anda kehilangan visibilitas penelusuran, yang kemungkinan berarti pendapatan jangka pendek yang jauh lebih sedikit dan kerugian besar dalam posisi kompetitif jangka panjang.

Saya Memperbaikinya CEO Kyle Wiens mengatakan Bloomberg“Saya dapat memblokir ClaudeBot (perayap Anthropic untuk Obrolan robot Claude) dari mengindeks kami tanpa merugikan bisnis kami. Namun jika saya memblokir Googlebot, kami akan kehilangan lalu lintas dan pelanggan.”

Contoh permintaan pencarian Google dengan jawaban Ikhtisar AI.

Google

Masalah lain dengan menggabungkan keduanya adalah Google memperoleh keuntungan tak terukur atas perusahaan rintisan AI yang lebih kecil. Perusahaan memperoleh banyak sekali data pelatihan gratis dari penerbit yang ingin tetap terlihat dalam pencarian. Sebaliknya, perusahaan AI dipaksa membayar penerbit untuk mengakses data mereka — dan, meskipun begitu, itu tidak akan sebanding dengan sumber daya yang diperoleh Google (pada dasarnya) secara gratis.

Dari perspektif tersebut, tidak mengherankan jika kita membaca bahwa, menurut BloombergGoogle menolak penerbit yang mencoba menegosiasikan kesepakatan konten. (Reddit adalah satu-satunya pengecualian.) Mengapa membuang-buang uang untuk kesepakatan konten ketika mereka mendapatkan semua data pelatihan yang mereka inginkan sebagai imbalan atas hasil pencarian yang dibutuhkan sebagian besar penerbit untuk bertahan hidup?

“Sekarang ada banyak perusahaan teknologi yang membayar konten, mereka membayar akses ke konten tersebut karena mereka membutuhkannya agar bisa bersaing secara serius,” kata Alex Rosenberg, CEO dari perusahaan rintisan AI Tako Inc., kepada Bloomberg“Sedangkan untuk Google, mereka tidak perlu melakukan hal itu.”

Ini semua tentang daya ungkit, yang digunakan Google untuk melawan penerbit yang putus asa. Di samping masalah keuangan industri yang ada (pendapatan iklan daring telah jatuh drastis selama delapan tahun terakhir), Minggu Iklan dilaporkan pada bulan Maret bahwa jawaban pencarian yang dihasilkan AI Google dapat menyebabkan penurunan 20 hingga 60 persen dalam lalu lintas pencarian organik.

Kini, giliran Departemen Kehakiman untuk menentukan ke mana Google — dan, sampai batas tertentu, seluruh web — akan bergerak dari sini. Bloombergcerita lengkapnya adalah layak dibaca.

Sumber