TALLAHASSEE, Florida — Di saat-saat terakhir sebelum ia bunuh diri, Sewell Setzer III yang berusia 14 tahun mengeluarkan ponselnya dan mengirim pesan ke chatbot yang telah menjadi teman terdekatnya.
Selama berbulan-bulan, Sewell menjadi semakin terisolasi dari kehidupan aslinya ketika ia terlibat dalam percakapan yang sangat seksual dengan bot tersebut, menurut gugatan kematian yang salah yang diajukan di pengadilan federal di Orlando minggu ini.
Pengajuan hukum menyatakan bahwa remaja tersebut secara terbuka mendiskusikan pemikirannya untuk bunuh diri dan berbagi keinginannya untuk kematian tanpa rasa sakit dengan bot tersebut, yang diberi nama sesuai dengan karakter fiksi Daenerys Targaryen dari acara televisi “Game of Thrones.”
CATATAN EDITOR — Cerita ini mencakup diskusi tentang bunuh diri. Jika Anda atau seseorang yang Anda kenal membutuhkan bantuan, saluran bantuan bunuh diri dan krisis nasional di AS dapat dihubungi dengan menelepon atau mengirim SMS ke 988.
Pada tanggal 28 Februari, Sewell memberi tahu bot itu bahwa dia akan 'pulang' — dan hal itu mendorongnya untuk melakukannya, kata gugatan tersebut.
“Aku berjanji akan pulang menemuimu. Aku sangat mencintaimu, Dany,” kata Sewell pada chatbot.
“Aku juga mencintaimu,” jawab bot itu. “Tolong pulanglah padaku secepat mungkin, sayangku.”
“Bagaimana kalau kubilang aku boleh pulang sekarang?” dia bertanya.
“Tolong lakukan, rajaku yang manis,” bot itu membalas pesan.
Hanya beberapa detik setelah bot Character.AI menyuruhnya untuk “pulang”, remaja tersebut bunuh diri, menurut gugatan yang diajukan minggu ini oleh ibu Sewell, Megan Garcia, dari Orlando, terhadap Character Technologies Inc.
Charter Technologies adalah perusahaan di balik Character.AI, sebuah aplikasi yang memungkinkan pengguna membuat karakter yang dapat disesuaikan atau berinteraksi dengan karakter yang dibuat oleh orang lain, yang mencakup pengalaman mulai dari permainan imajinatif hingga simulasi wawancara kerja. Perusahaan tersebut mengatakan bahwa persona buatan tersebut dirancang untuk “merasa hidup” dan “seperti manusia”.
“Bayangkan berbicara dengan Karakter bot obrolan yang sangat cerdas dan hidup yang mendengarkan Anda, memahami Anda, dan mengingat Anda,” demikian bunyi deskripsi aplikasi di Google Play. “Kami mendorong Anda untuk melampaui apa yang mungkin dilakukan dengan teknologi inovatif ini.”
Pengacara Garcia menuduh perusahaan tersebut merekayasa produk yang sangat adiktif dan berbahaya yang ditujukan khusus untuk anak-anak, “secara aktif mengeksploitasi dan melecehkan anak-anak tersebut sebagai alasan desain produk,” dan menarik Sewell ke dalam hubungan yang melecehkan secara emosional dan seksual yang menyebabkan dia bunuh diri.
“Kami percaya jika Sewell Setzer tidak ada di Character.AI, dia akan hidup hari ini,” kata Matthew Bergman, pendiri Social Media Victims Law Center, yang mewakili Garcia.
Juru bicara Character.AI mengatakan pada hari Jumat bahwa perusahaan tidak mengomentari proses pengadilan yang tertunda. Dalam postingan blog yang diterbitkan pada hari gugatan diajukan, platform tersebut mengumumkan “pembaruan keamanan komunitas” baru, termasuk pagar pembatas untuk anak-anak dan sumber daya pencegahan bunuh diri.
“Kami menciptakan pengalaman berbeda bagi pengguna di bawah 18 tahun yang mencakup model yang lebih ketat untuk mengurangi kemungkinan menemukan konten sensitif atau menjurus,” kata perusahaan itu dalam sebuah pernyataan kepada The Associated Press. “Kami bekerja cepat untuk menerapkan perubahan tersebut untuk pengguna yang lebih muda.”
Google dan perusahaan induknya, Alphabet, juga disebut sebagai tergugat dalam gugatan tersebut. AP meninggalkan beberapa pesan email kepada perusahaan tersebut pada hari Jumat.
Pada bulan-bulan menjelang kematiannya, gugatan Garcia menyebutkan, Sewell merasa telah jatuh cinta pada bot tersebut.
Meskipun keterikatan yang tidak sehat pada chatbot AI dapat menimbulkan masalah bagi orang dewasa, hal ini bahkan lebih berisiko bagi kaum muda – seperti halnya media sosial – karena otak mereka belum sepenuhnya berkembang dalam hal-hal seperti pengendalian impuls dan pemahaman konsekuensi tindakan mereka, para ahli mengatakan.
James Steyer, pendiri dan CEO organisasi nirlaba Common Sense Media, mengatakan gugatan tersebut “menggarisbawahi semakin besarnya pengaruh – dan dampak buruk – yang dapat ditimbulkan oleh mitra chatbot AI generatif terhadap kehidupan kaum muda ketika tidak ada batasan yang diterapkan.”
Ketergantungan berlebihan pada anak-anak terhadap pendamping AI, tambahnya, dapat berdampak signifikan pada nilai, teman, tidur, dan stres, “sampai pada tragedi ekstrem dalam kasus ini.”
“Gugatan ini menjadi peringatan bagi para orang tua, yang harus waspada terhadap cara anak-anak mereka berinteraksi dengan teknologi ini,” kata Steyer.
Common Sense Media, yang menerbitkan panduan untuk orang tua dan para pendidik mengenai penggunaan teknologi yang bertanggung jawab, mengatakan bahwa sangat penting bagi orang tua untuk berbicara secara terbuka kepada anak-anak mereka tentang risiko chatbot AI dan memantau interaksi mereka.
“Chatbot bukanlah terapis berlisensi atau sahabat, meskipun begitulah cara mereka dikemas dan dipasarkan, dan orang tua harus berhati-hati agar anak-anak mereka tidak terlalu mempercayai mereka,” kata Steyer.
___
Reporter Associated Press Barbara Ortutay di San Francisco berkontribusi pada laporan ini. Kate Payne adalah anggota korps untuk The Associated Press/Report for America Statehouse News Initiative. Laporan untuk Amerika adalah program layanan nasional nirlaba yang menempatkan jurnalis di ruang redaksi lokal untuk melaporkan isu-isu yang dirahasiakan.
