CEO Apple Tim Cook menjawab pertanyaan tentang seberapa besar 1+1 itu.
PENGAMATAN DARI FINTECH SNARK TANK
Kesimpulan dari yang baru Apel Studi ini mungkin membuat konsumen memikirkan kembali penggunaan ChatGPT—dan alat AI Generatif lainnya—untuk mendapatkan nasihat keuangan. Dan hal ini juga harus melemahkan rencana para eksekutif bank dan credit union untuk menggunakan kecerdasan buatan (AI) untuk memberikan nasihat dan panduan keuangan kepada konsumen.
Orang Amerika Menggunakan AI Generatif Untuk Mendapatkan Nasihat Keuangan
Sebuah survei dari Motley Fool mengungkapkan beberapa statistik yang mengejutkan—dan, sejujurnya, sulit dipercaya—tentang penggunaan alat AI Generatif ChatGPT di Amerika untuk nasihat keuangan. Itu belajar menemukan bahwa:
- 54% orang Amerika telah menggunakan ChatGPT untuk rekomendasi keuangan. Enam dari 10 Generasi Z dan Milenial, setengah dari Generasi X, dan sepertiga Generasi Baby Boom mengatakan bahwa mereka telah menerima rekomendasi untuk setidaknya satu dari delapan produk keuangan. Kartu kredit dan rekening giro—masing-masing disebutkan oleh 26% dan 23% responden—merupakan produk yang paling sering ditanyakan.
- Separuh konsumen mengatakan mereka akan menggunakan ChatGPT untuk mendapatkan rekomendasi. Meskipun demikian, hanya sedikit yang menyatakan mendapatkan rekomendasi untuk sebagian besar produk. Misalnya, 25% mengatakan mereka menginginkan rekomendasi dari ChatGPT untuk kartu kredit—dan persentasenya pun menurun sejak saat itu.
- Responden “agak puas” dengan rekomendasi ChatGPT. Pada skala 5 poin (1=tidak puas, 5=sangat puas), rata-rata peringkat kepuasan keseluruhan adalah 3,7, berkisar dari 3,6 untuk Generasi Z dan Baby Boomer hingga 3,8 untuk Generasi Milenial dan 3,9 untuk Generasi X.
Menurut penelitian, faktor terpenting yang menentukan penggunaan ChatGPT oleh konsumen untuk menemukan produk keuangan adalah: 1) kinerja dan keakuratan rekomendasi; 2) kemampuan memahami logika di balik rekomendasi; dan 3) kemampuan untuk memverifikasi informasi yang menjadi dasar rekomendasi tersebut.
Namun apakah kinerja, keakuratan—dan yang terpenting—logika di balik rekomendasi ChatGPT masuk akal? Laporan Apple menimbulkan beberapa keraguan.
AI Generatif Gagal dalam Penalaran Matematis
Alat AI generatif dapat melakukan banyak hal menakjubkan, namun, seperti laporan baru dari para peneliti di Apel menunjukkan, model bahasa besar (LLM) memiliki beberapa keterbatasan yang mengganggu dengan “penalaran matematis”. Para peneliti Apple menyimpulkan:
“LLM saat ini tidak mampu melakukan penalaran logis yang sebenarnya; sebaliknya, mereka mencoba mereplikasi langkah-langkah penalaran yang diamati dalam data pelatihan mereka. Saat kami menambahkan satu klausa yang tampaknya relevan dengan pertanyaan, kami mengamati penurunan kinerja yang signifikan di semua model. Yang penting, kami menunjukkan bahwa LLM kesulitan bahkan ketika diberikan banyak contoh dari pertanyaan yang sama atau contoh yang berisi informasi serupa yang tidak relevan. Hal ini menunjukkan adanya masalah yang lebih dalam dalam proses penalaran mereka yang tidak dapat dengan mudah diatasi melalui pembelajaran singkat atau penyesuaian.”
Baru-baru ini TechCrunch.dll artikel mendokumentasikan beberapa perhitungan matematis yang tampaknya sederhana yang membuat LLM salah. Seperti yang ditulis dalam publikasi tersebut, “Claude tidak dapat menyelesaikan soal kata dasar, Gemini gagal memahami persamaan kuadrat, dan Llama kesulitan dengan penjumlahan langsung.”
Mengapa LLM tidak bisa mengerjakan matematika dasar? Masalahnya, menurut TechCrunch, adalah tokenisasi:
“Proses membagi data menjadi beberapa bagian (misalnya, memecah kata “fantastis” menjadi suku kata “fan”, “tas”, dan “tic”), tokenisasi membantu AI menyandikan informasi secara padat. Namun karena pembuat token – model AI yang melakukan tokenisasi – tidak benar-benar mengetahui apa itu angka, mereka sering kali merusak hubungan antar angka. Misalnya, pembuat token mungkin memperlakukan angka “380” sebagai satu token tetapi mewakili “381” sebagai sepasang digit (“38” dan “1”).”
Pembelajaran Mesin Juga Memiliki Masalah
Yang menjengkelkan, banyak orang menggunakan istilah “pembelajaran mesin” ketika mengacu pada analisis regresi atau bentuk analisis statistik lainnya. Menurut University of California di Berkeley, pembelajaran mesin memiliki tiga komponen:
- Sebuah proses pengambilan keputusan. Secara umum algoritma pembelajaran mesin digunakan untuk membuat prediksi atau klasifikasi. Berdasarkan beberapa data masukan, yang dapat diberi label atau tidak, algoritme Anda akan menghasilkan perkiraan tentang suatu pola dalam data.
- Fungsi kesalahan. Fungsi kesalahan mengevaluasi prediksi model. Jika terdapat contoh yang diketahui, fungsi kesalahan dapat membuat perbandingan untuk menilai keakuratan model.
- Proses optimasi model. Jika model dapat lebih sesuai dengan titik data di set pelatihan, maka bobot disesuaikan untuk mengurangi perbedaan antara contoh yang diketahui dan estimasi model. Algoritme akan mengulangi proses “evaluasi dan optimalkan” berulang ini, memperbarui bobot secara mandiri hingga ambang batas akurasi terpenuhi.
Analisis regresi dan sebagian besar bentuk analisis statistik lainnya tidak memiliki proses optimasi model.
Inilah masalah sebenarnya: Meskipun hasil “investasi” pada umumnya dapat dilacak, namun hasil “belanja” tidak. Namun, bagi sebagian besar orang, cara mereka membelanjakan uang merupakan faktor yang lebih menentukan kinerja keuangan mereka dibandingkan dengan investasi.
Tantangan lainnya di sini adalah kita tidak hanya mengeluarkan uang untuk mengoptimalkan kinerja keuangan kita. Kita mengeluarkan uang untuk mengoptimalkan kinerja emosional kita. Bagaimana model pembelajaran mesin melacak hal tersebut?
AI Belum Siap Untuk Prime Time Dalam Nasihat Keuangan
Memberikan nasihat dan bimbingan keuangan bukanlah tugas yang mudah—serangkaian instruksi yang diperlukan untuk melakukannya memerlukan banyak “klausul”. Dengan kata lain, sasaran dan sasaran untuk menetapkan nasihat dan panduan keuangan tidaklah sederhana dan lugas—dan pertanyaan serta instruksi rumit inilah yang tidak dapat dilakukan dengan baik oleh alat AI Generatif (menurut Apple).
Intinya: Bank dan credit unions tidak boleh bergantung pada AI untuk memberikan nasihat dan panduan keuangan—saat ini. Mungkin suatu hari nanti, tapi tidak sekarang, dan tidak untuk 5, mungkin 10 tahun ke depan. Jika vendor mengklaim bahwa mereka menggunakan pembelajaran mesin, tanyakan kepada mereka tentang proses pengoptimalan model mereka. Jika mereka mengklaim memiliki model bahasa yang besar, tanyakan kepada mereka bagaimana model tersebut mengatasi keterbatasan komputasi matematika.
