Seperti setiap perusahaan teknologi besar saat ini, Meta memiliki model AI generatif andalannya sendiri, yang disebut LlamaLlama agak unik di antara model-model utama karena sifatnya yang “terbuka,” yang berarti pengembang dapat mengunduh dan menggunakannya sesuai keinginan mereka (dengan batasan tertentu). Hal ini berbeda dengan model-model seperti Claude dari Anthropic, OpenAI GPT-4o (yang kekuatan ObrolanGPT) Dan Gemini milik Googleyang hanya dapat diakses melalui API.
Namun, demi memberikan pilihan kepada pengembang, Meta juga bermitra dengan sejumlah vendor, termasuk AWS, Google Cloud, dan Microsoft Azure, untuk menyediakan versi Llama yang dihosting di cloud. Selain itu, perusahaan tersebut telah merilis sejumlah alat yang dirancang untuk mempermudah penyempurnaan dan penyesuaian model.
Berikut ini semua yang perlu Anda ketahui tentang Llama, mulai dari kemampuan dan edisinya hingga tempat Anda dapat menggunakannya. Kami akan terus memperbarui postingan ini saat Meta merilis pemutakhiran dan memperkenalkan alat pengembangan baru untuk mendukung penggunaan model tersebut.
Apa itu Llama?
Llama adalah keluarga model — bukan hanya satu:
- Llama 8B
- Llama 70B
- Llama 405B
Versi terbaru adalah Llama 3.1 8BBahasa Indonesia: Llama 3.1 70B Dan Llama 3.1 405Byang dirilis pada bulan Juli 2024. Mereka dilatih di halaman web dalam berbagai bahasa, kode publik dan file di web, serta data sintetis (yaitu data yang dihasilkan oleh model AI lainnya).
Llama 3.1 8B dan Llama 3.1 70B adalah model kecil dan ringkas yang dimaksudkan untuk berjalan pada perangkat mulai dari laptop hingga server. Di sisi lain, Llama 3.1 405B adalah model berskala besar yang memerlukan (tanpa beberapa modifikasi) perangkat keras pusat data. Llama 3.1 8B dan Llama 3.1 70B kurang mampu dibandingkan Llama 3.1 405B, tetapi lebih cepat. Keduanya adalah versi “yang disuling” dari 405B, yang dioptimalkan untuk penyimpanan overhead dan latensi yang rendah.
Semua model Llama memiliki jendela konteks 128.000 token. (Dalam ilmu data, token adalah bagian-bagian data mentah yang dibagi-bagi, seperti suku kata “fan,” “tas” dan “tic” dalam kata “fantastic.”) Konteks model, atau jendela konteks, merujuk pada data masukan (misalnya teks) yang dipertimbangkan model sebelum menghasilkan keluaran (misalnya teks tambahan). Konteks yang panjang dapat mencegah model dari “melupakan” konten dokumen dan data terkini, dan dari menyimpang dari topik dan mengekstrapolasi secara salah.
Ke-128.000 token tersebut setara dengan sekitar 100.000 kata atau 300 halaman, yang sebagai referensi panjangnya sama dengan “Wuthering Heights,” “Gulliver's Travels” dan “Harry Potter and the Prisoner of Azkaban.”
Apa yang bisa dilakukan Llama?
Seperti model AI generatif lainnya, Llama dapat melakukan berbagai tugas bantuan, seperti membuat kode dan menjawab pertanyaan matematika dasar, serta meringkas dokumen dalam delapan bahasa (Inggris, Jerman, Prancis, Italia, Portugis, Hindi, Spanyol, dan Thailand). Sebagian besar beban kerja berbasis teks — pikirkan analisis file seperti PDF dan spreadsheet — berada dalam lingkupnya; tidak ada model Llama yang dapat memproses atau menghasilkan gambar, meskipun itu mungkin mengubah dalam waktu dekat.
Semua model Llama terbaru dapat dikonfigurasi untuk memanfaatkan aplikasi, alat, dan API pihak ketiga untuk menyelesaikan tugas. Model-model ini dilatih secara langsung untuk menggunakan Brave Search guna menjawab pertanyaan tentang kejadian terkini, Wolfram Alpha API untuk pertanyaan terkait matematika dan sains, dan interpreter Python untuk memvalidasi kode. Selain itu, Meta mengatakan model Llama 3.1 dapat menggunakan alat-alat tertentu yang belum pernah mereka lihat sebelumnya (tetapi apakah mereka dapat dapat diandalkan menggunakan alat tersebut adalah masalah lain).
Di mana saya dapat menggunakan Llama?
Jika Anda hanya ingin mengobrol dengan Llama, ini memberdayakan pengalaman chatbot Meta AI di Facebook Messenger, WhatsApp, Instagram, Oculus dan Meta.ai.
Pengembang yang membangun dengan Llama dapat mengunduh, menggunakan, atau menyempurnakan model tersebut di sebagian besar platform cloud yang populer. Meta mengklaim memiliki lebih dari 25 mitra yang menjadi tuan rumah Llama, termasuk Nvidia, Databricks, Groq, Dell, dan Snowflake.
Beberapa mitra ini telah membangun peralatan dan layanan tambahan di atas Llama, termasuk peralatan yang memungkinkan model merujuk ke data kepemilikan dan memungkinkannya berjalan pada latensi yang lebih rendah.
Meta menyarankan penggunaan model yang lebih kecil, Llama 8B dan Llama 70B, untuk aplikasi tujuan umum seperti memberi daya pada chatbot dan membuat kode. Llama 405B, menurut perusahaan, lebih baik digunakan untuk penyulingan model — proses mentransfer pengetahuan dari model besar ke model yang lebih kecil dan lebih efisien — dan menghasilkan data sintetis untuk melatih (atau menyempurnakan) model alternatif.
Yang penting, lisensi Llama membatasi bagaimana pengembang dapat menerapkan model: Pengembang aplikasi dengan lebih dari 700 juta pengguna bulanan harus meminta lisensi khusus dari Meta yang akan diberikan perusahaan sesuai kebijakannya.
Bersamaan dengan Llama, Meta menyediakan alat yang dimaksudkan untuk membuat model tersebut “lebih aman” untuk digunakan:
- Penjaga Llama, kerangka moderasi
- Penjaga Cepat, alat untuk melindungi dari serangan injeksi cepat
- Evaluasi Keamanan Siber, rangkaian penilaian risiko keamanan siber
Llama Guard mencoba mendeteksi konten yang berpotensi bermasalah yang dimasukkan ke dalam — atau dihasilkan — oleh model Llama, termasuk konten yang berkaitan dengan aktivitas kriminal, eksploitasi anak, pelanggaran hak cipta, kebencian, tindakan menyakiti diri sendiri, dan pelecehan seksual. Pengembang dapat menyesuaikan kategori konten yang diblokir, dan menerapkan pemblokiran ke semua bahasa yang didukung Llama secara langsung.
Seperti Llama Guard, Prompt Guard dapat memblokir teks yang ditujukan untuk Llama, tetapi hanya teks yang dimaksudkan untuk “menyerang” model dan membuatnya berperilaku dengan cara yang tidak diinginkan. Meta mengklaim bahwa Llama Guard dapat bertahan terhadap perintah yang secara eksplisit berbahaya (yaitu jailbreak yang mencoba untuk melewati filter keamanan bawaan Llama) selain perintah yang berisi “masukan yang disuntikkan“.”
Adapun CyberSecEval, ini bukan sekadar alat melainkan kumpulan tolok ukur untuk mengukur keamanan model. CyberSecEval dapat menilai risiko yang ditimbulkan model Llama (setidaknya menurut kriteria Meta) bagi pengembang aplikasi dan pengguna akhir di area seperti “rekayasa sosial otomatis” dan “peningkatan operasi siber ofensif.”
Keterbatasan Llama
Llama memiliki risiko dan keterbatasan tertentu, seperti semua model AI generatif.
Misalnya, tidak jelas apakah Meta melatih Llama pada konten berhak cipta. Jika memang demikian, pengguna mungkin bertanggung jawab atas pelanggaran jika mereka akhirnya tanpa sengaja menggunakan potongan hak cipta yang dimuntahkan oleh model tersebut.
Meta pada satu titik menggunakan e-book berhak cipta untuk pelatihan AI meskipun ada peringatan dari pengacaranya sendiri, menurut laporan terbaru oleh Reuters. Perusahaan tersebut secara kontroversial melatih AI-nya pada postingan, foto, dan keterangan Instagram dan Facebook, dan membuat pengguna sulit untuk memilih keluarTerlebih lagi, Meta, bersama dengan OpenAI, menjadi subjek gugatan hukum yang sedang berlangsung yang diajukan oleh para penulis, termasuk komedian Sarah Silverman, atas dugaan penggunaan data berhak cipta yang tidak sah oleh perusahaan-perusahaan tersebut untuk pelatihan model.
Pemrograman adalah area lain yang sebaiknya Anda lakukan dengan hati-hati saat menggunakan Llama. Itu karena Llama mungkin — seperti rekan-rekan AI generatifnya — menghasilkan kode yang bermasalah atau tidak aman.
Seperti biasa, sebaiknya mintalah pakar manusia meninjau kode yang dihasilkan AI sebelum memasukkannya ke dalam layanan atau perangkat lunak.
