Evolusi AI telah mencapai tingkat baru dengan Llama Meta 3.1bersama dengan Orca 2 milik Microsoft, dalam hal Model Bahasa Besar (LLM).
Menurut Bersatu.AILlama 3.1 “menonjol dengan ukuran modelnya yang lebih besar, arsitektur yang lebih baik, dan performa yang lebih baik dibandingkan pendahulunya. Ia dirancang untuk menangani tugas-tugas umum dan aplikasi khusus, menjadikannya alat yang serbaguna bagi para pengembang dan pebisnis. Kekuatan utamanya meliputi pemrosesan teks dengan akurasi tinggi, skalabilitas, dan kemampuan fine-tuning yang tangguh.”
Lebih-lebih lagi, AWS Amazon menjelaskan bagaimana model AI “sering kali mengalami kesulitan dengan tugas atau kasus penggunaan khusus domain karena data pelatihan umumnya. Untuk mengatasi tantangan ini, penyempurnaan model ini pada data tertentu sangat penting untuk mencapai kinerja optimal dalam domain khusus.”
Selain itu, kemajuan terbaru dalam kecerdasan buatan generatif telah melihat diperkenalkannya model Llama 3 dari Meta, yang menjanjikan peningkatan kemampuan pembuatan teks, ringkasan, dan pembuatan kode. Namun, untuk kinerja optimal dalam aplikasi khusus, penyempurnaan model ini pada data khusus domain sangatlah penting.
Proses penyempurnaan model Llama 3—tersedia dalam ukuran parameter 8B dan 70B—kini dapat diselesaikan menggunakan Amazon SageMaker JumpStart. Pendekatan ini memanfaatkan repositori llama-recipes milik Meta dan menggabungkan teknik-teknik canggih seperti PyTorch FSDP, PEFT/LoRA, dan kuantisasi Int8. Metode-metode ini memungkinkan adaptasi model yang efisien terhadap kumpulan data tertentu, sehingga meningkatkan kinerjanya dalam tugas-tugas yang ditargetkan.
Model Llama 3 dari Meta menawarkan peningkatan signifikan dalam penalaran, pembuatan kode, dan mengikuti instruksi, didukung oleh arsitektur transformator khusus dekoder dan ukuran konteks yang diperluas sebesar 128.000 token. Prosedur pasca-pelatihan yang disempurnakan juga telah mengurangi penolakan palsu dan meningkatkan penyelarasan model serta keragaman respons.
Amazon SageMaker JumpStart memfasilitasi penyempurnaan ini dengan menyediakan hub model dasar yang komprehensif, yang memungkinkan praktisi pembelajaran mesin untuk menyebarkan dan menyesuaikan model ini dalam lingkungan jaringan yang aman dan terisolasi. Integrasi dengan fitur SageMaker, seperti Amazon SageMaker Pipelines dan Amazon SageMaker Debugger, semakin meningkatkan pengelolaan dan penyebaran model ini.
