Apakah Anda ingin menggunakan model bahasa AI (sering disebut LLM atau “Model Bahasa Besar”) seperti ObrolanGPT sebagai asisten digital, tetapi memiliki kekhawatiran tentang cara data Anda ditangani? Apakah fitur-fitur Microsoft CoPilot menarik bagi Anda, tetapi potensi mimpi buruk privasi membuat Anda takut? Mungkin Anda hanya tidak ingin membayar biaya berlangganan, atau terkunci dalam ekosistem pihak ketiga. Mungkin Anda lebih suka menggunakan perangkat lunak sumber terbuka. Apa pun alasan Anda, solusinya mungkin menjalankan model AI secara lokal.
Ketika saya pertama kali mulai menggali untuk menjalankan LLM secara lokal di Linux, saya pikir saya harus bergantung pada alat baris perintah seperti OllamaSementara Ollama adalah sangat mampu, dan menjalankan apa pun di terminal berpotensi membuat Anda merasa seperti orang hebat, ia tidak benar-benar menawarkan antarmuka yang ramah bagi pemula:
Ollama menjalankan model bahasa AI secara lokal di PC Anda, tetapi tidak sepenuhnya mudah digunakan.
Kemudian saya menemukan Studio LMsolusi lintas platform yang berjalan secara lokal di Windows, macOS, dan Linux. Solusi ini tangguh dan fleksibel, dengan GUI tradisional. Namun, sejujurnya, terkadang terlalu banyak daya dan fleksibilitas dapat mengganggu atau menyebabkan kerusakan. Ditambah lagi, satu-satunya aspek LM Studio yang bersifat sumber terbuka adalah alat baris perintah. Saya tidak menentang perangkat lunak sumber tertutup yang berpemilik, tetapi saya menghargai bahwa jika pengembang memutuskan untuk berhenti mengerjakan proyek sumber terbuka, proyek tersebut dapat di-fork dan terus berlanjut.
Melalui model bahasa Llama 3.1, Alpaca menjelaskan asal-usul “Tux,” maskot untuk Linux.
Jadi perjalananku membawaku ke Alpakayang berfungsi sebagai antarmuka grafis untuk Ollama. Dan jika kita telusuri lebih dalam apa yang benar-benar penting, kesimpulan yang didapat adalah ini: mudah digunakan.
Alpaca ramping dan intuitif. Mudah dipasang pada distribusi Linux apa pun melalui Flathubdan disertakan dengan backend Ollama. Tidak ada konfigurasi rumit yang terlibat; cukup pilih model AI untuk diunduh dan mulai mengobrol.
Alpaca melakukan pekerjaan yang baik dalam memandu Anda melalui beberapa langkah yang diperlukan untuk memulai dan menjalankannya.
Saya mulai dengan Llama 3.1 yang baru saja dirilis Meta, yang merupakan sumber terbuka dan tersedia dalam ukuran parameter 8 miliar, 70 miliar, dan 405 miliar. (Pikirkan parameter sebagai cara untuk mengukur kompleksitas model bahasa. Semakin tinggi angkanya, semakin mumpuni model tersebut.) Dapat dipahami, versi 405 miliar itu sangat besar, memerlukan unduhan sebesar 231 GB. Sebagai perbandingan, ukuran parameter ChatGPT 3 adalah 175 miliar. Menjalankan model-model yang sangat besar ini dapat melumpuhkan PC konsumen yang paling tangguh sekalipun, tetapi menurut pengalaman saya, model parameter yang lebih kecil mampu menjadi asisten digital dan chatbot yang layak.
Di sisi positifnya, Alpaca terintegrasi secara asli ke notifikasi sistem Anda, jadi Anda dapat memperkecil tampilan aplikasi saat sedang bekerja memberikan respons, dan mendapat pemberitahuan saat jawaban sudah siap.
Memiliki notifikasi asli sangatlah membantu!
Namun, jika Anda memutuskan model tertentu tidak cocok untuk Anda, menghapusnya dan mengosongkan sebagian ruang penyimpanan adalah hal yang mudah. Cukup masuk ke menu “Kelola Model”, tempat Anda dapat mencari, menarik, dan menghapus lusinan model.
Proyek Alpaca muncul pada bulan Juni 2024, tetapi rilis stabil pertama baru diluncurkan beberapa minggu lalu. Tampaknya perbaikan terus dilakukan, tetapi ada satu masalah papercut yang dapat memengaruhi pengguna GPU AMD tertentu: Alpaca memanfaatkan sumber daya CPU, bukan GPU, yang membuat pemrosesan lebih lambat. Tampaknya ini adalah bug yang terkait dengan ROCm, tetapi pengembang mengetahuinya dan sedang menyelidiki perbaikannya.
