Apple telah merinci dalam sebuah makalah penelitian bagaimana ia melatih model AI generatif terbarunya menggunakan akselerator jaringan saraf Google dan bukan, katakanlah, perangkat keras Nvidia yang lebih populer.
Itu kertas (PDF), berjudul “Apple Intelligence Foundation Language Models,” memberikan gambaran yang cukup mendalam tentang cara kerja internal LLM yang diambil oleh raksasa iPhone, dari pelatihan hingga inferensi.
Model bahasa ini adalah jaringan saraf yang mengubah pertanyaan dan perintah menjadi teks dan gambar, dan memberi daya pada apa yang disebut Kecerdasan Apple fitur yang sedang dipanggang ke dalam sistem operasi Cupertino. Mereka dapat melakukan hal-hal seperti meringkas teks dan menyarankan kata-kata untuk pesan.
Sementara sebagian besar organisasi AI menginginkan GPU Nvidia, khususnya H100 hingga Blackwell muncul – dan mungkin mengincar penawaran dari AMD, Intel, dan lainnya – dalam hal melatih sistem pembelajaran mesin, Apple memutuskan untuk memilih silikon Tensor Processing Unit (TPU) milik Google. Hal ini tidak sepenuhnya mengejutkan, karena raksasa Mac dan Nvidia telah berselisih selama beberapa tahun terakhir karena berbagai alasan, dan tampaknya Cook & Co tidak begitu tertarik untuk memperbaiki keadaan demi melatih Apple Foundation Model (AFM).
Yang mengejutkan adalah Apple tidak beralih ke GPU Radeon dari AMDyang sebelumnya telah memasok chip untuk perangkat Mac. Sebaliknya, Apple memilih Google dan prosesor TPU v4 dan TPU v5 untuk mengembangkan AFM pada data pelatihan.
Ya, ini adalah Google yang sama dengan Apple dikritik minggu lalu mengenai privasi pengguna dalam hal menayangkan iklan daring. Namun di sisi perangkat keras, semuanya tampak nyaman.
Model AI sisi server Apple, AFM-server, dilatih pada 8.192 chip TPU v4, sementara AFM-on-device menggunakan 2.048 prosesor TPU v5 yang lebih baru. Sebagai referensi, Nvidia mengklaim pelatihan model AI kelas GPT-4 memerlukan sekitar 8.000 GPU H100, jadi menurut pengalaman Apple, TPU v4 hampir setara, setidaknya dalam hal jumlah akselerator.
Bagi Cupertino, mungkin bukan hanya tentang menghindari penggunaan GPU Nvidia. Sejak 2021, TPU Google telah melihat pertumbuhan eksplosifhingga pada titik di mana hanya Nvidia dan Intel yang memiliki pangsa pasar lebih besar menurut sebuah studi di bulan Mei.
Pengguna lebih menyukai respons dari model kami, klaim Apple
Apple mengklaim modelnya mengalahkan beberapa model dari Meta, OpenAI, Anthropic, dan bahkan Google sendiri. Makalah penelitian tersebut tidak membahas secara rinci spesifikasi server AFM, meskipun banyak yang menyebutkan tentang bagaimana AFM-on-device memiliki kurang dari tiga miliar parameter dan telah dioptimalkan untuk memiliki kuantisasi kurang dari empat bit rata-rata demi efisiensi.
Meskipun model AI dapat dievaluasi dengan tolok ukur standar, Apple mengatakan “menemukan evaluasi manusia lebih selaras dengan pengalaman pengguna dan memberikan sinyal evaluasi yang lebih baik daripada beberapa tolok ukur akademis.” Untuk tujuan itu, iMaker menyajikan dua respons berbeda kepada orang sungguhan untuk permintaan yang sama dari model yang berbeda, dan meminta mereka untuk memilih mana yang lebih baik.
Akan tetapi, petunjuk dan tanggapan tidak disediakan, jadi Anda harus memercayai saja pernyataan Apple mengenai hal itu.
Sementara Apple mengklaim AFM-nya “sering lebih disukai daripada model pesaing” oleh manusia yang menilai hasil mereka, model-modelnya tampaknya hanya mendapat skor di tempat kedua atau ketiga secara keseluruhan. AFM-on-device menang lebih sering daripada kalah melawan Gemma 7B, Phi 3 Mini, dan Mistral 7B, tetapi tidak bisa menang melawan LLaMa 3 8B. Makalah tersebut tidak menyertakan angka untuk GPT-4o Mini.
Sementara itu, server AFM tidak benar-benar cocok untuk GPT-4 dan LLaMa 3 70B. Kita mungkin bisa menebak bahwa server ini tidak akan cocok dengan GPT-4 dan LLaMa 3 70B. GPT-4o Dan LLaMa 3.1 405B salah satu.
Apple membenarkan dirinya sendiri dengan menunjukkan bahwa AFM-on-device mengungguli semua model kecil untuk alat peringkasan di Apple Intelligence, meskipun merupakan model terkecil yang diuji. Namun, itu hanya satu fitur, dan anehnya Apple tidak menunjukkan data serupa untuk alat lainnya.
Cupertino juga mengklaim kemenangan besar dalam menghasilkan konten yang aman. Sementara AFM-on-device dan -server menghasilkan respons yang berbahaya masing-masing 7,5 persen dan 6,3 persen dari waktu, semua model lainnya melakukannya setidaknya sepuluh persen dari waktu, tampaknya. Mistral 7N dan Mixtral 8x22B tampaknya merupakan pelanggar terbesar dengan masing-masing 51,3 persen dan 47,5 persen, klaim Apple. ®
