Pembandingan pendukung setia Laboratorium Primata pada hari Kamis merilis Geekbench AI 1.0. Aplikasi tersebut, yang saat ini tersedia untuk Android, Linux, MacOS, dan Windows, menerapkan prinsip-prinsip Geekbench pada pembelajaran mesin, pembelajaran mendalam, dan beban kerja AI lainnya, dalam upaya untuk menstandardisasi penilaian kinerja di seluruh platform. Aplikasi ini merupakan penerus Geekbench ML (pembelajaran mesin), yang diumumkan pada tahun 2021 dan saat ini berada pada versi 0.6.
“(P)ada tahun-tahun terakhir, perusahaan-perusahaan telah bersatu untuk menggunakan istilah 'AI' dalam beban kerja seperti ini (dan dalam pemasaran terkait),” kata Primate Labs tentang perubahan nama tersebut. “Untuk memastikan bahwa semua orang, mulai dari teknisi hingga penggemar kinerja, memahami apa yang dilakukan tolok ukur ini dan bagaimana cara kerjanya, kami merasa sudah waktunya untuk memperbaruinya.”
Awal minggu ini, pembuat ChatGPT OpenAI mengumumkan versi baru dari benchmark model AI miliknya sendiri. SWE-bench Verified adalah penawaran yang “divalidasi manusia” yang menggunakan validasi manusia untuk menentukan kemanjuran model dalam memecahkan “masalah dunia nyata.”
