Ini merupakan minggu yang penuh gejolak bagi OpenAI keberangkatan eksekutif Dan perkembangan penggalangan dana besarnamun startup ini kembali melakukannya, mencoba meyakinkan pengembang untuk membangun alat dengan model AI-nya pada DevDay 2024. Perusahaan ini mengumumkan beberapa alat baru pada hari Selasa, termasuk versi beta publik dari “Realtime API”, untuk membangun aplikasi dengan latensi rendah, respons suara yang dihasilkan AI. Ini bukan Mode Suara Tingkat Lanjut ChatGPT, tapi hampir sama.
Dalam pengarahan dengan wartawan menjelang acara tersebut, Chief Product Officer OpenAI Kevin Weil mengatakan kepergian Chief Technology Officer Mira Murati dan Chief Research Officer Bob McGrew baru-baru ini tidak akan mempengaruhi kemajuan perusahaan.
“Saya akan mulai dengan mengatakan bahwa Bob dan Mira adalah pemimpin yang hebat. Saya belajar banyak dari mereka, dan mereka adalah bagian besar yang membawa kami ke posisi sekarang ini,” kata Weil. “Dan juga, kami tidak akan melambat.”
Saat OpenAI kembali menjalani perombakan C-suite – sebuah pengingat akan hal tersebut kekacauan setelah DevDay tahun lalu – perusahaan berusaha meyakinkan pengembang bahwa mereka masih menawarkan platform terbaik untuk membangun aplikasi AI. Para pemimpin mengatakan bahwa startup ini memiliki lebih dari 3 juta pengembang yang membangun dengan model AI-nya, namun OpenAI beroperasi di lingkungan yang semakin kompetitif.
OpenAI mencatat bahwa mereka telah memangkas biaya bagi pengembang untuk mengakses API-nya sebesar 99% dalam dua tahun terakhir, meskipun hal ini kemungkinan besar terpaksa dilakukan oleh pesaing seperti Meta dan Google yang terus-menerus menurunkan harga mereka.
Salah satu fitur baru OpenAI, yang dijuluki Realtime API, akan memberikan kesempatan kepada pengembang untuk membangun pengalaman ucapan-ke-ucapan yang hampir real-time di aplikasi mereka, dengan pilihan untuk menggunakan enam suara yang disediakan oleh OpenAI. Suara-suara ini berbeda dari yang ditawarkan untuk ChatGPT, dan pengembang tidak dapat menggunakan suara pihak ketiga, untuk mencegah masalah hak cipta. (Suara yang secara ambigu berdasarkan pada Scarlett Johansson tidak tersedia di mana pun.)
Selama pengarahan, kepala pengalaman pengembang OpenAI, Romain Huet, membagikan demo aplikasi perencanaan perjalanan yang dibuat dengan Realtime API. Aplikasi ini memungkinkan pengguna untuk berbicara secara lisan dengan asisten AI tentang perjalanan mendatang ke London, dan mendapatkan respons dengan latensi rendah. Realtime API juga memiliki akses ke sejumlah alat, sehingga aplikasi dapat memberi anotasi pada peta dengan lokasi restoran saat dijawab.
Pada kesempatan lain, Huet menunjukkan bagaimana Realtime API dapat berbicara melalui telepon dengan manusia untuk menanyakan tentang pemesanan makanan untuk suatu acara. Tidak seperti Duo Google yang terkenal, API OpenAI tidak dapat menghubungi restoran atau toko secara langsung; namun, ini dapat berintegrasi dengan API panggilan seperti Twilio untuk melakukannya. Khususnya, OpenAI bukan menambahkan pengungkapan sehingga model AI-nya secara otomatis mengidentifikasi dirinya pada panggilan seperti ini, meskipun faktanya suara yang dihasilkan AI ini terdengar cukup realistis. Untuk saat ini, tampaknya menjadi tanggung jawab pengembang untuk menambahkan pengungkapan ini, sesuatu yang dapat diwajibkan oleh undang-undang California yang baru.
Sebagai bagian dari pengumuman DevDay, OpenAI juga memperkenalkan penyempurnaan visi dalam API-nya, yang memungkinkan pengembang menggunakan gambar, serta teks, untuk menyempurnakan aplikasi GPT-4o mereka. Secara teori, hal ini seharusnya membantu pengembang meningkatkan kinerja GPT-4o untuk tugas-tugas yang melibatkan pemahaman visual. Kepala API produk OpenAI, Olivier Godement, mengatakan kepada TechCrunch bahwa pengembang tidak akan dapat mengunggah gambar berhak cipta (seperti gambar Donald Duck), gambar yang menggambarkan kekerasan, atau gambar lain yang melanggar kebijakan keselamatan OpenAI.
OpenAI berlomba untuk menyamai apa yang sudah ditawarkan oleh para pesaingnya dalam bidang lisensi model AI. Fitur caching cepatnya mirip dengan fitur Anthropic yang diluncurkan beberapa bulan lalu, memungkinkan pengembang untuk menyimpan konteks yang sering digunakan di antara panggilan API, sehingga mengurangi biaya dan meningkatkan latensi. OpenAI mengatakan pengembang bisa menghemat 50% menggunakan fitur ini, sedangkan Anthropic menjanjikan diskon 90%. untuk itu.
Terakhir, OpenAI menawarkan fitur penyulingan model yang memungkinkan pengembang menggunakan model AI yang lebih besar, seperti o1-preview dan GPT-4o, untuk menyempurnakan model yang lebih kecil seperti GPT-4o mini. Menjalankan model yang lebih kecil umumnya memberikan penghematan biaya dibandingkan dengan menjalankan model yang lebih besar, namun fitur ini memungkinkan pengembang meningkatkan kinerja model AI kecil tersebut. Sebagai bagian dari penyulingan model, OpenAI meluncurkan alat evaluasi beta sehingga pengembang dapat mengukur kinerja penyesuaian mereka dalam API OpenAI.
DevDay mungkin akan membuat gelombang yang lebih besar karena hal yang tidak diumumkan – misalnya, tidak ada berita apa pun di GPT Store yang diumumkan selama DevDay tahun lalu. Terakhir yang kami dengar, OpenAI telah menguji coba program bagi hasil dengan beberapa pembuat GPT paling populer, namun perusahaan tersebut belum mengumumkan banyak hal sejak saat itu.
Selain itu, OpenAI mengatakan tidak akan merilis model AI baru selama DevDay tahun ini. Pengembang yang menunggu OpenAI o1 (bukan versi pratinjau atau mini) atau model pembuatan video startup, Sora, harus menunggu lebih lama.
