Segmentasi – mengidentifikasi piksel gambar mana yang termasuk dalam suatu objek – membantu tugas-tugas seperti menganalisis citra ilmiah atau mengedit foto. Model Segmentasikan Apa Saja dirilis tahun lalu menginspirasi alat pengeditan gambar berkemampuan AI baru di aplikasi kami, seperti Latar belakang Dan Potongan di Instagram. SAM juga telah mengkatalisasi beragam aplikasi dalam sains, kedokteran, dan berbagai industri lainnya. Misalnya, SAM telah digunakan dalam ilmu kelautan untuk melakukan segmentasi gambar sonar Dan menganalisis terumbu karangBahasa Indonesia: analisis citra satelit untuk bantuan bencana, dan di bidang medis, segmentasi gambar seluler dan membantu dalam mendeteksi kanker kulit.
Model Segment Anything 2 (SAM 2) kami yang baru memperluas kemampuan ini ke video. SAM 2 dapat melakukan segmentasi objek apa pun dalam gambar atau video, dan mengikutinya secara konsisten di semua bingkai video secara real-time. Model yang ada belum mampu melakukan ini karena segmentasi dalam video jauh lebih menantang daripada dalam gambar. Dalam video, objek dapat bergerak cepat, berubah tampilan, dan disembunyikan oleh objek atau bagian lain dari pemandangan. Kami memecahkan banyak tantangan ini dalam membangun SAM 2.
Kami yakin penelitian ini dapat membuka kemungkinan baru seperti penyuntingan dan pembuatan video yang lebih mudah, dan memungkinkan terciptanya pengalaman baru dalam realitas campuran. SAM 2 juga dapat digunakan untuk melacak objek target dalam video guna membantu anotasi data visual yang lebih cepat untuk melatih sistem visi komputer, termasuk yang digunakan dalam kendaraan otonom. Hal ini juga dapat memungkinkan cara-cara kreatif untuk memilih dan berinteraksi dengan objek secara real-time atau dalam video langsung.
Sesuai dengan pendekatan sains terbuka kami, kami membagikan penelitian kami tentang SAM 2 agar orang lain dapat mengeksplorasi kemampuan dan kasus penggunaan baru. Kami sangat antusias untuk melihat apa yang akan dilakukan komunitas AI dengan penelitian ini.
