berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Angin barat datang dari Kuil Aofei
Qubit |. Akun publik QbitAI

Penghargaan Tes Waktu ICML 2024 diumumkan, dan makalah yang ditulis bersama Jia Yangqing memenangkan penghargaan tersebut!

Makalah tersebut berjudul “DeCAF: Fitur Aktivasi Konvolusional Mendalam untuk Pengenalan Visual Umum” adalah pekerjaan yang diselesaikan oleh Jia Yangqing dan timnya saat berada di UC Berkeley 10 tahun lalu.

Pejabat ICML segera men-tweet ucapan selamat mereka. Jia Yangqing menjawab, "Saya sangat tersanjung bahwa DeCAF memenangkan Penghargaan Tes Waktu ICML 2024. Ini adalah dekade yang luar biasa untuk pengembangan kecerdasan buatan."

Salah satu penulis, saat ini menjabat sebagai wakil presiden Google DeepMind dan salah satu pemimpin proyek GeminiOriol VinilYe Kaimai berkata, "Terima kasih banyak atas penghargaan ini (membuat saya merasa tua)":

DeCAF adalah versi open source pertama dari AlexNet, dan kami menggunakannya untuk menguji apakah fitur yang dipelajari oleh pengklasifikasi ImageNet yang luar biasa ini dapat digunakan secara luas dalam tugas vision lainnya. Ternyata ide ini masih sangat relevan hingga saat ini dengan model multimoda terbaik!

Kedua pasangan lama tersebut juga membicarakan masa lalu mereka di kolom komentar:

Tahun ini merupakan ICML ke-41 yang diadakan, dengan lebih dari 9.000 pengajuan dan tingkat penerimaan sebesar 27,5%. Selain Penghargaan Tes Waktu,Penghargaan Makalah Terbaik juga telah diumumkan, dan makalah Difusi Stabil 3 ada dalam daftar.。

Makalah yang memenangkan Time Test Award telah dikutip 6.012 kali di Google Cendekia:

Mari kita lihat dulu tentang apa makalah ini.

Pendahulu dari kerangka Caffe yang terkenal

Makalah ini mengusulkan metode yang disebutKopi bebas kafein(Fitur Aktivasi Konvolusional Dalam) fitur aktivasi konvolusi mendalam, digunakan untuk memecahkan masalah pengenalan visual umum.

Hal ini terutama mengeksplorasi apakah fitur lapisan tengah jaringan neural konvolusional dalam yang telah dilatih sebelumnya pada kumpulan data berlabel skala besar seperti ImageNet dapat ditransfer secara efektif ke tugas visual lainnya, yaitu,Kelayakan pembelajaran transfer。

Penulis mengadopsi metode yang dikemukakan oleh Geoffrey Hinton, Alex Krizhevsky, dan Ilya Sutskever pada tahun 2012AlexNet Arsitektur jaringan saraf konvolusional, termasuk 5 lapisan konvolusional dan 3 lapisan yang terhubung sepenuhnya. Setelah pra-pelatihan pada kumpulan data ImageNet, bekukan bobot jaringan.

Aktivasi lapisan yang berbeda diekstraksi sebagai fitur, termasuk DeCAF5, DeCAF6 dan DeCAF7 (aktivasi lapisan tersembunyi terakhir). Dan hanya latih pengklasifikasi linier sederhana pada tugas baru sambil menjaga fitur DeCAF tidak berubah.

Untuk memverifikasi keefektifan metode ini, penulis melakukan eksperimen pada beberapa tolok ukur visi komputer standar, termasuk pengenalan objek (Caltech-101), adaptasi domain (kumpulan data Office), pengenalan terperinci (kumpulan Data Burung Caltech-UCSD) dan pengenalan pemandangan. (Minggu-397).

Hasil percobaan menunjukkan bahwa DeCAF mencapai kinerja yang sangat baik pada semua tugas ini, seringkali melampaui metode terbaik pada saat itu.

Algoritme t-SNE digunakan untuk memetakan fitur berdimensi tinggi ke dalam ruang 2D, menunjukkan bahwa fitur DeCAF lebih unggul daripada fitur tradisional seperti GIST dan LLC dalam pengelompokan semantik.

DeCAF tetap berkinerja baik meskipun sampel pelatihan terbatas, seperti pembelajaran sampel tunggal. Makalah ini juga menganalisis distribusi waktu penghitungan setiap lapisan jaringan secara rinci dan menemukan bahwa lapisan yang terhubung sepenuhnya menghabiskan sebagian besar waktu penghitungan.

Selain itu, makalah ini juga mengeksplorasi dampak teknik regularisasi seperti dropout, terutama penerapannya pada lapisan DeCAF6 dan DeCAF7.

Pada akhirnya, penulis membuat alat ekstraksi fitur DeCAF menjadi open source dan model terlatih.

Setelah beberapa netizen melihat tulisan ini memenangkan penghargaan sepuluh tahun kemudian, mereka tiba-tiba berpikir, "Inikah asal muasal Caffe?"

Jia Yangqing juga menjawab:

Kopi bebas kafeinTidak berlatih cukup cepat (Kami memperkirakan pelatihan akan memakan waktu lebih dari sebulan), jadi kami beralih ke Caffe. Itu sebabnya satu nama tidak mengandung kafein dan nama lain mengandung kafein - baik manusia maupun mesin bekerja lebih cepat.

Penghargaan Kertas Terbaik

Selain Time Test Award, juga telah diumumkan Penghargaan Makalah Terbaik ICML 2024. Ada 10 makalah pemenang tahun ini.

Ini termasuk makalah Difusi Stabil 3 "Transformator Aliran Rektifikasi Skala untuk Sintesis Gambar Resolusi Tinggi”。

Salah satu pendiri Pika dan CTO Chenlin Meng berpartisipasi dalam "Pemodelan Difusi Diskrit dengan Memperkirakan Rasio Distribusi Data“Karya ini juga mendapat penghargaan.

Tautan referensi:
[1]https://icml.cc/virtual/2024/detail_penghargaan
[2]https://arxiv.org/abs/1310.1531
[3]https://x.com/jiayq/status/1815653822028738667
[4]https://x.com/jiayq/status/1815862939569774796