notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Il vento dell'ovest proviene dal Tempio Aofei
Qubit |. Account pubblico QbitAI

Viene annunciato l'ICML 2024 Time Test Award e l'articolo scritto da Jia Yangqing ha vinto il premio!

Il documento si intitola "DeCAF: una funzionalità di attivazione convoluzionale profonda per il riconoscimento visivo generico" è il lavoro completato da Jia Yangqing e dal suo team mentre erano alla UC Berkeley 10 anni fa.

I funzionari dell'ICML hanno immediatamente twittato le loro congratulazioni. Jia Yangqing ha risposto: "Sono profondamente onorato che DeCAF abbia vinto il Time Test Award dell'ICML 2024. Questo è un decennio straordinario per lo sviluppo dell'intelligenza artificiale".

Uno degli autori, attualmente vicepresidente di Google DeepMind e co-leader del progetto GeminiOriol VinyalsYe Kaimai ha detto: "Grazie mille per questo premio (mi fa sentire vecchio)":

DeCAF è la prima versione open source di AlexNet e l'abbiamo utilizzata per verificare se le funzionalità apprese da questo eccellente classificatore ImageNet possono essere ampiamente utilizzate in altre attività di visione. Si scopre che questa idea è ancora molto attuale oggi con i migliori modelli multimodali!

I due vecchi compagni hanno parlato anche del loro passato nell'area commenti:

Quest'anno si tratta della 41esima edizione della ICML, con oltre 9.000 iscrizioni e un tasso di accettazione del 27,5%. Oltre al Time Test Award,È stato anche annunciato il Best Paper Award e nella lista sono presenti i documenti Stable Diffusion 3.。

L'articolo che ha vinto il Time Test Award è stato citato 6.012 volte su Google Scholar:

Vediamo innanzitutto di cosa tratta questo documento.

Il predecessore del famoso quadro Caffe

Questo articolo propone un metodo chiamatoDeCAF(Deep Convolutional Activation Feature) funzione di attivazione della convoluzione profonda, utilizzata per risolvere problemi generali di riconoscimento visivo.

Esplora principalmente se le caratteristiche dello strato intermedio delle reti neurali convoluzionali profonde pre-addestrate su set di dati etichettati su larga scala come ImageNet possano essere efficacemente trasferite ad altri compiti visivi, vale a dire,Fattibilità del trasferimento dell'apprendimento。

L'autore adotta il metodo proposto da Geoffrey Hinton, Alex Krizhevsky e Ilya Sutskever nel 2012AlexNet Architettura di rete neurale convoluzionale, inclusi 5 livelli convoluzionali e 3 livelli completamente connessi. Dopo il pre-addestramento sul set di dati ImageNet, congelare i pesi di rete.

Le attivazioni di diversi layer vengono estratte come funzionalità, tra cui DeCAF5, DeCAF6 e DeCAF7 (l'attivazione dell'ultimo layer nascosto). E addestra solo un semplice classificatore lineare sulla nuova attività mantenendo invariate le funzionalità di DeCAF.

Per verificare l'efficacia di questo metodo, gli autori hanno condotto esperimenti su diversi benchmark standard di visione artificiale, tra cui il riconoscimento degli oggetti (Caltech-101), l'adattamento del dominio (set di dati di Office), il riconoscimento a grana fine (set di dati degli uccelli Caltech-UCSD) e il riconoscimento delle scene. (SOLE-397).

I risultati sperimentali mostrano che DeCAF raggiunge prestazioni eccellenti in tutti questi compiti, spesso superando i migliori metodi dell’epoca.

L'algoritmo t-SNE viene utilizzato per mappare caratteristiche ad alta dimensionalità nello spazio 2D, dimostrando che le caratteristiche DeCAF sono superiori alle caratteristiche tradizionali come GIST e LLC nel clustering semantico.

DeCAF funziona ancora bene anche quando i campioni di addestramento sono scarsi, come nel caso dell'apprendimento a campione singolo. Il documento analizza inoltre in dettaglio la distribuzione del tempo di calcolo di ciascuno strato della rete e rileva che lo strato completamente connesso occupa la maggior parte del tempo di calcolo.

Inoltre, il documento esplora anche l’impatto delle tecniche di regolarizzazione come il dropout, in particolare la sua applicazione sui livelli DeCAF6 e DeCAF7.

Alla fine, l'autore ha reso open source lo strumento di estrazione delle funzionalità DeCAF e il modello di pre-formazione.

Dopo che alcuni netizen hanno visto questo giornale vincere il premio dieci anni dopo, hanno improvvisamente pensato: "È questa l'origine di Caffe?"

Anche Jia Yangqing ha risposto:

DeCAFNon allenarsi abbastanza velocemente (Abbiamo stimato che la formazione avrebbe richiesto più di un mese), quindi siamo passati a Caffe. Ecco perché un nome non contiene caffeina e un altro ce l'ha: sia gli esseri umani che le macchine corrono più veloci.

Premio per il miglior articolo

Oltre al Time Test Award, è stato annunciato anche l'ICML 2024 Best Paper Award. Quest'anno sono 10 gli articoli vincitori.

Questi includono la carta Stable Diffusion 3 "Scalabilità dei trasformatori di flusso rettificati per la sintesi di immagini ad alta risoluzione”。

Il co-fondatore di Pika e CTO Chenlin Meng ha partecipato a "Modellazione della diffusione discreta mediante la stima dei rapporti della distribuzione dei dati"Anche quest'opera ha vinto un premio.

Link di riferimento:
[1]https://icml.cc/virtual/2024/awards_detail
[2]https://arxiv.org/abs/1310.1531
[3]https://x.com/jiayq/status/1815653822028738667
[4]https://x.com/jiayq/status/1815862939569774796