Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Ο δυτικός άνεμος προέρχεται από τον ναό Aofei
Qubits | Δημόσιος λογαριασμός QbitAI

Το ICML 2024 Time Test Award ανακοινώνεται και η εργασία που συνέταξε η Jia Yangqing κέρδισε το βραβείο!

Η εφημερίδα έχει τίτλο "DeCAF: Μια λειτουργία βαθιάς συνελικτικής ενεργοποίησης για γενική οπτική αναγνώριση” είναι η δουλειά που ολοκλήρωσε ο Jia Yangqing και η ομάδα του στο UC Berkeley πριν από 10 χρόνια.

Οι αξιωματούχοι του ICML έγραψαν αμέσως τα συγχαρητήριά τους στο Twitter: "Είμαι βαθιά τιμή που ο DeCAF κέρδισε το βραβείο Time Test 2024. Αυτή είναι μια καταπληκτική δεκαετία για την ανάπτυξη της τεχνητής νοημοσύνης."

Ένας από τους συγγραφείς, επί του παρόντος αντιπρόεδρος του Google DeepMind και συν-αρχηγός του έργου GeminiOriol VinyalsΟ Ye Kaimai είπε, "Σας ευχαριστώ πολύ για αυτό το βραβείο (με κάνει να νιώθω γέρος)":

Το DeCAF είναι η πρώτη έκδοση ανοιχτού κώδικα του AlexNet και το χρησιμοποιήσαμε για να ελέγξουμε εάν οι δυνατότητες που μαθαίνουμε από αυτόν τον εξαιρετικό ταξινομητή ImageNet μπορούν να χρησιμοποιηθούν ευρέως σε άλλες εργασίες όρασης. Αποδεικνύεται ότι αυτή η ιδέα εξακολουθεί να είναι πολύ σχετική σήμερα με τα καλύτερα πολυτροπικά μοντέλα!

Οι δύο παλιοί συνεργάτες μίλησαν επίσης για το παρελθόν τους στην περιοχή των σχολίων:

Φέτος είναι η 41η ICML που πραγματοποιήθηκε, με περισσότερες από 9.000 υποβολές και ποσοστό αποδοχής 27,5%. Εκτός από το βραβείο Time Test,Το Βραβείο Καλύτερου Χαρτιού έχει επίσης ανακοινωθεί και οι εργασίες Stable Diffusion 3 βρίσκονται στη λίστα.。

Η εργασία που κέρδισε το βραβείο Time Test έχει αναφερθεί 6.012 φορές στο Google Scholar:

Ας δούμε πρώτα τι είναι αυτό το έγγραφο.

Ο προκάτοχος του περίφημου πλαισίου Caffe

Αυτό το έγγραφο προτείνει μια μέθοδο που ονομάζεταιDeCAF(Deep Convolutional Activation Feature) δυνατότητα ενεργοποίησης βαθιάς συνέλιξης, που χρησιμοποιείται για την επίλυση γενικών προβλημάτων οπτικής αναγνώρισης.

Διερευνά κυρίως εάν τα χαρακτηριστικά του μεσαίου επιπέδου των βαθιών συνελικτικών νευρωνικών δικτύων προεκπαιδευμένα σε σύνολα δεδομένων μεγάλης κλίμακας όπως το ImageNet μπορούν να μεταφερθούν αποτελεσματικά σε άλλες οπτικές εργασίες, δηλαδήΣκοπιμότητα μεταφοράς μάθησης。

Ο συγγραφέας υιοθετεί τη μέθοδο που πρότειναν οι Geoffrey Hinton, Alex Krizhevsky και Ilya Sutskever το 2012AlexNet Αρχιτεκτονική συνελικτικού νευρωνικού δικτύου, που περιλαμβάνει 5 συνελικτικά επίπεδα και 3 πλήρως συνδεδεμένα επίπεδα. Μετά την προεκπαίδευση στο σύνολο δεδομένων ImageNet, παγώστε τα βάρη του δικτύου.

Οι ενεργοποιήσεις διαφορετικών επιπέδων εξάγονται ως χαρακτηριστικά, συμπεριλαμβανομένων των DeCAF5, DeCAF6 και DeCAF7 (η ενεργοποίηση του τελευταίου κρυφού στρώματος). Και εκπαιδεύστε μόνο έναν απλό γραμμικό ταξινομητή στη νέα εργασία, διατηρώντας τα χαρακτηριστικά DeCAF αμετάβλητα.

Για να επαληθεύσουν την αποτελεσματικότητα αυτής της μεθόδου, οι συγγραφείς διεξήγαγαν πειράματα σε πολλαπλά τυπικά σημεία αναφοράς όρασης υπολογιστή, συμπεριλαμβανομένης της αναγνώρισης αντικειμένων (Caltech-101), της προσαρμογής τομέα (σύνολο δεδομένων Office), της λεπτομερούς αναγνώρισης (σύνολο δεδομένων πτηνών Caltech-UCSD) και της αναγνώρισης σκηνής (SUN-397).

Τα πειραματικά αποτελέσματα δείχνουν ότι το DeCAF επιτυγχάνει εξαιρετική απόδοση σε όλες αυτές τις εργασίες, ξεπερνώντας συχνά τις καλύτερες μεθόδους εκείνη τη στιγμή.

Ο αλγόριθμος t-SNE χρησιμοποιείται για τη χαρτογράφηση χαρακτηριστικών υψηλών διαστάσεων σε δισδιάστατο χώρο, αποδεικνύοντας ότι τα χαρακτηριστικά DeCAF είναι ανώτερα από τα παραδοσιακά χαρακτηριστικά όπως το GIST και το LLC στη σημασιολογική ομαδοποίηση.

Το DeCAF εξακολουθεί να αποδίδει καλά ακόμα και όταν τα δείγματα εκπαίδευσης είναι σπάνια, όπως η εκμάθηση ενός δείγματος. Η εργασία αναλύει επίσης λεπτομερώς την κατανομή χρόνου υπολογισμού κάθε επιπέδου του δικτύου και διαπιστώνει ότι το πλήρως συνδεδεμένο επίπεδο καταλαμβάνει το μεγαλύτερο μέρος του χρόνου υπολογισμού.

Επιπλέον, η εργασία διερευνά επίσης τον αντίκτυπο των τεχνικών τακτοποίησης όπως η εγκατάλειψη, ειδικά η εφαρμογή της στα επίπεδα DeCAF6 και DeCAF7.

Στο τέλος, ο συγγραφέας δημιούργησε το εργαλείο εξαγωγής χαρακτηριστικών DeCAF και το μοντέλο προεκπαίδευσης ανοιχτού κώδικα.

Αφού κάποιοι χρήστες του Διαδικτύου είδαν αυτό το χαρτί να κερδίζει το βραβείο δέκα χρόνια αργότερα, ξαφνικά σκέφτηκαν, "Αυτή είναι η προέλευση του Caffe;"

Η Jia Yangqing απάντησε επίσης:

DeCAFΔεν προπονείται αρκετά γρήγορα (Υπολογίσαμε ότι η εκπαίδευση θα διαρκούσε περισσότερο από ένα μήνα), οπότε περάσαμε στο Caffe. Γι' αυτό ένα όνομα έχει μηδενική καφεΐνη και ένα άλλο την έχει - τόσο οι άνθρωποι όσο και οι μηχανές τρέχουν πιο γρήγορα.

Βραβείο καλύτερου χαρτιού

Εκτός από το βραβείο Time Test, ανακοινώθηκε και το βραβείο ICML 2024 Best Paper.

Αυτά περιλαμβάνουν το χαρτί Stable Diffusion 3 "Μετασχηματιστές ανορθωμένης ροής κλιμάκωσης για σύνθεση εικόνας υψηλής ανάλυσης”。

Ο συνιδρυτής της Pika και CTO Chenlin Meng συμμετείχε στο "Μοντελοποίηση διακριτής διάχυσης με εκτίμηση των αναλογιών της κατανομής δεδομένων«Αυτό το έργο κέρδισε και βραβείο.

Σύνδεσμοι αναφοράς:
[1]https://icml.cc/virtual/2024/awards_detail
[2]https://arxiv.org/abs/1310.1531
[3]https://x.com/jiayq/status/1815653822028738667
[4]https://x.com/jiayq/status/1815862939569774796