2024-07-24
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Der Westwind kommt vom Aofei-Tempel
Qubits |. Öffentliches Konto QbitAI
Der ICML 2024 Time Test Award wird bekannt gegeben und der von Jia Yangqing mitverfasste Artikel hat den Preis gewonnen!
Das Papier trägt den Titel „DeCAF: Eine Funktion zur Aktivierung tiefer Faltungselemente für die allgemeine visuelle Erkennung„ist die Arbeit, die Jia Yangqing und sein Team vor 10 Jahren an der UC Berkeley abgeschlossen haben.
ICML-Beamte twitterten sofort ihre Glückwünsche. „Ich fühle mich zutiefst geehrt, dass DeCAF den ICML 2024 Time Test Award gewonnen hat. Dies ist ein erstaunliches Jahrzehnt für die Entwicklung der künstlichen Intelligenz.“
Einer der Autoren, derzeit Vizepräsident von Google DeepMind und Co-Leiter des Gemini-ProjektsOriol VinylsYe Kaimai sagte: „Vielen Dank für diese Auszeichnung (ich fühle mich dadurch alt)“:
DeCAF ist die erste Open-Source-Version von AlexNet. Wir haben damit getestet, ob die von diesem hervorragenden ImageNet-Klassifikator erlernten Funktionen in großem Umfang für andere Bildverarbeitungsaufgaben verwendet werden können. Es stellt sich heraus, dass diese Idee auch heute noch mit den besten multimodalen Modellen sehr aktuell ist!
Auch im Kommentarbereich sprachen die beiden alten Partner über ihre Vergangenheit:
Dieses Jahr findet die 41. ICML statt, mit mehr als 9.000 Einreichungen und einer Annahmequote von 27,5 %. Neben dem Time Test Award,Der Best Paper Award wurde ebenfalls bekannt gegeben, und Stable Diffusion 3-Artikel stehen auf der Liste.。
Der mit dem Time Test Award ausgezeichnete Aufsatz wurde auf Google Scholar 6.012 Mal zitiert:
Schauen wir uns zunächst an, worum es in diesem Papier geht.
In diesem Artikel wird eine Methode namens vorgeschlagenDeCAF(Deep Convolutional Activation Feature) Tiefenfaltungsaktivierungsfunktion, die zur Lösung allgemeiner visueller Erkennungsprobleme verwendet wird.
Es wird hauptsächlich untersucht, ob die Merkmale der mittleren Schicht von tiefen Faltungs-Neuronalen Netzen, die auf großen markierten Datensätzen wie ImageNet vorab trainiert wurden, effektiv auf andere visuelle Aufgaben übertragen werden können, d. h.Machbarkeit von Transferlernen。
Der Autor übernimmt die von Geoffrey Hinton, Alex Krizhevsky und Ilya Sutskever im Jahr 2012 vorgeschlagene MethodeAlexNet Faltungs-Neuronale Netzwerkarchitektur, einschließlich 5 Faltungsschichten und 3 vollständig verbundenen Schichten. Frieren Sie die Netzwerkgewichte ein, nachdem Sie den ImageNet-Datensatz vorab trainiert haben.
Die Aktivierungen verschiedener Schichten werden als Features extrahiert, einschließlich DeCAF5, DeCAF6 und DeCAF7 (die Aktivierung der letzten verborgenen Schicht). Und trainieren Sie nur einen einfachen linearen Klassifikator für die neue Aufgabe, während die DeCAF-Funktionen unverändert bleiben.
Um die Wirksamkeit dieser Methode zu überprüfen, führten die Autoren Experimente mit mehreren Standard-Computer-Vision-Benchmarks durch, darunter Objekterkennung (Caltech-101), Domänenanpassung (Office-Datensatz), feinkörnige Erkennung (Caltech-UCSD-Vogeldatensatz) und Szenenerkennung (SUN-397).
Experimentelle Ergebnisse zeigen, dass DeCAF bei all diesen Aufgaben eine hervorragende Leistung erzielt und oft die besten Methoden zu diesem Zeitpunkt übertrifft.
Der t-SNE-Algorithmus wird verwendet, um hochdimensionale Merkmale im 2D-Raum abzubilden. Dies zeigt, dass DeCAF-Merkmale herkömmlichen Merkmalen wie GIST und LLC beim semantischen Clustering überlegen sind.
DeCAF funktioniert auch dann noch gut, wenn Trainingsbeispiele knapp sind, wie zum Beispiel beim Lernen mit einer Stichprobe. Das Papier analysiert auch die Berechnungszeitverteilung jeder Schicht des Netzwerks im Detail und stellt fest, dass die vollständig verbundene Schicht den größten Teil der Berechnungszeit in Anspruch nimmt.
Darüber hinaus untersucht das Papier auch die Auswirkungen von Regularisierungstechniken wie Dropout, insbesondere deren Anwendung auf den Schichten DeCAF6 und DeCAF7.
Am Ende hat der Autor das DeCAF-Feature-Extraktionstool und das Pre-Training-Modell als Open-Source-Lösung bereitgestellt.
Als einige Internetnutzer zehn Jahre später sahen, wie diese Zeitung den Preis gewann, dachten sie plötzlich: „Ist das der Ursprung von Caffe?“
Jia Yangqing antwortete auch:
DeCAFNicht schnell genug trainieren (Wir schätzten, dass die Schulung mehr als einen Monat dauern würde), also wechselten wir zu Caffe. Deshalb enthält ein Name kein Koffein, ein anderer dagegen – sowohl Menschen als auch Maschinen laufen schneller.
Zusätzlich zum Time Test Award wurde auch der ICML 2024 Best Paper Award bekannt gegeben. In diesem Jahr gibt es 10 Gewinnerpapiere.
Dazu gehört das Stable Diffusion 3-Papier „Skalierung gleichgerichteter Flusstransformatoren für die hochauflösende Bildsynthese”。
Pika-Mitbegründer und CTO Chenlin Meng beteiligte sich an „Diskrete Diffusionsmodellierung durch Schätzung der Verhältnisse der Datenverteilung„Diese Arbeit wurde ebenfalls ausgezeichnet.
Referenzlinks:
[1]https://icml.cc/virtual/2024/awards_detail
[2]https://arxiv.org/abs/1310.1531
[3]https://x.com/jiayq/status/1815653822028738667
[4]https://x.com/jiayq/status/1815862939569774796
Sammeln und organisieren Sie die neuesten Nachrichteninformationen und stellen Sie sie für alle kostenlos zur Verfügung.
