uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Länsituuli tulee Aofein temppelistä
Qubits |. Julkinen tili QbitAI

ICML 2024 Time Test Award julkistetaan, ja Jia Yangqingin mukana kirjoittama paperi voitti palkinnon!

Lehden otsikko on "DeCAF: Deep Convolutional Activation ominaisuus yleiseen visuaaliseen tunnistamiseen” on Jia Yangqingin ja hänen tiiminsä tekemä työ Berkeleyn yliopistossa 10 vuotta sitten.

ICML-virkailijat twiittasivat heti onnittelunsa: "Olen syvästi ylpeä siitä, että DeCAF voitti ICML 2024 Time Test Award -palkinnon. Tämä on hämmästyttävä vuosikymmen tekoälyn kehittämiselle."

Yksi kirjoittajista, tällä hetkellä Google DeepMindin varapuheenjohtaja ja Gemini-projektin toinen johtajaOriol VinyalsYe Kaimai sanoi: "Kiitos paljon tästä palkinnosta (se saa minut tuntemaan oloni vanhaksi)":

DeCAF on AlexNetin ensimmäinen avoimen lähdekoodin versio, ja testasimme sen avulla, voidaanko tämän erinomaisen ImageNet-luokittimen oppimia ominaisuuksia käyttää laajasti muissa näkötehtävissä. Osoittautuu, että tämä idea on edelleen erittäin ajankohtainen parhaiden multimodaalisten mallien kanssa!

Kaksi vanhaa kumppania puhuivat myös menneisyydestään kommenttialueella:

Tänä vuonna järjestettiin 41. ICML, jossa on yli 9 000 palautetta ja hyväksymisprosentti on 27,5 %. Time Test Award -palkinnon lisäksiMyös parhaan paperin palkinto on julkistettu, ja Stable Diffusion 3 -paperit ovat listalla.。

Time Test Award -palkinnon voittanut paperi on siteerattu 6 012 kertaa Google Scholarissa:

Katsotaanpa ensin, mistä tässä paperissa on kyse.

Kuuluisan Caffe-kehyksen edeltäjä

Tässä artikkelissa ehdotetaan menetelmää nimeltäDeCAF(Deep Convolutional Activation Feature) syvän konvoluution aktivointiominaisuus, jota käytetään yleisten visuaalisen tunnistusongelmien ratkaisemiseen.

Se tutkii pääasiassa, voidaanko syväkonvoluutiohermoverkkojen keskikerroksen ominaisuuksia, jotka on esiopetettu laajamittaisille leimatuille tietojoukoille, kuten ImageNetille, tehokkaasti siirtää muihin visuaalisiin tehtäviin, eliMahdollisuus siirtää oppimista。

Kirjoittaja ottaa käyttöön Geoffrey Hintonin, Alex Krizhevskyn ja Ilya Sutskeverin vuonna 2012 ehdottaman menetelmän.AlexNet Konvoluutiohermoverkkoarkkitehtuuri, joka sisältää 5 konvoluutiokerrosta ja 3 täysin yhdistettyä kerrosta. Jäädytä verkon painot ImageNet-tietojoukon esikoulutuksen jälkeen.

Eri kerrosten aktivaatiot poimitaan ominaisuuksina, mukaan lukien DeCAF5, DeCAF6 ja DeCAF7 (viimeisen piilotetun kerroksen aktivointi). Ja vain harjoittele yksinkertaista lineaarista luokittelijaa uuteen tehtävään pitäen DeCAF-ominaisuudet muuttumattomina.

Tämän menetelmän tehokkuuden varmentamiseksi kirjoittajat suorittivat kokeita useilla tavallisilla tietokonenäön vertailuarvoilla, mukaan lukien objektien tunnistus (Caltech-101), verkkoalueen mukauttaminen (Office-datasarja), hienorakeinen tunnistus (Caltech-UCSD Bird Data Set) ja kohtauksen tunnistus. (SUN-397).

Kokeelliset tulokset osoittavat, että DeCAF saavuttaa erinomaisen suorituskyvyn kaikissa näissä tehtävissä, usein ylittäen sen ajan parhaat menetelmät.

t-SNE-algoritmia käytetään suurulotteisten piirteiden kartoittamiseen 2D-avaruuteen, mikä osoittaa, että DeCAF-ominaisuudet ovat parempia kuin perinteiset ominaisuudet, kuten GIST ja LLC semanttisessa klusteroinnissa.

DeCAF toimii edelleen hyvin, vaikka harjoitusnäytteet ovat niukkoja, kuten yhden näytteen oppiminen. Työssä analysoidaan myös yksityiskohtaisesti kunkin verkon kerroksen laskenta-aikajakauma ja havaitaan, että täysin kytketty kerros vie suurimman osan laskentaajasta.

Lisäksi artikkelissa tutkitaan myös regularisointitekniikoiden, kuten dropoutin, vaikutusta, erityisesti sen soveltamista DeCAF6- ja DeCAF7-kerroksiin.

Lopulta kirjoittaja avoimen lähdekoodin DeCAF-ominaisuuspoimintatyökalun ja esikoulutetun mallin.

Kun jotkut verkkoyhteisöt näkivät, että tämä lehti voitti palkinnon kymmenen vuotta myöhemmin, he yhtäkkiä ajattelivat: "Onko tämä Caffen alkuperä?"

Jia Yangqing vastasi myös:

DeCAFEi treeni tarpeeksi nopeasti (Arvioimme, että koulutus kestää yli kuukauden), joten vaihdoimme Caffeen. Siksi yhdessä nimessä ei ole kofeiinia ja toisessa sitä - sekä ihmiset että koneet käyvät nopeammin.

Paras paperi -palkinto

Time Test Awardin lisäksi on julkistettu myös ICML 2024 Best Paper Award -palkinto. Tänä vuonna on 10 voittajaa.

Näitä ovat Stable Diffusion 3 -paperi "Skaalaavat tasavirtausmuuntajat korkearesoluutioiseen kuvasynteesiin”。

Pikan perustaja ja teknologiajohtaja Chenlin Meng osallistui "Diskreetti diffuusiomallinnus arvioimalla datan jakautumisen suhteet"Tämä työ voitti myös palkinnon.

Viitelinkit:
[1]https://icml.cc/virtual/2024/awards_detail
[2]https://arxiv.org/abs/1310.1531
[3]https://x.com/jiayq/status/1815653822028738667
[4]https://x.com/jiayq/status/1815862939569774796