Koko Internet kritisoi NeurIPS24-arvioinnin tuloksia, mikä hälytti LeCun! Arvostelija antoi matalan pistemäärän ja vähätteli vakavasti paperin panosta.
2024-08-10
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
[Johdatus uuteen viisauteen]Heti kun NeurIPS 2024 -arvioinnin tulokset julkaistiin, siitä tuli pahin valitusalue koko verkossa.
Joka vuosi kansainvälisessä huippukonferenssissa tekoälyn alalla tapahtuu väistämättä "suuria tapahtumia".
Jokin aika sitten NeurIPS 2024 -paperikatsauksen tulokset julkaistiin vihdoin, ja netilaiset alkoivat "kokoontua ryhmiin" ja tulivat riitauksiksi.Tällä hetkellä jotkut nettimiehet kertoivat uutisesta:"Jotkut arvioijat vähättelevät vakavasti paperin panosta, käyttävät kohtuuttomia standardeja arvioidakseen ja jopa jättävät huomiotta paperin todellisen parannuksen muihin töihin verrattuna."
Hän uskoo, että tämä saattaa olla kilpailevan tuotteen kirjoittaja, joka teki epärehellisen arvion sen löydettyään.Jopa pomo LeCun tuli katsomaan ja välitti viestin välittömästi eteenpäin.Aluejohtajana kerron kirjoittajille: Jos näin käy sinulle, ota yhteyttä aluejohtajaan (AC).Kirjoittajana haluan kysyä: Kuinka voit asianmukaisesti kutsua tämän käytöksen esiin ja löytää tasapainon oikeutetun kritiikin ja liiallisen vartioinnin välillä?
Toinen nettipelaaja julkaisi klassisen kommentin NeurIPS-arvostelijalta: Tämä ratkaisu ei ole uusi ja sitä on tutkittu laajasti.Tänä vuonna kyseessä on NeurIPS:n 38. vuosikokous, joka pidetään Vancouverissa 9.-15. joulukuuta.Paper Copilotin keräämien tilastojen mukaan keskimääräinen pistejakauma on toistaiseksi enimmäkseen 3-6 pisteen välillä.Jos paperi saa matalat pisteet, kenen vika se on?NeurIPS-paperin pisteet ovat alhaiset?
UT Austinin apulaisprofessori, joka on myös yksi tämän NeurIPS:n huippukonferenssin aluejohtajista (AC), selitti näkemäänsä ilmiötä.Hän kertoi, että hänen vastuullaan olevasta paperierästä 16 paperia 48:sta oli jätetty tarkistettavaksi.En ole toistaiseksi nähnyt yhtään positiivista arvostelua, joko arvostelijat ovat tiukentuneet tai paperin laatu on laskenut?
Tänä vuonna NeurIPS sai monia "kierrätyspapereita".Toinen tekoälytutkija sanoi myös, että joko paperin laatu on heikentynyt tai minä olen arvostelija nro 2, jota kaikki vihaavat.Arvosteluissaan papereissa hän antoi periaatteessa 2-4 pistettä.Toinen arvioija sanoi: "Vastaavani 62 artikkelin erässä keskimääräinen pistemäärä oli 4,3 pistettä ja keskihajonta oli 1. Joten jos saat aluksi alhaiset pisteet, älä lannistu!"Voidaan nähdä, että tämän NeurIPS-konferenssin artikkeleiden kirjoittajat tuntevat olonsa erittäin epämukavaksi, eikä korkeiden pisteiden saaminen ole helppoa.Suuret mallit osallistuvat katsaukseen
Ja kun tekoäly tuli suosituksi, suuria malleja käytettiin myös paperitarkasteluihin.Tällä kertaa NeurIPS 2024 ei ole poikkeus.Eräs Reddit-käyttäjä kommentoi, että hän käytti kuukauden tarkistamassa 6 paperia ja loukkaantui todella, kun hän näki saaneensa LLM-arvioinnin.Toiset huomauttivat, että heidän arvioimiensa papereiden joukossa he löysivät ainakin kolme suurten mallien tuottamaa arvostelua, ja niitä on luultavasti enemmän, kolme niistä oli ilmeisesti kopioituja ChatGPT-tulosteita lukematta paperia ollenkaan.Kaikki arvostelijat antoivat sille arvosanan 6 ja Confidencelle 4, mikä oli täysin ristiriidassa kaikkien muiden arvioiden kanssa.Jotkut nettimiehet kommentoivat: "Papereiden arvostelujen laatu on erittäin heikko."Yksi arvioija sekoitti menetelmämme perusviivan ja toinen arvioija sekoitti lähtötilanteen johtamisen (kuten työssämme kritisoitiin) menetelmämme johtamiseen. Epäilen, että jotkin kommentit ovat LLM:n luomia.Miksi tämä tuomaristo on niin kiireinen?
Joku huomautti, että tämä on NeurIPS:n virallisen järjestelytoimikunnan ongelma.NeurIPS-katsauksessa kuuden pisteen kuvaus on täysin, täysin ja omituisen väärä.Yleensä pistemäärä 6 tarkoittaa hylkäämistä. Mutta sen kuvataan olevan kohtalainen tai suuri vaikutuspaperi, jossa ei ole ongelmia?Ei ihme, että uusi arvioija antoi sille niin alhaiset pisteet!
NeurIPS-pisteytyssäännöissä annetaan 6 pisteen johdanto - Heikko Hyväksy.Teknisesti vankat, kohtalaisista tai erittäin vaikuttavista papereista, joissa ei ole suuria ongelmia arvioinnin, resurssien, toistettavuuden tai eettisten näkökohtien kanssa.Tämän vuoden kesäkuussa NeurIPS AC jakoi paljon enemmän tietoa huippukonferenssin katsauksesta:Hänen vastuullaan olevassa erässä on 13 palautetta, ja kaikille papereille on automaattisesti määrätty neljä arvioijaa.Mielenkiintoista on, että arvioijista 50 % on tohtoriopiskelijoita ja useat maisteri- ja perustutkinto-opiskelijat ovat myös arvioijia.Viidessä 13:sta artikkelista yhdelläkään arvioijista ei ollut korkeampaa asemaa kuin tohtorikandidaatti.Kaikkien tästä AC:sta vastaavien arvioijien joukossa on 3 varsinaista professoria, 1 apulaisprofessori, 4 apulaisprofessoria, 9 alan ammattilaista ja 2 kansallisten laboratorioiden työntekijää. Loput ovat tohtori-/tutkijat, tohtori-, maisteri- ja perustutkinto-opiskelijat.Mitä mieltä olet tämän vuoden NeurIPS-arvostelusta?
