Die Ergebnisse der NeurIPS24-Überprüfung wurden vom gesamten Internet kritisiert, was LeCun alarmierte! Der Rezensent gab eine niedrige Punktzahl und schmälerte den Beitrag der Arbeit erheblich.
2024-08-10
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
[Einführung in die neue Weisheit]Sobald die Ergebnisse der NeurIPS 2024-Überprüfung veröffentlicht wurden, wurde es zum am stärksten betroffenen Bereich für Beschwerden im gesamten Netzwerk.
Jedes Jahr kommt es auf der internationalen Spitzenkonferenz im Bereich KI zwangsläufig zu „großen Ereignissen“.
Vor einiger Zeit wurden die Ergebnisse der NeurIPS 2024-Papierprüfung endlich veröffentlicht, und die Internetnutzer begannen, sich „in Gruppen zu versammeln“ und sich zu streiten.Zu diesem Zeitpunkt verbreiteten einige Internetnutzer die Nachricht:„Einige Rezensenten schmälern den Beitrag der Arbeit ernsthaft, verwenden unangemessene Maßstäbe bei der Beurteilung und ignorieren sogar die tatsächliche Verbesserung der Arbeit im Vergleich zu anderen Arbeiten.“
Er geht davon aus, dass es sich möglicherweise um den Autor eines Konkurrenzprodukts handelt, der eine unehrliche Rezension abgegeben hat, nachdem er es entdeckt hatte.Sogar Chef LeCun kam vorbei und leitete den Beitrag sofort weiter.Als Area Chair sage ich den Autoren: Wenn Ihnen das passiert, wenden Sie sich bitte an den Area Chair (AC).Als Autor möchte ich fragen: Wie kann man dieses Verhalten angemessen zur Sprache bringen und die Balance zwischen berechtigter Kritik und übermäßiger Zurückhaltung finden?
Ein anderer Internetnutzer veröffentlichte einen klassischen Kommentar eines NeurIPS-Rezensenten: Diese Lösung ist nicht neu und wurde ausführlich untersucht.In diesem Jahr ist es das 38. Jahrestreffen von NeurIPS, das vom 9. bis 15. Dezember in Vancouver stattfinden wird.Laut Statistiken von Paper Copilot liegt die durchschnittliche Punkteverteilung bisher meist zwischen 3 und 6 Punkten.Wenn die Arbeit eine niedrige Punktzahl erhält, wer ist dann schuld?NeurIPS-Artikel hat eine niedrige Punktzahl?
Ein außerordentlicher Professor von der UT Austin, der auch einer der Area Chairs (AC) dieser Top-Konferenz von NeurIPS ist, erklärte das Phänomen, das er sah.Er sagte, dass von dem Stapel von Papieren, für die er verantwortlich war, 16 von 48 Papieren zur Begutachtung eingereicht worden seien.Ich habe bisher noch keine einzige positive Rezension gesehen, entweder sind die Gutachter sehr streng geworden oder die Qualität der Arbeit hat nachgelassen?
In diesem Jahr erhielt NeurIPS viele „Recycling“-Papiere.Ein anderer KI-Forscher sagte auch, dass entweder die Qualität der Arbeit nachgelassen hat oder ich der Rezensent Nr. 2 bin, den jeder hasst.In den von ihm rezensierten Arbeiten vergab er grundsätzlich 2-4 Punkte.Ein anderer Rezensent sagte: „In den 62 Arbeiten, für die ich verantwortlich war, lag die durchschnittliche Punktzahl bei 4,3 Punkten und die Standardabweichung bei 1. Wenn Sie also zunächst eine niedrige Punktzahl erhalten, lassen Sie sich nicht entmutigen!“Es ist ersichtlich, dass sich die Autoren der Artikel auf dieser NeurIPS-Konferenz sehr unwohl fühlen und es nicht einfach ist, eine hohe Punktzahl zu erzielen.Große Modelle nehmen an der Überprüfung teil
Und nachdem KI populär wurde, wurden auch große Modelle für die Begutachtung von Papieren verwendet.Diesmal ist NeurIPS 2024 keine Ausnahme.Ein Reddit-Benutzer kommentierte, dass er einen Monat damit verbracht habe, sechs Arbeiten zu prüfen, und dass er wirklich verletzt war, als er sah, dass er eine LLM-Bewertung erhalten hatte.Andere wiesen darauf hin, dass sie unter den von ihnen überprüften Artikeln mindestens drei von großen Modellen erstellte Rezensionsmeinungen gefunden hätten, und dass es wahrscheinlich noch mehr seien, die offensichtlich direkt aus der ChatGPT-Ausgabe kopiert und eingefügt wurden, ohne den Artikel überhaupt zu lesen.Alle diese Rezensenten gaben dem Produkt eine 6, während das Vertrauen eine 4 erhielt, was völlig im Widerspruch zu den Bewertungen aller anderen steht.Einige Internetnutzer kommentierten: „Die Qualität der Papierrezensionen ist sehr schlecht.“Ein Gutachter verwechselte die Grundlinie unserer Methode, und ein anderer Gutachter verwechselte die Ableitung der Grundlinie (wie in unserer Arbeit kritisiert) mit der Ableitung unserer Methode. Ich vermute, dass einige Kommentare von LLM generiert werden.Warum ist diese Jury so beschäftigt?
Jemand wies darauf hin, dass dies ein Problem des offiziellen Organisationskomitees von NeurIPS sei.Für die NeurIPS-Rezension ist die Beschreibung von 6 Punkten völlig, völlig und bizarr falsch.Normalerweise bedeutet eine Punktzahl von 6 eine Ablehnung. Aber es wird als Papier mit mittlerer bis hoher Wirkung und ohne Probleme beschrieben?Kein Wunder, dass der neue Rezensent ihm eine so niedrige Bewertung gegeben hat!
In den NeurIPS-Bewertungsregeln wird eine Einführung von 6 Punkten vergeben – Weak Accept.Technisch solide, mittel- bis hochwirksame Arbeiten ohne größere Probleme hinsichtlich Bewertung, Ressourcen, Reproduzierbarkeit und ethischen Überlegungen.Im Juni dieses Jahres teilte ein NeurIPS AC viele weitere Informationen über den Top-Konferenzrückblick mit:Der Stapel, für den er verantwortlich ist, umfasst 13 Einreichungen, und allen Arbeiten wurden automatisch vier Gutachter zugewiesen.Interessanterweise sind 50 % der Gutachter Doktoranden und mehrere Master- und Bachelor-Studierende sind ebenfalls Gutachter.Bei 5 der 13 Arbeiten hatte keiner der Gutachter eine höhere Position als ein Doktorand inne.Zu den für dieses AC verantwortlichen Gutachtern zählen drei ordentliche Professoren, ein außerordentlicher Professor, vier Assistenzprofessoren, neun Branchenexperten und zwei Mitarbeiter nationaler Laboratorien. Der Rest sind Postdoktoranden/Forscher, Doktoranden, Masterstudenten und Bachelorstudenten.Was halten Sie von der diesjährigen NeurIPS-Rezension?
