Les résultats de l'analyse NeurIPS24 ont été critiqués par l'ensemble d'Internet, alarmant LeCun ! Le critique a attribué une note faible et a sérieusement minimisé la contribution de l'article.
2024-08-10
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Nouveau rapport de sagesse
[Introduction à la nouvelle sagesse]Dès la publication des résultats de l’examen NeurIPS 2024, il est devenu le domaine le plus durement touché par les plaintes sur l’ensemble du réseau.
Chaque année, lors de la plus grande conférence internationale dans le domaine de l'IA, des « grands événements » se produisent inévitablement.
Il y a quelque temps, les résultats de l'examen des articles NeurIPS 2024 ont finalement été publiés et les internautes ont commencé à « se rassembler en groupes » et à se quereller.A cette époque, certains internautes ont annoncé la nouvelle :"Certains critiques minimisent sérieusement la contribution de l'article, utilisent des normes déraisonnables pour juger et ignorent même l'amélioration réelle de l'article par rapport à d'autres travaux."
Il pense qu'il s'agit peut-être de l'auteur d'un produit concurrent qui a fait une critique malhonnête après l'avoir découvert.Même le patron LeCun est venu voir et a immédiatement transmis le message.En tant que président de secteur, je dis aux auteurs : si cela vous arrive, veuillez contacter le président de secteur (AC).En tant qu'auteur, je voudrais demander : comment dénoncer de manière appropriée ce comportement et trouver l'équilibre entre une critique légitime et une garde excessive ?
Un autre internaute a posté un commentaire classique d'un critique de NeurIPS : Cette solution n'est pas nouvelle et a été largement étudiée.Cette année, c'est la 38e réunion annuelle de NeurIPS, qui se tiendra à Vancouver du 9 au 15 décembre.Selon les statistiques recueillies par Paper Copilot, jusqu'à présent, la répartition moyenne des scores se situe généralement entre 3 et 6 points.Si le journal obtient une note faible, à qui la faute ?L'article NeurIPS a obtenu un faible score ?
Un professeur agrégé de l'UT Austin, qui est également l'un des Area Chairs (AC) de cette conférence majeure de NeurIPS, a expliqué le phénomène qu'il a observé.Il a déclaré que parmi le lot d'articles dont il était responsable, 16 des 48 articles avaient été soumis pour examen.Je n'ai pas vu une seule critique positive jusqu'à présent, soit les évaluateurs sont devenus très stricts, soit la qualité de l'article a baissé ?
Cette année, NeurIPS a reçu de nombreux papiers « recyclage ».Un autre chercheur en IA a également déclaré que soit la qualité de l'article avait diminué, soit je suis le critique n°2 que tout le monde déteste.Dans les articles qu’il a examinés, il a essentiellement donné 2 à 4 points.Un autre critique a déclaré : « Dans le lot de 62 articles dont j'étais responsable, la note moyenne était de 4,3 points et l'écart type était de 1. Donc si vous obtenez une note faible au départ, ne vous découragez pas !On voit que les auteurs des articles de cette conférence NeurIPS sont très mal à l'aise et qu'il n'est pas facile d'obtenir des scores élevés.Les grands modèles participent à la revue
Et après que l’IA soit devenue populaire, de grands modèles ont également été utilisés pour l’examen papier.Cette fois, NeurIPS 2024 ne fait pas exception.Un utilisateur de Reddit a commenté qu'il avait passé un mois à réviser 6 articles et qu'il avait été vraiment blessé lorsqu'il a vu qu'il avait reçu une évaluation LLM.D'autres ont souligné que parmi les articles qu'ils ont examinés, ils ont trouvé au moins trois avis générés par de grands modèles, et il y en a probablement plus. Trois d'entre eux étaient évidemment des résultats de ChatGPT copiés sans avoir lu l'article du tout.Ces critiques lui ont tous attribué une note de 6, ce qui donne à la confiance un 4, ce qui est totalement incompatible avec les notes des autres.Certains internautes ont commenté : « La qualité des critiques papier est très faible. »Un critique a confondu la ligne de base de notre méthode, et un autre critique a confondu la dérivation de la ligne de base (telle que critiquée dans notre travail) avec la dérivation de notre méthode. Je soupçonne que certains commentaires sont générés par LLM.Pourquoi ce jury est-il si occupé ?
Quelqu'un a souligné qu'il s'agissait d'un problème du comité d'organisation officiel de NeurIPS.Pour la revue NeurIPS, la description de 6 points est complètement, totalement et bizarrement fausse.Normalement, un score de 6 signifie un rejet. Mais il est décrit comme un papier à impact modéré à élevé ne présentant aucun problème ?Pas étonnant que le nouveau critique lui ait donné une note si basse !
Dans les règles de notation NeurIPS, une introduction de 6 points est donnée - Faible Acceptation.Articles techniquement solides, à impact modéré à élevé, sans problèmes majeurs d'évaluation, de ressources, de reproductibilité et de considérations éthiques.En juin de cette année, un AC NeurIPS a partagé beaucoup plus d'informations sur la principale revue de la conférence :Il y a 13 soumissions dans le lot dont il est responsable, et quatre évaluateurs ont automatiquement été attribués à tous les articles.Il est intéressant de noter que 50 % des évaluateurs sont des étudiants au doctorat, et plusieurs étudiants à la maîtrise et au premier cycle sont également évaluateurs.Dans 5 des 13 articles, aucun des évaluateurs n'occupait un poste plus élevé que celui d'un doctorant.Parmi tous les évaluateurs responsables de cette AC, il y a 3 professeurs titulaires, 1 professeur agrégé, 4 professeurs assistants, 9 professionnels de l'industrie et 2 personnels de laboratoires nationaux. Les autres sont des scientifiques postdoctoraux/chercheurs, des doctorants, des étudiants à la maîtrise et des étudiants de premier cycle.Que pensez-vous de la revue NeurIPS de cette année ?
