Los resultados de la revisión de NeurIPS24 fueron criticados por todo Internet, ¡lo que alarmó a LeCun! El revisor dio una puntuación baja y menospreció seriamente la contribución del artículo.
2024-08-10
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Nuevo informe de sabiduría
[Introducción a la Nueva Sabiduría]Tan pronto como se publicaron los resultados de la revisión de NeurIPS 2024, se convirtió en el área más afectada por las quejas en toda la red.
Cada año, en la principal conferencia internacional en el campo de la IA, inevitablemente ocurren "grandes eventos".
Hace algún tiempo, finalmente se publicaron los resultados de la revisión del artículo NeurIPS 2024 y los internautas comenzaron a "reunirse en grupos" y volverse pendencieros.En ese momento, algunos internautas dieron la noticia:"Algunos revisores menosprecian seriamente la contribución del artículo, utilizan estándares irrazonables para juzgar e incluso ignoran la mejora real del artículo en comparación con otros trabajos".
Cree que puede ser el autor de un producto de la competencia que hizo una reseña deshonesta después de descubrirlo.Incluso el jefe LeCun vino a mirar e inmediatamente envió la publicación.Como Coordinador de Área, les digo a los autores: Si esto le sucede, comuníquese con el Coordinador de Área (AC).Como autor, quiero preguntar: ¿Cómo denunciar adecuadamente este comportamiento y encontrar el equilibrio entre la crítica legítima y la vigilancia excesiva?
Otro internauta publicó un comentario clásico de un crítico de NeurIPS: Esta solución no es nueva y ha sido ampliamente estudiada.Este año se trata de la 38ª reunión anual de NeurIPS, que se celebrará en Vancouver del 9 al 15 de diciembre.Según las estadísticas recopiladas por Paper Copilot, hasta ahora, la distribución de la puntuación media se sitúa principalmente entre 3 y 6 puntos.Si el periódico obtiene una puntuación baja, ¿de quién es la culpa?¿El artículo NeurIPS obtuvo una puntuación baja?
Un profesor asociado de UT Austin, que también es uno de los presidentes de área (AC) de esta importante conferencia de NeurIPS, explicó el fenómeno que vio.Dijo que entre el lote de artículos del que era responsable, 16 de 48 artículos habían sido enviados para revisión.No he visto ni una sola reseña positiva hasta ahora. ¿O los revisores se han vuelto muy estrictos o la calidad del artículo ha disminuido?
Este año NeurIPS recibió muchos papeles de "reciclaje".Otro investigador de IA también dijo que o la calidad del artículo ha disminuido o soy el revisor número 2 que todos odian.En los artículos que revisó, básicamente dio entre 2 y 4 puntos.Otro crítico dijo: "En el lote de 62 artículos de los que fui responsable, la puntuación promedio fue de 4,3 puntos y la desviación estándar fue de 1. Así que si obtienes una puntuación baja inicialmente, ¡no te desanimes!".Se puede ver que los autores de los artículos en esta conferencia de NeurIPS se sienten muy incómodos y no es fácil obtener puntuaciones altas.Modelos grandes participan en la revisión.
Y después de que la IA se hiciera popular, también se utilizaron modelos grandes para la revisión de artículos.Esta vez, NeurIPS 2024 no es una excepción.Un usuario de Reddit comentó que pasó un mes revisando 6 artículos y se sintió realmente herido cuando vio que recibió una evaluación de LLM.Otros señalaron que entre los artículos que revisaron, encontraron al menos tres opiniones de revisión generadas por modelos grandes, y probablemente hay más. Tres de ellos obviamente fueron copiados y pegados de ChatGPT sin leer el artículo en absoluto.Todos estos revisores le dieron un 6, y a Confianza un 4, completamente inconsistente con las calificaciones de los demás.Algunos internautas comentaron: "La calidad de las reseñas de los artículos es muy baja".Un revisor confundió la línea base de nuestro método y otro revisor confundió la derivación de la línea base (como se critica en nuestro trabajo) con la derivación de nuestro método. Sospecho que LLM genera algunos comentarios.¿Por qué está tan ocupado este panel de jueces?
Alguien señaló que esto es un problema del comité organizador oficial de NeurIPS.Para la revisión de NeurIPS, la descripción de 6 puntos es total, total y extrañamente incorrecta.Normalmente, una puntuación de 6 significa rechazo. ¿Pero se describe como un documento de impacto moderado a alto sin problemas?¡No es de extrañar que el nuevo crítico le haya dado una puntuación tan baja!
En las reglas de puntuación de NeurIPS, se otorga una introducción de 6 puntos: aceptación débil.Artículos técnicamente sólidos, de impacto moderado a alto, sin problemas importantes de evaluación, recursos, reproducibilidad y consideraciones éticas.En junio de este año, NeurIPS AC compartió mucha más información sobre la revisión de la conferencia principal:Hay 13 envíos en el lote del que es responsable y a todos los artículos se les han asignado automáticamente cuatro revisores.Curiosamente, el 50% de los revisores son estudiantes de doctorado, y varios estudiantes de maestría y pregrado también son revisores.En 5 de los 13 artículos, ninguno de los revisores ocupaba un puesto superior al de un candidato a doctorado.Entre todos los revisores responsables de esta CA se encuentran 3 profesores titulares, 1 profesor asociado, 4 profesores asistentes, 9 profesionales de la industria y 2 personal de laboratorios nacionales. El resto son científicos postdoctorales/investigadores, estudiantes de doctorado, estudiantes de maestría y estudiantes de pregrado.¿Qué opinas de la revisión de NeurIPS de este año?
