Os resultados da análise do NeurIPS24 foram criticados por toda a Internet, alarmando LeCun! O revisor deu nota baixa e menosprezou seriamente a contribuição do artigo.
2024-08-10
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Novo Relatório de Sabedoria
[Introdução à Nova Sabedoria]Assim que os resultados da revisão do NeurIPS 2024 foram divulgados, esta se tornou a área mais atingida por reclamações em toda a rede.
Todos os anos, na principal conferência internacional na área de IA, acontecem inevitavelmente "grandes eventos".
Há algum tempo, os resultados da revisão do artigo NeurIPS 2024 foram finalmente divulgados e os internautas começaram a "se reunir em grupos" e tornaram-se briguentos.Neste momento, alguns internautas deram a notícia:"Alguns revisores menosprezam seriamente a contribuição do artigo, usam padrões irracionais para julgar e até ignoram a melhoria real do artigo em comparação com outros trabalhos."
Ele acredita que este pode ser o autor de um produto concorrente que fez uma avaliação desonesta após descobri-lo.Até o chefe LeCun veio assistir e imediatamente encaminhou a postagem.Como Presidente de Área, digo aos autores: Se isso acontecer com você, entre em contato com o Presidente de Área (AC).Como autor, quero perguntar: como denunciar adequadamente esse comportamento e encontrar o equilíbrio entre a crítica legítima e a cautela excessiva?
Outro internauta postou um comentário clássico de um revisor do NeurIPS: Esta solução não é nova e foi extensivamente estudada.Este ano, é o 38º encontro anual do NeurIPS, que será realizado em Vancouver, de 9 a 15 de dezembro.De acordo com estatísticas recolhidas pelo Paper Copilot, até agora, a distribuição da pontuação média está principalmente entre 3-6 pontos.Se o artigo obtiver uma pontuação baixa, de quem é a culpa?O artigo NeurIPS obteve uma pontuação baixa?
Um professor associado da UT Austin, que também é um dos Area Chairs (AC) desta importante conferência do NeurIPS, explicou o fenômeno que viu.Ele disse que entre o lote de artigos pelos quais era responsável, 16 dos 48 artigos foram submetidos para análise.Não vi uma única crítica positiva até agora. Ou os revisores ficaram muito rigorosos ou a qualidade do artigo caiu?
Este ano, o NeurIPS recebeu muitos papéis de “reciclagem”.Outro pesquisador de IA também disse que ou a qualidade do artigo diminuiu ou eu sou o segundo revisor que todo mundo odeia.Nos artigos que revisou, ele deu basicamente de 2 a 4 pontos.Outro revisor disse: "No lote de 62 artigos pelos quais fui responsável, a pontuação média foi de 4,3 pontos e o desvio padrão foi de 1. Portanto, se você obtiver uma pontuação baixa inicialmente, não desanime!"Percebe-se que os autores dos artigos desta conferência NeurIPS estão muito incomodados e não é fácil obter pontuações altas.Grandes modelos participam da revisão
E depois que a IA se tornou popular, modelos grandes também foram usados para revisão de artigos.Desta vez, o NeurIPS 2024 não é exceção.Um usuário do Reddit comentou que passou um mês revisando 6 artigos e ficou muito magoado quando viu que recebeu uma avaliação de LLM.Outros apontaram que entre os artigos que revisaram, encontraram pelo menos três opiniões de revisão geradas por grandes modelos, e provavelmente há mais de três deles que foram obviamente copiados e colados do ChatGPT sem ler o artigo.Todos esses revisores deram nota 6, dando ao Confidence nota 4, completamente inconsistente com as avaliações de todos os outros.Alguns internautas comentaram: “A qualidade das revisões de artigos é muito baixa”.Um revisor confundiu a linha de base do nosso método, e outro revisor confundiu a derivação da linha de base (conforme criticado em nosso trabalho) com a derivação do nosso método. Suspeito que alguns comentários sejam gerados pelo LLM.Por que este painel de jurados está tão ocupado?
Alguém destacou que este é um problema do comitê organizador oficial do NeurIPS.Para a revisão do NeurIPS, a descrição de 6 pontos está completa, total e bizarramente errada.Normalmente, uma pontuação de 6 significa rejeição. Mas é descrito como um artigo de impacto moderado a alto, sem problemas?Não admira que o novo revisor tenha dado uma pontuação tão baixa!
Nas regras de pontuação do NeurIPS, é dada uma introdução de 6 pontos - Aceitação Fraca.Artigos tecnicamente sólidos, de impacto moderado a alto, sem grandes problemas de avaliação, recursos, reprodutibilidade e considerações éticas.Em junho deste ano, um NeurIPS AC compartilhou muito mais informações sobre a principal análise da conferência:São 13 submissões no lote pelo qual ele é responsável, e todos os artigos foram automaticamente atribuídos a quatro revisores.Curiosamente, 50% dos revisores são estudantes de doutorado, e vários estudantes de mestrado e graduação também são revisores.Em 5 dos 13 artigos, nenhum dos revisores ocupou posição superior à de um doutorando.Dentre todos os revisores responsáveis por este AC, há 3 professores titulares, 1 professor associado, 4 professores auxiliares, 9 profissionais da indústria e 2 funcionários de laboratórios nacionais. O restante são cientistas de pós-doutorado/pesquisadores, estudantes de doutorado, estudantes de mestrado e estudantes de graduação.O que você acha da revisão do NeurIPS deste ano?
