Результаты обзора NeurIPS24 подверглись критике со стороны всего Интернета, встревожив Лекуна! Рецензент поставил низкую оценку и серьезно умалил вклад статьи.
2024-08-10
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
[Введение в новую мудрость]Как только стали известны результаты обзора NeurIPS 2024, он стал самой пострадавшей областью жалоб во всей сети.
Каждый год на ведущей международной конференции в области искусственного интеллекта неизбежно происходят «большие события».
Некоторое время назад результаты обзора статьи NeurIPS 2024 были наконец опубликованы, и пользователи сети начали «собираться в группы» и ссориться.В это время некоторые пользователи сети сообщили эту новость:«Некоторые рецензенты серьезно принижают вклад статьи, используют необоснованные стандарты для оценки и даже игнорируют фактическое улучшение статьи по сравнению с другими работами».
Он полагает, что это может быть автор конкурирующего продукта, который после его обнаружения оставил нечестный отзыв.Даже босс ЛеКун пришел посмотреть и сразу же переслал сообщение.Как председатель направления, я говорю авторам: если это произойдет с вами, пожалуйста, свяжитесь с председателем направления (AC).Как автор, я хочу спросить: как правильно обозначить такое поведение и найти баланс между законной критикой и чрезмерной настороженностью?
Другой пользователь сети опубликовал классический комментарий обозревателя NeurIPS: «Это решение не новое и было тщательно изучено.В этом году это 38-е ежегодное собрание NeurIPS, которое пройдет в Ванкувере с 9 по 15 декабря.Согласно статистике, собранной Paper Copilot, на данный момент среднее распределение баллов в основном находится в пределах 3-6 баллов.Если статья получит низкую оценку, чья в этом вина?Статья NeurIPS получила низкую оценку?
Доцент из Университета Техаса в Остине, который также является одним из региональных председателей (AC) этой ведущей конференции NeurIPS, объяснил явление, которое он увидел.Он сообщил, что из пакета документов, за который он отвечал, на рассмотрение поступило 16 из 48 работ.Я пока не увидел ни одного положительного отзыва, то ли рецензенты стали очень строгими, то ли качество статьи упало?
В этом году NeurIPS получила много «вторичных» бумаг.Другой исследователь ИИ также сказал, что либо качество статьи ухудшилось, либо я — рецензент № 2, которого все ненавидят.В рецензируемых им статьях он в основном давал 2-4 балла.Другой рецензент сказал: «В группе из 62 статей, за которые я отвечал, средний балл составил 4,3 балла, а стандартное отклонение — 1. Так что, если вы изначально получили низкий балл, не расстраивайтесь!»Видно, что авторам докладов на этой конференции NeurIPS очень некомфортно, и получить высокие баллы непросто.В обзоре участвуют крупные модели
А после того, как ИИ стал популярен, для обзора статей стали использовать и большие модели.На этот раз NeurIPS 2024 не стал исключением.Пользователь Reddit отметил, что он потратил месяц на просмотр 6 статей и был очень расстроен, когда увидел, что получил оценку LLM.Другие отметили, что среди просматриваемых ими статей они нашли как минимум три обзорных мнения, созданных большими моделями, и, вероятно, три из них были явно скопированы с помощью ChatGPT, даже не читая статью.Все эти рецензенты дали ему 6, а «Confidence» — 4, что совершенно не соответствует оценкам остальных.Некоторые пользователи сети прокомментировали: «Качество бумажных обзоров очень низкое».Один рецензент перепутал базовый уровень нашего метода, а другой рецензент перепутал вывод базового уровня (критикуемый в нашей работе) с выводом нашего метода. Я подозреваю, что некоторые комментарии созданы LLM.Почему судейская коллегия так занята?
Кто-то указал, что это проблема официального оргкомитета NeurIPS.В обзоре NeurIPS описание шести пунктов полностью, совершенно и странно неверно.Обычно оценка 6 означает отказ. Но это описывается как бумага от средней до высокой степени воздействия, без каких-либо проблем?Неудивительно, что новый рецензент поставил ему такую низкую оценку!
В правилах оценки NeurIPS дано введение в 6 баллов — Weak Accept.Технически надежные статьи, от умеренной до высокой степени воздействия, без серьезных проблем с оценкой, ресурсами, воспроизводимостью и этическими соображениями.В июне этого года NeurIPS AC поделился гораздо большей информацией о главном обзоре конференции:В пакете, за который он отвечает, 13 статей, и всем статьям автоматически назначаются четыре рецензента.Интересно, что 50% рецензентов являются докторантами, рецензентами также являются несколько магистрантов и студентов.В 5 из 13 статей ни один из рецензентов не занимал должность выше докторанта.Среди всех рецензентов, ответственных за этот AC, есть 3 профессора, 1 доцент, 4 доцента, 9 специалистов отрасли и 2 сотрудника национальных лабораторий. Остальные - это постдокторанты/ученые-исследователи, докторанты, магистранты и студенты бакалавриата.Что вы думаете об обзоре NeurIPS в этом году?
