NeurIPS24 のレビュー結果はインターネット全体で批判され、LeCun は憂慮しました。査読者は低いスコアを付け、論文の貢献を著しく軽視しました。
2024-08-10
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
【新しい知恵の紹介】NeurIPS 2024 のレビュー結果が発表されるとすぐに、ネットワーク全体で苦情が最も多く寄せられる分野となりました。
AI分野のトップ国際会議では毎年必ず「ビッグイベント」が起こる。
少し前に、NeurIPS 2024の論文審査の結果がついに発表され、ネチズンは「グループに集まり」始め、口論になりました。「一部の査読者は論文の貢献を著しく軽視し、不合理な基準を用いて判断し、他の論文と比較して実際の論文の改善を無視することさえあります。」
彼は、これは競合製品の作成者であることを発見し、不正なレビューを行った可能性があると考えています。上司のルカン氏も見に来て、すぐに投稿を転送してくれました。エリアチェアとして、私は著者に次のように言います。このようなことが起こった場合は、エリアチェア（AC）に連絡してください。著者として私は尋ねたいと思います。どのようにしてこの行動を適切に非難し、正当な批判と過剰な警戒の間のバランスを見つけることができますか?
別のネチズンは、NeurIPS レビュー担当者からの典型的なコメントを投稿しました: このソリューションは新しいものではなく、広範囲に研究されています。今年で 38 回目となる NeurIPS 年次総会は、12 月 9 日から 15 日までバンクーバーで開催されます。Paper Copilot が収集した統計によると、これまでのところ、平均スコア分布は主に 3 ～ 6 点の間です。論文のスコアが低い場合、それは誰のせいでしょうか?
NeurIPS のこのトップカンファレンスのエリアチェア (AC) の一人でもあるテキサス大学オースティン校の准教授は、彼が見た現象について説明しました。彼は、自分が担当した一連の論文のうち、48 件の論文のうち 16 件が審査のために提出されたと述べた。今のところ肯定的なレビューを一つも見たことがありません。査読者が非常に厳しくなったのか、それとも論文の質が低下したのかどちらでしょうか？
今年、NeurIPS は多くの「リサイクル」論文を受け取りました。別のAI研究者も、論文の質が低下したか、私がみんなから嫌われている第2位の査読者であるかのどちらかだと言いました。彼がレビューした論文では、基本的に 2 ～ 4 点を与えました。別の査読者は、「私が担当した 62 件の論文の平均スコアは 4.3 点、標準偏差は 1 でした。ですから、最初にスコアが低くても落ち込まないでください。」と言いました。今回の NeurIPS カンファレンスの論文著者は非常に不快感を抱いており、高得点を獲得するのは容易ではないことがわかります。大型モデルもレビューに参加
そしてAIが普及してからは論文レビューにも大きなモデルが使われるようになりました。今回のNeurIPS 2024も例外ではありません。Redditユーザーは、1か月かけて6本の論文をレビューしたが、LLM評価を受けたのを見て本当に傷ついたとコメントした。他の人は、彼らがレビューした論文の中に、大規模なモデルによって生成されたレビュー意見が少なくとも 3 つあり、そのうちの 3 つは明らかに論文をまったく読まずにコピー＆ペーストされた ChatGPT 出力であると指摘しました。これらのレビュー担当者は全員 6 を付け、信頼度には 4 を与え、他の全員の評価と完全に一致しませんでした。一部のネチズンは「論文レビューの質が非常に低い」とコメントした。ある査読者は私たちの手法のベースラインを混同し、別の査読者は（私たちの研究で批判されているように）ベースラインの導出とメソッドの導出を混同しました。いくつかのコメントは LLM によって生成されていると思われます。
これはNeurIPS公式組織委員会の問題ではないかとの指摘もあった。NeurIPS のレビューに関して、6 つのポイントの説明は完全に、完全に、そして奇妙なほど間違っています。通常、スコア 6 は拒否を意味します。しかし、問題はなく、中程度から強い影響を与える紙として説明されていますか?新しい査読者がこれほど低いスコアを付けたのも不思議ではありません。
NeurIPS スコアリング ルールでは、6 ポイントの導入 (Weak Accept) が与えられます。技術的に堅実で、評価、リソース、再現性、倫理的考慮事項に大きな問題がない、中程度から高影響のある論文。今年 6 月、NeurIPS AC は、トップカンファレンスのレビューに関するさらに多くの情報を共有しました。彼が担当するバッチには 13 件の投稿があり、すべての論文には 4 人の査読者が自動的に割り当てられています。興味深いことに、査読者の 50% は博士課程の学生であり、修士課程および学部生の数名も査読者です。13 件の論文のうち 5 件では、博士候補者よりも高い地位にある査読者はいませんでした。この AC を担当するすべての審査員の中には、正教授 3 名、准教授 1 名、助教授 4 名、業界専門家 9 名、および国立研究所の職員 2 名が含まれています。残りはポスドク/研究員、博士課程の学生、修士課程の学生、学部生です。今年の NeurIPS レビューについてどう思いますか?
