Hasil tinjauan NeurIPS24 dikritik oleh seluruh Internet, membuat LeCun khawatir! Pengulas memberi nilai rendah dan sangat meremehkan kontribusi makalah ini.
2024-08-10
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Laporan Kebijaksanaan Baru
[Pengantar Kebijaksanaan Baru]Segera setelah hasil tinjauan NeurIPS 2024 keluar, ini menjadi area pengaduan yang paling terpukul di seluruh jaringan.
Setiap tahun pada konferensi internasional terkemuka di bidang AI, "peristiwa besar" pasti terjadi.
Beberapa waktu lalu, hasil review makalah NeurIPS 2024 akhirnya dirilis, dan netizen mulai “berkumpul” dan bertengkar.Kali ini, beberapa netizen menyampaikan kabar:"Beberapa pengulas secara serius meremehkan kontribusi makalah ini, menggunakan standar yang tidak masuk akal untuk menilai, dan bahkan mengabaikan peningkatan sebenarnya dari makalah ini dibandingkan dengan karya lain."
Dia yakin bahwa ini mungkin penulis produk pesaing yang membuat ulasan tidak jujur setelah menemukannya.Bahkan bos LeCun datang menonton dan langsung meneruskan postingan tersebut.Sebagai Ketua Area, saya memberitahu penulis: Jika hal ini terjadi pada Anda, harap menghubungi Ketua Area (AC).Sebagai seorang penulis, saya ingin bertanya: Bagaimana Anda dengan tepat menyebut perilaku ini dan menemukan keseimbangan antara kritik yang sah dan sikap menjaga yang berlebihan?
Netizen lain memposting komentar klasik dari pengulas NeurIPS: Solusi ini bukanlah hal baru dan telah dipelajari secara ekstensif.Tahun ini, ini adalah pertemuan tahunan NeurIPS ke-38, yang akan diadakan di Vancouver dari tanggal 9 hingga 15 Desember.Berdasarkan statistik yang dihimpun Paper Copilot, sejauh ini rata-rata distribusi skor sebagian besar berkisar antara 3-6 poin.Kalau makalahnya mendapat nilai rendah, salah siapa?Makalah NeurIPS mendapat nilai rendah?
Seorang profesor dari UT Austin, yang juga merupakan salah satu Ketua Area (AC) konferensi terkemuka NeurIPS ini, menjelaskan fenomena yang dilihatnya.Ia mengatakan, di antara kumpulan makalah yang menjadi tanggung jawabnya, 16 dari 48 makalah telah diserahkan untuk ditinjau.Saya belum melihat satu pun ulasan positif sejauh ini, apakah pengulas menjadi sangat ketat atau kualitas makalahnya menurun?
Tahun ini, NeurIPS menerima banyak makalah "daur ulang".Peneliti AI lainnya juga mengatakan bahwa kualitas makalahnya menurun, atau saya adalah pengulas No. 2 yang dibenci semua orang.Di makalah yang diulasnya, pada dasarnya dia memberi 2-4 poin.Pengulas lain mengatakan, "Dalam kumpulan 62 makalah yang menjadi tanggung jawab saya, skor rata-rata adalah 4,3 poin, dan deviasi standar adalah 1. Jadi, jika Anda mendapat skor rendah pada awalnya, jangan berkecil hati!"Terlihat bahwa penulis makalah pada konferensi NeurIPS ini merasa sangat tidak nyaman, dan tidak mudah untuk mendapatkan nilai yang tinggi.Model besar berpartisipasi dalam peninjauan
Dan setelah AI menjadi populer, model besar juga digunakan untuk tinjauan makalah.Kali ini, NeurIPS 2024 tidak terkecuali.Seorang pengguna Reddit berkomentar bahwa dia menghabiskan satu bulan untuk meninjau 6 makalah dan sangat terluka ketika dia melihat bahwa dia menerima evaluasi LLM.Yang lain menunjukkan bahwa di antara makalah yang mereka ulas, mereka menemukan setidaknya tiga opini ulasan yang dihasilkan oleh model besar, dan mungkin ada lebih banyak lagi.Semua pengulas ini memberi nilai 6, memberikan Confidence nilai 4, sama sekali tidak konsisten dengan penilaian orang lain.Beberapa netizen berkomentar, “Kualitas ulasan kertas sangat rendah.”Seorang pengulas mengacaukan garis dasar metode kami, dan pengulas lainnya mengacaukan derivasi garis dasar (seperti yang dikritik dalam pekerjaan kami) dengan derivasi metode kami. Saya menduga beberapa komentar dihasilkan oleh LLM.Mengapa panel juri ini begitu sibuk?
Seseorang menunjukkan bahwa ini adalah masalah panitia penyelenggara resmi NeurIPS.Untuk tinjauan NeurIPS, deskripsi 6 poin benar-benar salah.Biasanya, skor 6 berarti penolakan. Tapi apakah ini digambarkan sebagai makalah berdampak sedang hingga tinggi tanpa masalah?Tidak heran pengulas baru memberikan skor rendah!
Dalam aturan penilaian NeurIPS, pengenalan 6 poin diberikan - Penerimaan Lemah.Makalah yang secara teknis solid, berdampak sedang hingga tinggi tanpa masalah besar terkait evaluasi, sumber daya, reproduktifitas, dan pertimbangan etis.Pada bulan Juni tahun ini, NeurIPS AC membagikan lebih banyak informasi tentang tinjauan konferensi teratas:Ada 13 penyerahan dalam batch yang menjadi tanggung jawabnya, dan semua makalah secara otomatis ditugaskan empat reviewer.Menariknya, 50% reviewer adalah mahasiswa doktoral, dan beberapa mahasiswa magister dan sarjana juga merupakan reviewer.Pada 5 dari 13 makalah, tidak ada satupun reviewer yang menduduki posisi lebih tinggi dari kandidat doktor.Di antara seluruh reviewer yang bertanggung jawab atas AC ini, terdapat 3 profesor penuh, 1 profesor madya, 4 asisten profesor, 9 profesional industri, dan 2 personel dari laboratorium nasional. Sisanya adalah ilmuwan pascadoktoral/penelitian, mahasiswa doktoral, mahasiswa magister, dan mahasiswa sarjana.Apa pendapat Anda tentang ulasan NeurIPS tahun ini?
