Τα αποτελέσματα της αναθεώρησης NeurIPS24 επικρίθηκαν από ολόκληρο το Διαδίκτυο, ανησυχώντας τον LeCun! Ο κριτής έδωσε χαμηλή βαθμολογία και υποβάθμισε σοβαρά τη συμβολή της εργασίας.
2024-08-10
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
[Εισαγωγή στη Νέα Σοφία]Μόλις βγήκαν τα αποτελέσματα της ανασκόπησης του NeurIPS 2024, έγινε η περιοχή που επλήγη περισσότερο για παράπονα σε ολόκληρο το δίκτυο.
Κάθε χρόνο στο κορυφαίο διεθνές συνέδριο στον τομέα της AI, αναπόφευκτα συμβαίνουν «μεγάλα γεγονότα».
Πριν από λίγο καιρό, τελικά κυκλοφόρησαν τα αποτελέσματα της ανασκόπησης χαρτιού NeurIPS 2024 και οι χρήστες του Διαδικτύου άρχισαν να «μαζεύονται σε ομάδες» και έγιναν καβγάδες.Αυτή τη στιγμή, κάποιοι χρήστες του Διαδικτύου έδωσαν την είδηση:"Μερικοί κριτές υποτιμούν σοβαρά τη συμβολή της εργασίας, χρησιμοποιούν παράλογα πρότυπα για να κρίνουν και ακόμη και αγνοούν την πραγματική βελτίωση της εργασίας σε σύγκριση με άλλες εργασίες."
Πιστεύει ότι αυτός μπορεί να είναι ο συγγραφέας ενός ανταγωνιστικού προϊόντος που έκανε μια ανέντιμη κριτική αφού το ανακάλυψε.Ακόμα και το αφεντικό LeCun ήρθε να παρακολουθήσει και αμέσως προώθησε τη δημοσίευση.Ως Πρόεδρος Περιοχής, λέω στους συγγραφείς: Εάν συμβεί αυτό σε εσάς, επικοινωνήστε με το Πρόεδρο Περιοχής (AC).Ως συγγραφέας, θέλω να ρωτήσω: Πώς επικαλείτε σωστά αυτή τη συμπεριφορά και βρίσκετε την ισορροπία μεταξύ της νόμιμης κριτικής και της υπερβολικής φύλαξης;
Ένας άλλος χρήστης του Διαδικτύου δημοσίευσε ένα κλασικό σχόλιο από έναν κριτικό NeurIPS: Αυτή η λύση δεν είναι νέα και έχει μελετηθεί εκτενώς.Φέτος, είναι η 38η ετήσια συνάντηση της NeurIPS, η οποία θα πραγματοποιηθεί στο Βανκούβερ από τις 9 έως τις 15 Δεκεμβρίου.Σύμφωνα με στατιστικά στοιχεία που έχει συλλέξει το Paper Copilot, μέχρι στιγμής, η μέση κατανομή βαθμολογίας είναι κυρίως μεταξύ 3-6 πόντων.Αν το χαρτί πάρει χαμηλή βαθμολογία, ποιος φταίει;Το χαρτί NeurIPS πήρε χαμηλή βαθμολογία;
Ένας αναπληρωτής καθηγητής από το UT Austin, ο οποίος είναι επίσης ένας από τους Area Chairs (AC) αυτού του κορυφαίου συνεδρίου του NeurIPS, εξήγησε το φαινόμενο που είδε.Είπε ότι μεταξύ της παρτίδας των εγγράφων για τις οποίες ήταν υπεύθυνος, 16 από τα 48 έγγραφα είχαν υποβληθεί για έλεγχο.Δεν έχω δει ούτε μία θετική κριτική μέχρι στιγμής, είτε οι κριτές έχουν γίνει πολύ αυστηροί είτε έχει πέσει η ποιότητα της εργασίας;
Φέτος, η NeurIPS έλαβε πολλά χαρτιά «ανακύκλωσης».Ένας άλλος ερευνητής τεχνητής νοημοσύνης είπε επίσης ότι είτε η ποιότητα της εργασίας έχει πέσει, είτε είμαι ο Νο. 2 κριτής που μισούν όλοι.Στα χαρτιά που έκανε ανασκόπηση έδωσε βασικά 2-4 βαθμούς.Ένας άλλος κριτής είπε: "Στην παρτίδα των 62 άρθρων για τις οποίες ήμουν υπεύθυνος, ο μέσος όρος βαθμολογίας ήταν 4,3 βαθμοί και η τυπική απόκλιση ήταν 1. Επομένως, εάν λάβετε χαμηλή βαθμολογία αρχικά, μην αποθαρρύνεστε!"Μπορεί να φανεί ότι οι συγγραφείς των εργασιών σε αυτό το συνέδριο NeurIPS αισθάνονται πολύ άβολα και δεν είναι εύκολο να πάρεις υψηλές βαθμολογίες.Στην αναθεώρηση συμμετέχουν μεγάλα μοντέλα
Και αφού η τεχνητή νοημοσύνη έγινε δημοφιλής, μεγάλα μοντέλα χρησιμοποιήθηκαν επίσης για αναθεώρηση χαρτιού.Αυτή τη φορά, το NeurIPS 2024 δεν αποτελεί εξαίρεση.Ένας χρήστης του Reddit σχολίασε ότι πέρασε ένα μήνα εξετάζοντας 6 έγγραφα και πληγώθηκε πολύ όταν είδε ότι έλαβε μια αξιολόγηση LLM.Άλλοι επεσήμαναν ότι μεταξύ των άρθρων που εξέτασαν, βρήκαν τουλάχιστον τρεις απόψεις αναθεώρησης που δημιουργήθηκαν από μεγάλα μοντέλα και πιθανώς υπάρχουν περισσότερες τρεις από αυτές προφανώς επικολλήθηκαν με αντιγραφή ChatGPT χωρίς να διαβάσουν καθόλου την εργασία.Όλοι αυτοί οι αναθεωρητές του έδωσαν 6, δίνοντας στο Confidence ένα 4, εντελώς ασυνεπές με τις αξιολογήσεις όλων των άλλων.Μερικοί χρήστες του Διαδικτύου σχολίασαν: "Η ποιότητα των κριτικών χαρτιού είναι πολύ χαμηλή."Ένας αναθεωρητής μπέρδεψε τη γραμμή βάσης της μεθόδου μας και ένας άλλος αναθεωρητής μπέρδεψε την παραγωγή της γραμμής βάσης (όπως επικρίθηκε στην εργασία μας) με την παραγωγή της μεθόδου μας. Υποψιάζομαι ότι ορισμένα σχόλια δημιουργούνται από το LLM.Γιατί αυτή η κριτική επιτροπή είναι τόσο απασχολημένη;
Κάποιος επεσήμανε ότι αυτό είναι πρόβλημα της επίσημης οργανωτικής επιτροπής του NeurIPS.Για την ανασκόπηση του NeurIPS, η περιγραφή των 6 σημείων είναι εντελώς, εντελώς και παράξενα λανθασμένη.Κανονικά, η βαθμολογία 6 σημαίνει απόρριψη. Αλλά περιγράφεται ως ένα χαρτί μέτριας έως υψηλής πρόσκρουσης χωρίς προβλήματα;Δεν είναι περίεργο που ο νέος κριτής του έδωσε τόσο χαμηλή βαθμολογία!
Στους κανόνες βαθμολόγησης NeurIPS, δίνεται εισαγωγή 6 πόντων - Αδύναμη Αποδοχή.Τεχνικά συμπαγή έγγραφα, μέτριας έως υψηλού αντίκτυπου χωρίς σημαντικά ζητήματα με την αξιολόγηση, τους πόρους, την αναπαραγωγιμότητα, τις ηθικές εκτιμήσεις.Τον Ιούνιο του τρέχοντος έτους, ένα NeurIPS AC μοιράστηκε πολλές περισσότερες πληροφορίες σχετικά με την κορυφαία κριτική του συνεδρίου:Υπάρχουν 13 υποβολές στη δέσμη για την οποία είναι υπεύθυνος και σε όλες τις εργασίες έχουν ανατεθεί αυτόματα τέσσερις κριτές.Είναι ενδιαφέρον ότι το 50% των κριτών είναι διδακτορικοί φοιτητές και αρκετοί μεταπτυχιακοί και προπτυχιακοί φοιτητές είναι επίσης κριτές.Σε 5 από τις 13 εργασίες, κανένας από τους κριτές δεν κατείχε υψηλότερη θέση από έναν υποψήφιο διδάκτορα.Μεταξύ όλων των κριτών που είναι υπεύθυνοι για αυτό το AC, υπάρχουν 3 τακτικοί καθηγητές, 1 αναπληρωτής καθηγητής, 4 επίκουροι καθηγητές, 9 επαγγελματίες του κλάδου και 2 προσωπικό από εθνικά εργαστήρια. Οι υπόλοιποι είναι μεταδιδακτορικοί/ερευνητικοί επιστήμονες, διδακτορικοί φοιτητές, μεταπτυχιακοί φοιτητές και προπτυχιακοί φοιτητές.Ποια είναι η γνώμη σας για τη φετινή αναθεώρηση του NeurIPS;
