Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Ο δυτικός άνεμος των ψαριών και των προβάτων πηγάζει από τον ναό Aofei
Qubits | Δημόσιος λογαριασμός QbitAI

Ο μεγάλος κύκλος των μοντέλων αποκάλυψε για άλλη μια φορά τη λογοκλοπή από την Dagua, αυτή τη φορά,Ο «κατηγορούμενος» εξακολουθεί να είναι ο διάσημος Google DeepMind。

Ο «ενάγων» ευθύς θυμωμένος φώναξε:Μόλις έπλυναν την τεχνική μας έκθεση！

ΕΙΔΙΚΑ:

Μια εργασία του Google DeepMind που έγινε αποδεκτή στο κορυφαίο συνέδριο νέας γενιάς CoLM 2024 απορρίφθηκε. Το είδος ανοιχτού κώδικα.

Και οι δύο εργασίες διερευνούν μια μέθοδο για την επισημοποίηση της δομής της δημιουργίας κειμένου μοντέλου.

Το αδιέξοδο είναι ότι το έγγραφο της Google DeepMind αναφέρει ξεκάθαρα το έγγραφο του "ενάγοντος".

Ωστόσο, ακόμη και αν υποδεικνύονται οι αναφορές, οι δύο συγγραφείς της εργασίας «ενάγοντα», ο Brandon T. Willard (Brandon) και ο R'emi Louf (Remy), εξακολουθούν να επιμένουν ότι η Google έκανε λογοκλοπή και πιστεύουν ότι:

Η περιγραφή της Google για τις διαφορές μεταξύ των δύο είναι "απλά γελοία".

Πολλοί χρήστες του Διαδικτύου έθεσαν σιγά-σιγά ένα ερωτηματικό αφού διάβασαν την εφημερίδα: Πώς το CoLM ανασκόπησε το χειρόγραφο;

Η μόνη διαφορά είναι ότι η έννοια έχει αλλάξει;

Ρίξτε γρήγορα μια ματιά στη σύγκριση χαρτιού...

Σύγκριση δύο εργασιών

Ας ρίξουμε μια γρήγορη ματιά στην αφηρημένη σύγκριση των δύο εγγράφων.

Αυτό που λέει το έγγραφο της Google DeepMind είναι ότι η δημιουργία διακριτικών φέρνει προβλήματα στην έξοδο του μοντέλου γλώσσας με περιορισμούς. Εισήγαγαν τη θεωρία των αυτομάτων για την επίλυση αυτών των προβλημάτων.

Αυτή η μέθοδος χρειάζεται μόνο πρόσβαση στην αποκωδικοποιημένη λογική τιμή κάθε διακριτικού και ο υπολογισμός είναι ανεξάρτητος από το μέγεθος του μοντέλου γλώσσας Είναι αποτελεσματική και εύκολη στη χρήση σχεδόν σε όλες τις αρχιτεκτονικές μοντέλων γλώσσας.

Η δήλωση του «ενάγοντα» είναι κατά προσέγγιση:

Προτείνεται ένα αποτελεσματικό πλαίσιο για να βελτιώσει σημαντικά την αποτελεσματικότητα της δημιουργίας περιορισμένων κειμένων με τη δημιουργία ενός ευρετηρίου στο λεξιλόγιο του γλωσσικού μοντέλου.Για να το θέσω απλά, είναιΑποφύγετε τη διέλευση όλων των λογικών τιμών μέσω της ευρετηρίασης。

Επίσης «δεν εξαρτάται από συγκεκριμένο μοντέλο».

Υπάρχει πράγματι μεγάλη διαφορά στην κατεύθυνση, οπότε ας ρίξουμε μια ματιά σε περισσότερες λεπτομέρειες.

Χρησιμοποιήσαμε το Google Gemini 1.5 Pro για να συνοψίσουμε τα κύρια περιεχόμενα των δύο εγγράφων και στη συνέχεια ζητήσαμε από τον Gemini να συγκρίνει τις ομοιότητες και τις διαφορές μεταξύ των δύο.

Όσον αφορά το «εναγόμενο» έγγραφο της Google, ο Gemini συνόψισε τη μέθοδό του ωςΕπαναπροσδιορίστε την αποτοκενοποίηση ως λειτουργία μετασχηματιστή πεπερασμένης κατάστασης (FST).。

Συνδυάστε αυτό το FST με ένα αυτόματο που αντιπροσωπεύει την επίσημη γλώσσα-στόχο, η οποία μπορεί να αναπαρασταθεί από μια κανονική έκφραση ή μια γραμματική.

Μέσω του παραπάνω συνδυασμού, δημιουργείται ένα αυτόματο που βασίζεται σε διακριτικά, το οποίο χρησιμοποιείται για τον περιορισμό του μοντέλου γλώσσας κατά τη διαδικασία αποκωδικοποίησης για να διασφαλιστεί ότι το κείμενο εξόδου του συμμορφώνεται με τις προκαθορισμένες τυπικές προδιαγραφές γλώσσας.

Επιπλέον, το έγγραφο της Google δημιούργησε επίσης μια σειρά από επεκτάσεις κανονικής έκφρασης, οι οποίες γράφτηκαν χρησιμοποιώντας ειδικά ονομασμένες ομάδες λήψης για να βελτιώσουν σημαντικά την αποτελεσματικότητα και την εκφραστικότητα του συστήματος κατά την επεξεργασία κειμένου.

Όσον αφορά το έγγραφο «ενάγοντα», ο Gemini συνόψισε τον πυρήνα της προσέγγισής του ωςΕπαναπλαισίωση του προβλήματος δημιουργίας κειμένου ως μετασχηματισμός μεταξύ μηχανών πεπερασμένης κατάστασης (FSM)。

Η συγκεκριμένη μέθοδος του «ενάγοντα» είναι:

• Δημιουργήστε FSM χρησιμοποιώντας κανονικές εκφράσεις ή γραμματικές χωρίς πλαίσιο και χρησιμοποιήστε τις για να καθοδηγήσετε τη διαδικασία δημιουργίας κειμένου.
• Προσδιορίστε αποτελεσματικά έγκυρες λέξεις σε κάθε βήμα και αποφύγετε τη διέλευση ολόκληρου του λεξιλογίου δημιουργώντας ένα ευρετήριο λεξιλογίου.

Ο Gemini απαριθμεί τα κοινά σημεία μεταξύ των δύο εγγράφων.

Όσο για τη διαφορά μεταξύ των δύο, μοιάζει λίγο με αυτό που είπε ο προηγούμενος netizen. Η απλή περίληψη είναι: η Google ορίζει το λεξιλόγιο ως FST.

Όπως αναφέρθηκε προηγουμένως, η Google κατέταξε το έγγραφο του ενάγοντα ως το «πιο σχετικό» έργο στη «Σχετική εργασία»:

Η πιο σχετική έρευνα είναι το Outlines (Willard & Louf, 2023), το οποίο χρησιμοποιεί επίσης αυτόματα πεπερασμένης κατάστασης (FSA) και αυτόματα pushdown (PDA) ως περιορισμούς - η μέθοδός μας αναπτύχθηκε ανεξάρτητα στις αρχές του 2023.

Η Google πιστεύει ότι η διαφορά μεταξύ των δύο είναι ότι η μέθοδος Outlines βασίζεται σε μια ειδικά κατασκευασμένη λειτουργία "ευρετηρίασης" που απαιτεί μη αυτόματη επέκταση σε νέα σενάρια εφαρμογών. Αντίθετα, η Google επαναπροσδιόρισε πλήρως ολόκληρη τη διαδικασία χρησιμοποιώντας τη θεωρία των αυτομάτων, διευκολύνοντας την εφαρμογή FSA και τη γενίκευση σε PDA.

Μια άλλη διαφορά είναι ότι η Google έχει ορίσει επεκτάσεις για την υποστήριξη αντιστοίχισης χαρακτήρων μπαλαντέρ και τη βελτίωση της χρηστικότητας.

Η Google ανέφερε επίσης το Outlines κατά την εισαγωγή των παρακάτω δύο σχετικών έργων.

Το ένα είναι ότι ο Yin et al (2024) επέκτεινε το Outlines προσθέτοντας τη δυνατότητα "συμπίεσης" τμημάτων κειμένου στον προ-πληθυσμό.

Ένα άλλο είναι ένα σύστημα που προτάθηκε πρόσφατα από τους Ugare et al (2024) που ονομάζεται SynCode. Χρησιμοποιεί επίσης FSA, αλλά χρησιμοποιεί αναλυτές LALR και LR αντί για PDA για την επεξεργασία της γραμματικής.

Παρόμοια με το Outlines, αυτή η μέθοδος βασίζεται σε προσαρμοσμένους αλγόριθμους.

Αλλά οι άνθρωποι που τρώνε πεπόνι προφανώς δεν το αγοράζουν πολύ:

Οι αναθεωρητές του CoLM θα πρέπει να το λαμβάνουν υπόψη. Δεν νομίζω ότι πρόκειται για ξεχωριστές «σύγχρονες προσπάθειες».

Netizen: Αυτό δεν είναι ασυνήθιστο...

Μόλις αποκαλύφθηκε αυτό το περιστατικό, πολλοί χρήστες του Διαδικτύου ήταν ντροπιασμένοι, για να μην αναφέρουμε ότι «δεν είναι η πρώτη φορά που ένας κολοσσός της τεχνολογίας λογοκλοπή τη δουλειά μιας μικρής ομάδας».

Παρεμπιπτόντως, τόσο ο Brandon όσο και ο Remy εργάζονταν εξ αποστάσεως για την Normal Computing, μια εταιρεία AI Infra που ιδρύθηκε το 2022, όταν δημοσίευσαν την εργασία του ενάγοντα.

Παρεμπιπτόντως, μέρος της ιδρυτικής ομάδας του Normal Computing προήλθε από την Google Brain...

Επιπλέον, ο Brandon και ο Remy έχουν ξεκινήσει μια επιχείρηση μαζί. Η νέα εταιρεία ονομάζεται .txt. Και η αρχική σελίδα του GitHub που αναφέρεται στον επίσημο ιστότοπο είναι η αποθήκη Outlines.

Επιστρέφοντας στους χρήστες του Διαδικτύου, αυτό που εξοργίζει ακόμη περισσότερο τους πάντες είναι ότι «αυτή η κατάσταση έχει γίνει κοινή».

Ένας μεταδιδακτορικός από το Τεχνολογικό Πανεπιστήμιο του Ντελφτ στην Ολλανδία μοιράστηκε την εμπειρία του:

Ολοκληρώσαμε μια εργασία τον περασμένο Οκτώβριο και υπήρξε μια πρόσφατα αποδεκτή εργασία που χρησιμοποιούσε τις ίδιες ιδέες και έννοιες, αλλά δεν ανέφερε καν την εργασία μας.

Υπάρχει επίσης ένας ηλικιωμένος από το Northeastern University των Ηνωμένων Πολιτειών που είναι ακόμα χειρότερος. Έχει αντιμετωπίσει αυτή την κατάσταση δύο φορές, και οι δράστες ήταν πάντα η ίδια ομάδα. Και ο πρώτος συγγραφέας απέναντι πρόσθεσε επίσης ένα αστέρι στο GitHub του...

Ωστόσο, ορισμένοι χρήστες του Διαδικτύου εξέφρασαν διαφορετικές απόψεις:

Εάν η δημοσίευση μιας ανάρτησης ιστολογίου ή ενός μη αξιολογημένου προεκτυπωμένου χαρτιού μετράει ως εξαπάτηση, τότε όλοι απατούν, σωστά;

Σε απάντηση, ο Remy είπε θυμωμένος:

Γεια σας παιδιά, δημοσιεύοντας ένα προεκτυπωμένο χαρτί και τον κώδικα ανοιχτού κώδικα = εκμεταλλεύομαι την κατάσταση.
Γράψτε ένα μαθηματικό χαρτί που δεν απαιτεί καν ψευδοκώδικα = καλή δουλειά; ? ?

Ο αδελφός Brandon είπε επίσης Yue:

Ο ανοιχτός κώδικας και η σύνταξη σχετικών εργασιών είναι "εκμετάλλευση άλλων", αλλά το να αντιγράφεις τη δουλειά άλλων και να λες "Αυτή την ιδέα είχα νωρίτερα" και να την υποβάλεις σε ένα συνέδριο δεν είναι σωστό; Πόσο αηδιαστικό.

Ας φάμε πρώτα το πεπόνι; Τι πιστεύετε για αυτό; Μπορεί να θέλετε να συνεχίσετε τη συζήτηση στην περιοχή σχολίων~

Κάντε κλικ εδώ για τα δύο έγγραφα:
Έγγραφο Google DeepMind: https://arxiv.org/abs/2407.08103v1
Έγγραφο του ενάγοντα: https://arxiv.org/abs/2307.09702

Σύνδεσμοι αναφοράς:
[1]https://x.com/remilouf/status/1812164616362832287?s=46
[2]https://x.com/karan4d/status/1812172329268699467?s=46
[3]https://x.com/brandontwillard/status/1812163165767053772?s=46