νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Νέα Έκθεση Σοφίας

Επιμέλεια: Τμήμα Σύνταξης

[Εισαγωγή στη Νέα Σοφία]Ερευνητές στο MIT CSAIL ανακάλυψαν ότι το LLM έχει αναπτύξει μια προσομοίωση της πραγματικότητας «βαθιά στην καρδιά του» και η κατανόηση της γλώσσας και του κόσμου από το μοντέλο είναι πολύ περισσότερα από έναν απλό «παπαγάλο». Με άλλα λόγια, στο μέλλον, το LLM θα κατανοεί τη γλώσσα πιο βαθιά από ό,τι σήμερα.

Πόσο απέχει το LLM από το παγκόσμιο μοντέλο;

Πέρυσι, ένα άρθρο του MIT βρήκε ένα εκπληκτικό συμπέρασμα: μέσα στο LLM, υπάρχει ένα παγκόσμιο μοντέλο.

Το LLM όχι μόνο μαθαίνει στατιστικές επιφάνειας, αλλά μαθαίνει επίσης ένα παγκόσμιο μοντέλο που περιλαμβάνει βασικά γεωγραφικά πλάτη όπως ο χώρος και ο χρόνος.

Όχι μόνο αυτό, το MIT ανακάλυψε πρόσφατα ότι βαθιά μέσα στο LLM έχει αναπτυχθεί μια προσομοίωση της πραγματικότητας και η κατανόησή τους της γλώσσας έχει ξεπεράσει πολύ την απλή μίμηση!

Διεύθυνση χαρτιού: https://arxiv.org/abs/2305.11169

Συγκεκριμένα, δύο μελετητές από το Computer Science and Artificial Intelligence Laboratory (CSAIL) του MIT ανακάλυψαν ότι—

Παρόλο που το LLM έχει εκπαιδευτεί να μαθαίνει μια γλώσσα προγραμματισμού χρησιμοποιώντας μόνο τον στόχο της «πρόβλεψης του επόμενου διακριτικού», ο οποίος φαίνεται να περιλαμβάνει μόνο καθαρή στατιστική πιθανότητα, το μοντέλο μπορεί να μάθει την επίσημη σημασιολογία του προγράμματος.

Αυτό υποδηλώνει ότι τα γλωσσικά μοντέλα μπορούν να αναπτύξουν τη δική τους κατανόηση της πραγματικότητας ως τρόπο βελτίωσης των παραγωγικών τους δυνατοτήτων.

Επομένως, το LLM μπορεί μια μέρα να κατανοήσει τη γλώσσα σε βαθύτερο επίπεδο από ό,τι σήμερα.

Αυτό το άρθρο έγινε αποδεκτό από το ICML 2024 και ο κώδικας που χρησιμοποιήθηκε στο πείραμα έχει δημοσιευτεί στο GitHub.

Διεύθυνση αποθήκης: https://github.com/charlesjin/emergent-semantics

Χωρίς μάτια, το LLM δεν θα μπορούσε να «βλέπει»;

Ζητήστε από το GPT-4 να μυρίσει ένα κάμπινγκ ποτισμένο από τη βροχή και θα αρνηθεί ευγενικά.

Ωστόσο, θα σας δώσει μια ποιητική περιγραφή: Υπάρχει ένα φρέσκο ​​γήινο άρωμα και μια αναζωογονητική μυρωδιά βροχής, με νότες πεύκου ή υγρών φύλλων.

Το GPT-4 δεν έχει δει ποτέ βροχή και δεν έχει μύτη, αλλά μπορεί να μιμηθεί κείμενο που υπάρχει σε μεγάλες ποσότητες δεδομένων εκπαίδευσης.

Η έλλειψη ενός ζευγαριού ματιών σημαίνει ότι το γλωσσικό μοντέλο δεν μπορεί ποτέ να καταλάβει «ένα λιοντάρι είναι μεγαλύτερο από μια γάτα του σπιτιού»;

Μπορεί το LLM να κατανοήσει τον πραγματικό κόσμο και διάφορες αφηρημένες έννοιες; Ή απλώς «παπαγαλίζετε» και βασίζεστε καθαρά σε στατιστικές πιθανότητες για να προβλέψετε το επόμενο διακριτικό;

Η αρχή λειτουργίας του LLM είναι ακόμα ένα άλυτο μυστήριο. Τα μεγάλα παιδιά στον κύκλο της τεχνητής νοημοσύνης θα ξεκινήσουν μια συζήτηση για αυτό το θέμα από καιρό σε καιρό.

Ο LeCun πιστεύει ακράδαντα ότι η ευφυΐα του LLM είναι σίγουρα υπερεκτιμημένη! Ο πιο διάσημος ισχυρισμός του είναι ότι «ένα μεγάλο γλωσσικό μοντέλο δεν είναι τόσο καλό όσο μια γάτα στο σπίτι».

«Οι γάτες μπορούν να θυμούνται, μπορούν να καταλάβουν τον φυσικό κόσμο, μπορούν να σχεδιάσουν πολύπλοκες ενέργειες και μπορούν να συλλογιστούν σε κάποιο βαθμό. Αυτό σημαίνει ότι έχουμε σημαντικά κενά σε εννοιολογικό επίπεδο σαν τα ζώα.

Πολλοί άνθρωποι το εξηγούν ως ένα καθαρά στατιστικό φαινόμενο, το LLM απλώς «παπαγαλίζει» και μιμείται το κείμενο που υπάρχει σε μεγάλο αριθμό εκπαιδευτικών σωμάτων δεν έχει το ίδιο επίπεδο νοημοσύνης ή αντίληψης.

Τώρα όμως, η έρευνα του MIT αποδεικνύει ότι αυτό δεν ισχύει!

Μέσα στο LLM, υπάρχει σίγουρα μια κατανόηση του πραγματικού κόσμου.

Το LLM σπάει το παζλ Karel, τι σημαίνει αυτό

Για να εξερευνήσουν αυτό το μυστήριο, ερευνητές στο MIT CSAIL ανέπτυξαν ένα σετ μικρών παζλ Karel.

Παρουσιάστε συνοπτικά ποιο είναι το παζλ του Karel

Αυτό περιλαμβάνει οδηγίες χρήσης του μοντέλου για τον έλεγχο των ενεργειών του ρομπότ σε ένα προσομοιωμένο περιβάλλον.

Προδιαγραφές γραμματικής Karel

Στη συνέχεια εκπαιδεύουν το LLM να μάθει μια συγκεκριμένη λύση χωρίς να αποδείξει πώς λειτουργεί.

Τέλος, ο συγγραφέας προτείνει μια τεχνική μηχανικής μάθησης που ονομάζεται «ανίχνευση» για να αποκτήσει μια εις βάθος κατανόηση της «διαδικασίας σκέψης» όταν το μοντέλο δημιουργεί νέες λύσεις.

Ο ερευνητής δημιουργεί παραδείγματα εκπαίδευσης δειγματοληπτικά ένα πρόγραμμα τυχαίας αναφοράς, στη συνέχεια δειγματίζει 5 τυχαίες εισόδους και εκτελεί το πρόγραμμα για να αποκτήσει τις αντίστοιχες 5 εξόδους. Το LM εκπαιδεύεται για την επόμενη συμβολική πρόβλεψη σε ένα σύνολο παραδειγμάτων που αποτελείται από παρεμβαλλόμενες εισόδους και εξόδους, ακολουθούμενη από τη διαδικασία αναφοράς. Κατά τη δοκιμή, οι ερευνητές παρέχουν στο LM αόρατες προδιαγραφές εισόδου και εξόδου και χρησιμοποιούν άπληστη αποκωδικοποίηση για να προβλέψουν το πρόγραμμα.

Μετά από εκπαίδευση σε περισσότερα από 1 εκατομμύριο τυχαία παζλ, οι ερευνητές διαπίστωσαν ότι το μοντέλο διαμόρφωσε αυθόρμητα μια ιδέα του υποκείμενου προσομοιωμένου περιβάλλοντος! Αν και δεν εκτέθηκαν σε αυτές τις πληροφορίες κατά τη διάρκεια της εκπαίδευσης.

Αυτό το αποτέλεσμα όχι μόνο αμφισβητεί την εγγενή μας εντύπωση για το LLM, αλλά επίσης αμφισβητεί την κατανόησή μας για τη φύση της διαδικασίας σκέψης——

Ποιοι τύποι πληροφοριών είναι απαραίτητοι στη διαδικασία εκμάθησης της σημασιολογίας;

Στην αρχή του πειράματος, οι τυχαίες εντολές που δημιουργήθηκαν από το μοντέλο ήταν σχεδόν αδύνατο να εκτελεστούν, αλλά όταν ολοκληρώθηκε η εκπαίδευση, η ακρίβεια των οδηγιών έφτασε το 92,4%.

Ο Τζιν, ο πρώτος συγγραφέας της εργασίας, είπε: «Αυτή είναι μια πολύ συναρπαστική στιγμή γιατί πιστεύουμε ότι αν το γλωσσικό μοντέλο μπορεί να ολοκληρώσει την εργασία με αυτή την ακρίβεια, περιμένουμε επίσης ότι μπορεί να κατανοήσει το νόημα της γλώσσας».

«Αυτό μας έδωσε ένα σημείο εκκίνησης για να διερευνήσουμε εάν το LLM μπορεί πράγματι να κατανοήσει το κείμενο και τώρα βλέπουμε ότι το μοντέλο είναι ικανό να συνδυάζει τυφλά λέξεις μεταξύ τους».

Ανοίξτε τον εγκέφαλο του LLM

Κατά τη διάρκεια αυτού του πειράματος, ο Jin παρακολούθησε αυτή την πρόοδο από πρώτο χέρι.

Γιατί το LLM πιστεύει ότι αυτές οι οδηγίες σημαίνουν αυτό;

Ανακάλυψε ότι το LLM είχε αναπτύξει τη δική του εσωτερική προσομοίωση για το πώς θα κινούνταν το ρομπότ σε απόκριση σε κάθε εντολή.

Καθώς η ικανότητα του μοντέλου να επιλύει δύσκολα προβλήματα γίνεται όλο και μεγαλύτερη, αυτές οι έννοιες γίνονται όλο και πιο ακριβείς, γεγονός που δείχνει ότι η LM αρχίζει να κατανοεί τις οδηγίες.

Σε λίγο, το LLM συνέδεε τα κομμάτια σωστά σε οδηγίες εργασίας.

Σημασιολογικό περιεχόμενο που μετράται από διαφορετικούς ταξινομητές ανιχνευτών (πράσινο)

ανιχνευτής σκέψης

Η κύρια συνεισφορά στις προαναφερθείσες ανακαλύψεις είναι ένας «ανιχνευτής σκέψης».

Αυτό είναι ένα αποτελεσματικό εργαλείο για να παρέμβει στη διαδικασία σκέψης LLM.

Συγκεκριμένα, η κατάσταση του LM περιέχει καθαρά συντακτικές εγγραφές των προγραμμάτων εισόδου και που δημιουργούνται, αλλά ο ανιχνευτής φαίνεται να μπορεί να μάθει να κατανοεί τις αφηρημένες ερμηνείες.

Στο πραγματικό πείραμα, ο συγγραφέας κατασκεύασε πρώτα το σύνολο δεδομένων παρακολούθησης κατάστασης LLM και στη συνέχεια χρησιμοποίησε τυπικές μεθόδους εποπτευόμενης μάθησης για να εκπαιδεύσει ένα μικρό μοντέλο ως ανιχνευτή, όπως έναν γραμμικό ταξινομητή ή ένα MLP 2 επιπέδων.

Σημασιολογικό περιεχόμενο των τρεχουσών και των επόμενων δύο αφηρημένων καταστάσεων στο δεύτερο μισό της εκπαίδευσης (MLP 1 επιπέδου)

Ωστόσο, ένα σημαντικό ζήτημα είναι ότι ο ανιχνευτής πρέπει να διαχωριστεί από την πραγματική διαδικασία σκέψης του μοντέλου ή τις οδηγίες που δημιουργούνται.

Παρόλο που ο μόνος σκοπός του ανιχνευτή είναι να «εισέλθει στον εγκέφαλο του LLM», τι θα συμβεί αν κάνει επίσης κάποιες σκέψεις για το μοντέλο;

Αυτό που πρέπει να διασφαλίσουν οι ερευνητές είναι ότι το LLM μπορεί να κατανοήσει τις οδηγίες ανεξάρτητα από τον ανιχνευτή, αντί να συναγάγει ο ανιχνευτής τις ενέργειες του ρομπότ με βάση την κατανόηση της σύνταξης από το LLM.

Φανταστείτε ότι υπάρχει ένα σωρό δεδομένα που κωδικοποιούν τη διαδικασία σκέψης του LLM, όπου ο ρόλος του ανιχνευτή είναι σαν ιατροδικαστής.

Δώσαμε αυτόν τον σωρό δεδομένων στον αναλυτή και του είπαμε: "Αυτή είναι η κίνηση του ρομπότ. Προσπαθήστε να μάθετε πώς κινείται το ρομπότ σε αυτόν τον σωρό δεδομένων." Τι συμβαίνει.

Τι γίνεται όμως αν αυτός ο σωρός δεδομένων απλώς κωδικοποιεί ακατέργαστες οδηγίες και οι αναλυτές έχουν βρει κάποιον έξυπνο τρόπο για να εξάγουν τις οδηγίες και να ενεργούν σύμφωνα με αυτές;

Σε αυτήν την περίπτωση, το LLM δεν κατανοεί καθόλου το νόημα αυτών των οδηγιών.

Για το σκοπό αυτό, οι ερευνητές έκαναν ένα έξυπνο σχέδιο: δημιούργησαν έναν «παράξενο κόσμο» για το μοντέλο.

Σε αυτόν τον κόσμο, η έννοια της εντολής του probe αντιστρέφεται, όπως "πάνω" σημαίνει στην πραγματικότητα "κάτω".

Για παράδειγμα, το exec(turnRight,·) στην αρχική σημασιολογία θα κάνει το ρομπότ να περιστρέφεται κατά 90 μοίρες δεξιόστροφα, ενώ το exec adversarial (turnRight,·) θα ωθήσει το ρομπότ σε ένα κενό.

Αυτό διασφαλίζει ότι ο ανιχνευτής δεν είναι "ευκαιριακός" και μαθαίνει και κατανοεί άμεσα πώς το LLM κωδικοποιεί οδηγίες.

Ένας συγγραφέας Τζιν το εισήγαγε με αυτόν τον τρόπο——

Εάν ο ανιχνευτής πρόκειται να μεταφράσει οδηγίες στη θέση του ρομπότ, θα πρέπει να είναι εξίσου ικανός να μεταφράζει οδηγίες με παράξενο νόημα.

Αλλά αν ο ανιχνευτής αναζητά πραγματικά την κωδικοποίηση των αρχικών κινήσεων ρομπότ στη διαδικασία σκέψης του γλωσσικού μοντέλου, τότε θα δυσκολευτεί να εξάγει τις περίεργες κινήσεις του ρομπότ από τις αρχικές διαδικασίες σκέψης.

Διαπιστώθηκε ότι ο ανιχνευτής είχε μεταφραστικά σφάλματα και δεν ήταν σε θέση να ερμηνεύσει μοντέλα γλώσσας με διαφορετικές έννοιες οδηγιών.

Αυτό σημαίνει ότι η αρχική σημασιολογία είναι ενσωματωμένη στο γλωσσικό μοντέλο, υποδεικνύοντας ότι το LLM είναι σε θέση να κατανοήσει τις απαιτούμενες οδηγίες ανεξάρτητα από τον αρχικό ταξινομητή ανίχνευσης.

Το πρώτο εξάμηνο περιγράφει πώς οι δύο συνθήκες είχαν ως αποτέλεσμα υψηλό σημασιολογικό περιεχόμενο των μετρήσεων πριν από την παρέμβαση. Το κάτω μέρος δείχνει γιατί διαχωρίζονται οι δύο υποθέσεις: εάν η αναπαράσταση LM περιέχει μόνο γραμματική (κάτω αριστερά), τότε θα πρέπει να είναι δυνατό να εκπαιδεύσετε τον ανιχνευτή alt ώστε να μάθει να ερμηνεύει τις εγγραφές ως προς το εναλλακτικό prog κατάστασης (έντονο κόκκινο αποτέλεσμα) Ωστόσο, εάν η αναπαράσταση LM περιέχει κωδικοποίηση της αρχικής αφηρημένης κατάστασης (κάτω δεξιά), τότε η ανίχνευση του alt απαιτεί την εξαγωγή της εναλλακτικής κατάστασης «prog» από την αρχική κατάσταση prog, με αποτέλεσμα χαμηλότερο σημασιολογικό περιεχόμενο (έντονο γκρι αποτέλεσμα)

Το LLM καταλαβαίνει τη γλώσσα, σαν παιδί

Είναι ενδιαφέρον ότι ο Jin διαπίστωσε ότι η κατανόηση της γλώσσας από το LLM αναπτύσσεται σταδιακά, όπως τα παιδιά μαθαίνουν μια γλώσσα σε πολλαπλά βήματα.

Στην αρχή, θα φλυαρεί σαν μωρό, και τα λόγια του θα είναι επαναλαμβανόμενα και τα περισσότερα από αυτά θα είναι δύσκολο να τα καταλάβουμε.

Στη συνέχεια, το LLM αρχίζει να επιλέγει τους κανόνες γραμματικής ή γλώσσας, ώστε να μπορεί να δημιουργήσει οδηγίες που μοιάζουν με πραγματικές λύσεις, αλλά εξακολουθούν να μην λειτουργούν.

Ωστόσο, οι οδηγίες LLM θα βελτιωθούν σταδιακά.

Μόλις το μοντέλο αποκτήσει νόημα, αρχίζει να δημιουργεί οδηγίες για τη σωστή εφαρμογή των απαιτούμενων προδιαγραφών, όπως ένα παιδί που κατασκευάζει προτάσεις.

Τα αποτελέσματα φαίνονται στο Σχήμα 2. Μπορεί να φανεί ότι η κατανόηση της γλώσσας από το LLM χωρίζεται χονδρικά σε τρία στάδια, όπως και τα παιδιά που μαθαίνουν τη γλώσσα.

• Μπαμπούλας (γκρι μέρος): καταλαμβάνει περίπου το 50% της συνολικής διαδικασίας προπόνησης, δημιουργεί εξαιρετικά επαναλαμβανόμενα προγράμματα και η ακρίβεια είναι σταθερή περίπου στο 10%

• Απόκτηση σύνταξης (πορτοκαλί μέρος): 50% έως 75% της εκπαιδευτικής διαδικασίας, η ποικιλομορφία των παραγόμενων αποτελεσμάτων αυξάνεται απότομα, τα συντακτικά χαρακτηριστικά αλλάζουν σημαντικά και το μοντέλο αρχίζει να μοντελοποιεί το διακριτικό του προγράμματος, αλλά η ακρίβεια της παραγωγής είναι η βελτίωση δεν είναι εμφανής

• Απόκτηση σημασιολογίας (κίτρινο μέρος): Το 75% της εκπαιδευτικής διαδικασίας τελειώνει, η ποικιλομορφία είναι σχεδόν αμετάβλητη, αλλά η ακρίβεια παραγωγής αυξάνεται σημαντικά, υποδεικνύοντας την εμφάνιση της σημασιολογικής κατανόησης

Το πείραμα χρησιμοποίησε τρεις διαφορετικές αρχιτεκτονικές ανιχνευτών για σύγκριση, δηλαδή γραμμικό ταξινομητή, MLP μονής στρώσης και MLP 2 επιπέδων.

Κατά την πρόβλεψη 2 βημάτων μπροστά, η απόλυτη τιμή της ακρίβειας πρόβλεψης MLP 2 επιπέδων είναι υψηλότερη από το βασικό μοντέλο που προβλέπεται με την τρέχουσα κατάσταση. Ίσως είναι δυνατό να υποθέσουμε ότι πριν το LLM δημιουργήσει οδηγίες, η διαδικασία σκέψης του και η «πρόθεση» της δημιουργίας εντολών έχουν αποθηκευτεί μέσα στο μοντέλο.

LLM = παγκόσμιο μοντέλο;

Αυτή η μελέτη εξηγεί πώς το LLM σκέφτεται για το νόημα κάθε εντολής στα δεδομένα εκπαίδευσης και προσομοιώνει την απόκριση του ρομπότ στις οδηγίες στην εσωτερική του κατάσταση.

Όλα αυτά υποδεικνύουν ένα βασικό ερώτημα στην τρέχουσα έρευνα AI - οι εκπληκτικές ικανότητες των LLMs οφείλονται απλώς σε στατιστικές συσχετίσεις μεγάλης κλίμακας ή οδηγούν σε μια ουσιαστική κατανόηση της πραγματικότητάς τους;

Η έρευνα δείχνει ότι το LLM ανέπτυξε ένα εσωτερικό μοντέλο που προσομοίωσε την πραγματικότητα, παρόλο που δεν εκπαιδεύτηκε ποτέ για να αναπτύξει αυτό το μοντέλο.

Επιπλέον, τα γλωσσικά μοντέλα μπορούν να εμβαθύνουν περαιτέρω την κατανόηση της γλώσσας.

Ωστόσο, ένα έγγραφο από μόνο του δεν μπορεί να απαντήσει πλήρως σε αυτό το ερώτημα.

Ο συγγραφέας Jin παραδέχτηκε επίσης ότι αυτή η έρευνα έχει ορισμένους περιορισμούς: χρησιμοποίησαν μόνο μια πολύ απλή γλώσσα προγραμματισμού Karel και μια πολύ απλή αρχιτεκτονική μοντέλου ανιχνευτή.

Η μελλοντική εργασία θα επικεντρωθεί σε πιο γενικές πειραματικές ρυθμίσεις και θα αξιοποιήσει πλήρως τις γνώσεις σχετικά με τη «διαδικασία σκέψης» του LLM για τη βελτίωση των μεθόδων εκπαίδευσης.

Ο Rinard, ένας άλλος συγγραφέας αυτού του άρθρου, είπε: "Μια ενδιαφέρουσα ανοιχτή ερώτηση είναι, όταν λύνονται προβλήματα πλοήγησης ρομπότ, το LLM χρησιμοποιεί ένα μοντέλο εσωτερικής πραγματικότητας για να συλλογιστεί την πραγματικότητα;"

Αν και τα αποτελέσματα που παρουσιάζονται στο έγγραφο μπορεί να υποστηρίζουν αυτό το συμπέρασμα, το πείραμα δεν σχεδιάστηκε για να απαντήσει σε αυτό το ερώτημα.

Η Ellie Pavlick, επίκουρη καθηγήτρια στο Τμήμα Επιστήμης Υπολογιστών και Γλωσσολογίας στο Πανεπιστήμιο Brown, επαίνεσε ιδιαίτερα την έρευνα.

Είπε ότι η κατανόηση του τρόπου λειτουργίας του LLM μας επιτρέπει να έχουμε πιο εύλογες προσδοκίες σχετικά με τις εγγενείς δυνατότητες και τους περιορισμούς αυτής της τεχνολογίας. Αυτή η μελέτη διερευνά ακριβώς αυτό το ερώτημα σε ένα ελεγχόμενο περιβάλλον.

Ο κώδικας υπολογιστή, όπως και η φυσική γλώσσα, έχει και σύνταξη και σημασιολογία, αλλά σε αντίθεση με τη φυσική γλώσσα, η σημασιολογία του κώδικα είναι πιο διαισθητική και μπορεί να ελεγχθεί άμεσα σύμφωνα με τις πειραματικές ανάγκες.

«Ο πειραματικός σχεδιασμός είναι κομψός και τα ευρήματά τους είναι πολλά υποσχόμενα, υποδηλώνοντας ότι ίσως το LLM μπορεί να προσφέρει μια βαθύτερη κατανόηση του «νόματος» της γλώσσας».

Εισαγωγή συγγραφέα

Ο πρώτος συγγραφέας αυτού του άρθρου, ο Charles Jin, είναι υποψήφιος διδάκτορας στο τμήμα EECS και ο επιβλέπων του, Martin Rinard, είναι ένας άλλος συγγραφέας αυτού του άρθρου.

Ο Τζιν αποφοίτησε από το Πανεπιστήμιο του Γέιλ με πτυχίο και μεταπτυχιακό στην επιστήμη των υπολογιστών και στα μαθηματικά.

Παραπομπές:

https://the-decoder.com/training-language-models-on-synthetic-programs-hints-at-emergent-world-understanding/

https://news.mit.edu/2024/llms-develop-own-understanding-of-reality-as-language-abilities-improve-0814