2024-08-17
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
- Crecy stammt aus dem Aofei-Tempel
Qubit |. Offizielles Konto QbitAI
Große Modelle können Ihr eigenes Verständnis der realen Welt bilden!
Eine MIT-Studie ergab, dass mit zunehmender Leistungsfähigkeit eines Modells sein Verständnis der Realität möglicherweise über die bloße Nachahmung hinausgeht.
Wenn das große Modell beispielsweise noch nie einen Geruch gerochen hat, heißt das, dass es Gerüche nicht verstehen kann?
Untersuchungen haben ergeben, dass einige Konzepte spontan simuliert werden können, um das Verständnis zu erleichtern.
Diese Forschung bedeutet dasGroße Modelle sollen in Zukunft ein tieferes Verständnis von Sprache und Welt ermöglichen, das Papier wurde von ICML 24 angenommen.
Die Autoren dieser Arbeit sind der chinesische Doktorand Charles Jin und sein Betreuer Professor Martin Rinard vom MIT Computer and Artificial Intelligence Laboratory (CSAIL).
Während der Studie forderte der Autor das große Modell auf, nur den Codetext zu lernen, und stellte fest, dass das Modell nach und nach die Bedeutung dahinter erfasste.
Professor Rinard sagte, dass diese Forschung direkt auf ein Kernproblem der modernen künstlichen Intelligenz abzielt –
Entsteht die Leistungsfähigkeit großer Modelle einfach aus groß angelegten statistischen Korrelationen, oder erzeugen sie ein sinnvolles Verständnis der realen Probleme, die sie angehen sollen?
△Quelle: Offizielle MIT-Website
Gleichzeitig löste diese Forschung auch viele Diskussionen aus.
Einige Internetnutzer sagten, dass große Modelle zwar Sprache anders verstehen als Menschen, diese Studie jedoch zumindest zeige, dass das Modell mehr kann, als nur Trainingsdaten zu speichern.
Um zu untersuchen, ob große Modelle ein Verständnis auf semantischer Ebene erzeugen können, konstruierte der Autor einProgrammcode und seine entsprechende Ein- und Ausgabesynthetischer Datensatz.
Diese Codeprogramme werden mit einem Programm namens geschriebenKarlEs ist in einer Lehrsprache geschrieben und dient hauptsächlich der Umsetzung der Aufgabe der Roboternavigation in einer 2D-Gitterwelt.
Diese Gitterwelt besteht aus 8x8 Gittern, jedes Gitter kann Hindernisse, Markierungen oder offene Räume enthalten. Der Roboter kann sich zwischen Gittern bewegen und Vorgänge wie das Platzieren/Aufnehmen von Markierungen ausführen.
Die Karel-Sprache enthält 5 Grundoperationen: move (einen Schritt vorwärts), turnLeft (um 90 Grad nach links drehen), turnRight (um 90 Grad nach rechts drehen), pickMarker (Marker aufnehmen), putMarker (Marker platzieren). Operationen. Eine Folge von Operationen.
Die Autoren generierten zufällig einen Trainingssatz mit 500.000 Karel-Programmen, wobei jedes Programm eine Länge zwischen 6 und 10 hatte.
Jedes Trainingsbeispiel besteht aus drei Teilen: 5 Eingabezuständen, 5 Ausgabezuständen und vollständigem Programmcode. Die Eingabe- und Ausgabezustände werden in einem bestimmten Format in Zeichenfolgen codiert.
Mithilfe dieser Daten trainierten die Autoren eine Variante des CodeGen-Modells der Standard-Transformer-Architektur.
Während des Trainingsprozesses kann das Modell auf die Eingabe- und Ausgabeinformationen und das Programmpräfix in jedem Beispiel zugreifenDer vollständige Verlauf und die Zwischenzustände der Programmausführung können nicht angezeigt werden。
Zusätzlich zum Trainingssatz erstellte der Autor auch einen Testsatz mit 10.000 Proben, um die Generalisierungsleistung des Modells zu bewerten.
Um zu untersuchen, ob das Sprachmodell die Semantik hinter dem Code erfasst hat, und gleichzeitig den „Denkprozess“ des Modells tiefgreifend zu verstehen, entwarf der Autor eine Detektorkombination, die einen linearen Klassifikator und ein MLP mit einer einzelnen/doppelten verborgenen Schicht umfasst.
Die Eingabe des Detektors ist der verborgene Zustand des Sprachmodells im Prozess der Programm-Token-Generierung, und das Vorhersageziel ist der Zwischenzustand der Programmausführung, einschließlich der Ausrichtung des Roboters, des Versatzes relativ zur Anfangsposition und ob er zugewandt ist Vorwärts zum Hindernis (Hindernis) diese drei Eigenschaften.
Während des Trainingsprozesses des generativen Modells zeichnete der Autor alle 4000 Schritte die oben genannten drei Merkmale auf und zeichnete auch den verborgenen Zustand des generativen Modells auf, um einen Trainingsdatensatz für den Detektor zu bilden.
Durch die Beobachtung, wie sich die Vielfalt, Verwirrung und andere Indikatoren der vom Sprachmodell generierten Programme mit dem Trainingsprozess ändern, unterteilt der Autor den Trainingsprozess in drei Phasen:
Insbesondere nimmt die Babbling-Phase die ersten 50 % des gesamten Trainingsprozesses ein. Wenn das Training beispielsweise etwa 20 % erreicht, generiert das Modell unabhängig von der eingegebenen Spezifikation nur ein festes Programm – „pickMarker“ wird neunmal wiederholt.
Die Grammatikerwerbsphase liegt bei 50 % bis 75 % des Trainingsprozesses. Die Ratlosigkeit des Modells beim Karel-Programm ist deutlich zurückgegangen, was darauf hindeutet, dass sich das Sprachmodell besser an die statistischen Merkmale des Karel-Programms angepasst hat, die Genauigkeit jedoch abnimmt Das generierte Programm hat sich nicht wesentlich verbessert (von etwa 10 % auf etwa 25 %), es kann die Aufgabe immer noch nicht genau ausführen.
Die semantische Erfassungsphase beträgt die letzten 25 %. Die Genauigkeit des Programms hat sich stark verbessert, von etwa 25 % auf über 90 %.
Weitere Experimente ergaben, dass der Detektor nicht nur den Synchronisationszeitschritt zum Zeitpunkt t vorhersagen kann, sondern auchPrognostizieren Sie den Programmausführungsstatus in nachfolgenden Zeitschritten。
Nehmen wir beispielsweise an, dass das generative Modell zum Zeitpunkt t das Token „move“ und zum Zeitpunkt t+1 „turnLeft“ generiert.
Gleichzeitig ist der Programmstatus zum Zeitpunkt t, dass der Roboter nach Norden zeigt und sich an den Koordinaten (0,0) befindet, während der Roboter zum Zeitpunkt t+1 so ist, dass der Roboter mit der Position nach Westen zeigt unverändert.
Wenn der Detektor aus dem verborgenen Zustand des Sprachmodells zum Zeitpunkt t erfolgreich vorhersagen kann, dass der Roboter zum Zeitpunkt t + 1 nach Westen zeigen wird, bedeutet dies, dass der verborgene Zustand vor der Generierung von „turnLeft“ bereits die dadurch verursachte Zustandsänderung enthält Informationen zum Betrieb.
Dieses Phänomen zeigt, dass das Modell nicht nur über ein semantisches Verständnis des generierten Programmteils verfügt, sondern bei jedem Generierungsschritt bereits den als nächstes zu generierenden Inhalt vorhergesehen und geplant hat, was eine vorläufige Darstellung zeigtZukunftsorientierte Denkfähigkeiten。
Aber diese Entdeckung hat neue Fragen zu dieser Forschung aufgeworfen –
Ist die im Experiment beobachtete Genauigkeitsverbesserung wirklich eine Verbesserung des generativen Modells oder ist sie das Ergebnis der eigenen Schlussfolgerung des Detektors?
Um diesen Zweifel auszuräumen, fügte der Autor hinzuInterventionsexperiment zur semantischen Erkennung。
Die Grundidee des Experiments besteht darin, die semantischen Interpretationsregeln von Programmoperationen zu ändern, die in zwei Methoden unterteilt sind: „Flip“ und „Adversarial“.
„Flip“ ist eine erzwungene Umkehrung der Bedeutung der Anweisung. Beispielsweise wird „turnRight“ zwangsweise als „turn left“ interpretiert. Allerdings können nur „turnLeft“ und „turnRight“ diese Art der Umkehrung durchführen.
„adversarial“ verschlüsselt die Semantik aller Anweisungen nach dem Zufallsprinzip. Die spezifische Methode ist in der folgenden Tabelle dargestellt.
Wenn der verborgene Zustand des generativen Modells nur die syntaktische Struktur des Programms und nicht die semantischen Informationen kodiert, sollte der Detektor dennoch in der Lage sein, die geänderten semantischen Informationen mit gleichwertiger Leistung aus dem verborgenen Zustand zu extrahieren.
Im Gegenteil, wenn die Leistung des Detektors erheblich abnimmt, bedeutet dies, dass die vom Detektor angezeigte Leistungsverbesserung tatsächlich darauf zurückzuführen ist, dass der verborgene Zustand des generativen Modells die tatsächliche Semantik codiert.
Experimentelle Ergebnisse zeigen, dass die Leistung des Detektors unter beiden neuen Semantiken deutlich abnimmt.
Besonders deutlich wird dies im „kontradiktorischen“ Modus, was auch mit der Besonderheit übereinstimmt, dass sich die Semantik in diesem Modus deutlich von der ursprünglichen Semantik unterscheidet.
Diese Ergebnisse schließen die Möglichkeit, dass der Detektor „semantische Zuordnung selbstständig lernt“ aus und bestätigen weiterhin, dass das generative Modell tatsächlich die Bedeutung des Codes erfasst.
Papieradresse:
https://icml.cc/virtual/2024/poster/34849
Referenzlinks:
[1]https://news.mit.edu/2024/llms-develop-own-understanding-of-reality-as-language-abilities-improve-0814
[2]https://www.reddit.com/r/LocalLLaMA/comments/1esxkin/llms_develop_their_own_understanding_of_reality/
Sammeln und organisieren Sie die neuesten Nachrichteninformationen und stellen Sie sie für alle kostenlos zur Verfügung.
