Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Große Modelle haben in den letzten ein bis zwei Jahren viel Aufmerksamkeit erhalten, insbesondere wegen ihrer Leistung bei der Lösung arithmetischer Probleme.

Tatsächlich haben Forscher des Google Research-Teams bereits im Jahr 2022 den Chain-of-Thought (CoT)-Prompt vorgeschlagen, eine Prompt-Engineering-Methode, die das mathematische Denken großer Modelle effektiv verbessern und in einem Kontext mit wenigen Stichproben lernen kann Die Wirksamkeit wurde nachgewiesen [1].

Obwohl die Methode schnell breite Anwendung fand, wissen Forscher auf diesem Gebiet immer noch wenig darüber, wie sie das arithmetische Denken in großen Modellen stimuliert.

Bisher konzentrierten sich entsprechende Untersuchungen hauptsächlich auf die experimentelle Beobachtung des Einflusses verschiedener Komponenten in der CoT-Prompt-Anweisung auf den arithmetischen Argumentationseffekt großer Modelle.

Versuchen Sie insbesondere, Komponenten in der CoT-Eingabeaufforderung zu ersetzen oder zu entfernen, z. B. den verbalen Argumentationsteil der CoT-Stichprobe zu entfernen, so dass nur die wichtigsten mathematischen Formeln übrig bleiben, und beobachten Sie das große Modell vor und nach dem Ersetzen oder Entfernen in der vorhandenen Arithmetik Der Leistungsunterschied beim Inferenz-Benchmark-Test wird verwendet, um zu bestimmen, ob das Ersatz- oder Ausbauteil einen wichtigen Beitrag zur Stimulierung der arithmetischen Denkfähigkeit des großen Modells leistet.

Obwohl Forscher auf diesem Gebiet in diesen Studien mehrere interessante Phänomene entdeckt haben, können sie immer noch nicht erklären, wie CoT die arithmetische Denkfähigkeit großer Modelle aus dem internen Mechanismus neuronaler Netze stimuliert.

Gleichzeitig werfen diese Studien weitere Fragen auf. Zum Beispiel, warum verschiedene Komponenten von CoT unterschiedliche Auswirkungen auf das arithmetische Denken großer Modelle haben.

Um die oben genannten Probleme zu lösen, starteten Professor Yao Ziyu und sein Team von der George Mason University in den USA eine Reihe von Untersuchungen zum Open-Source-Llama2-Modell unter dem Gesichtspunkt der „Modellinterpretierbarkeit“ und schlugen die Verwendung von „Neuronenaktivierung“ vor systematisch erklären Das bei CoT beobachtete Phänomen wurde untersucht.

Bild丨Mitglieder des Forschungsteams (Quelle: Forschungsteam)

Kürzlich wurde ein verwandter Artikel mit dem Titel „An Investigation of Neuron Activation as a Unified Lens to Explain Chain-of-Thought Eliciting Arithmetic Reasoning in Large Language Models“ von LLMs) von der Jahrestagung der Association for Computational Linguistics (ACL, Annual) angenommen Tagung für Computerlinguistik) 2024 [2].

Daking Rai, Doktorand an der George Mason University, ist der Erstautor und Yao Ziyu fungiert als korrespondierender Autor.

Abbildung丨Verwandte Artikel (Quelle: ACL 2024)

In der Studie konzentrierten sie sich zunächst darauf, zu untersuchen, ob die Transformer-Feedforward-Schicht ein Neuron ist, das das Konzept des arithmetischen Denkens ausdrückt.

Zu den relevanten Konzepten gehören die Konzepte der arithmetischen Operationen Addition, Subtraktion, Multiplikation und Division, die Konzepte logischer Verknüpfungen im arithmetischen Denkprozess (wie „...so“ „...nächstes“) und andere arithmetische Berechnungskonzepte ( wie „Prozent“, „Algorithmus“ und „Formel“).

Um das von jedem Neuron repräsentierte Konzept zu entdecken, ordneten sie daher das Neuron dem Vokabularraum des großen Modells zu und fassten die Bedeutung des Neurons zusammen, indem sie nach der Neuronenkartierung den Anteil der Konzepte in jedem Vokabular beschrifteten.

Die Forschungsgruppe schlug vor, GPT-4 zum Lesen und Verstehen der lexikalischen Zuordnung von Neuronen zu verwenden, um den Neuronenmarkierungs- und Mining-Prozess zu automatisieren.

Experimente zeigen, dass es in der Transformer-Feedforward-Schicht tatsächlich Neuronen gibt, die arithmetische Konzepte darstellen. Wenn diese Neuronen beschädigt sind, sind die arithmetischen Denkfähigkeiten des großen Modells beeinträchtigt.

Gleichzeitig beobachteten die Forscher auch, dass die Aktivität dieser Neuronen positiv mit der arithmetischen Denkfähigkeit des großen Modells korrelierte. Eine solche positive Korrelation erklärt, warum unterschiedliche prompte Aussagen unterschiedliche Auswirkungen auf das arithmetische Denken großer Modelle haben.

Basierend auf diesen Neuronen erklärte das Team systematisch vier CoT-bezogene Phänomene, die in früheren Studien beobachtet wurden.

Erstens wird die Fähigkeit des großen Modells zum arithmetischen Denken beeinträchtigt, wenn die mathematischen Formeln aus der CoT-Stichprobe entfernt werden und nur die Operationsergebnisse übrig bleiben.

Zweitens wird auch die Modellierfähigkeit beeinträchtigt, wenn das verbale Denken aus der CoT-Stichprobe entfernt wird und nur noch mathematische Formeln übrig bleiben.

Drittens wird die Modellfähigkeit beeinträchtigt, wenn CoT-Stichproben an operativer Diversität verlieren, beispielsweise wenn alle Stichproben nur Additionsoperationen beinhalten.

Viertens: Wenn das Operationsergebnis der CoT-Stichprobe falsch ist, der Inferenzprozess jedoch korrekt ist, wird die Modellfähigkeit nicht wesentlich beeinträchtigt.

„Wir sehen, dass diese Phänomene im Wesentlichen durch den Grad der Aktivierung von Neuronen erklärt werden können. Beispielsweise nimmt die Anzahl der aktivierten Neuronen vor und nach der Entfernung mathematischer Formeln ab, was erklärt, warum die Fähigkeit des Modells zum arithmetischen Denken beeinträchtigt ist.“ erklärte Straße.

Aus anwendungstechnischer Sicht wird diese Errungenschaft in zweierlei Hinsicht Anwendungsaussichten haben.

Erstens die Fähigkeit, große Modelle vorherzusagen.

In Experimenten konnten Forscher feststellen, dass der Aktivierungsgrad von Neuronen, die das arithmetische Denken repräsentieren, positiv mit der Fähigkeit zum arithmetischen Denken des Llama2-Modells korreliert. Dies bedeutet, dass Benchmarks in Zukunft möglicherweise nicht mehr erforderlich sind, um die Fähigkeiten großer Modelle für bestimmte Aufgaben direkt vorherzusagen.

Da Benchmark-Tests gleichzeitig viel Personal und materielle Ressourcen erfordern, wie z. B. Annotationen von Datensätzen und Rechenressourcen, trägt die Fähigkeit, ein großes Modell durch das Verständnis seiner intrinsischen Mechanismen direkt vorherzusagen, auch dazu bei, Kosten zu sparen.

Darüber hinaus hoffen Praktiker auf diesem Gebiet, dass große Modelle in naher Zukunft in der Lage sein werden, übermenschliche Aufgaben zu erfüllen. Aufgrund der menschlichen Fähigkeiten gibt es jedoch keine Möglichkeit, Benchmarks für diese Aufgaben zu erstellen. Dieses Problem kann gut vermieden werden, indem die Modellfähigkeiten mithilfe des inhärenten Mechanismus großer Modelle vorhergesagt werden.

Zweitens können durch die Steuerung der internen Mechanismen großer Modelle die Fähigkeiten des Modells verbessert oder geschwächt werden.

„Wir glauben, dass diese Anwendung in Zukunft eine der wichtigsten Methoden zur Verbesserung der Sicherheit großer Modelle sein wird. Gleichzeitig bietet sie auch das Potenzial, ein effizienteres Training großer Modelle zu erreichen, beispielsweise die Lokalisierung von Neuronen anhand kleiner Datenmengen.“ dann die Steuerung der Aktivierung von Neuronen. Der Zweck des Modelltrainings“, sagte das Forschungsteam.

Tatsächlich schlug OpenAI in der zweiten Hälfte des Jahres 2023 einen „Super-Alignment“-Vorschlag vor [3], der darauf abzielt, Menschen bei der Überwachung und Kontrolle übermenschlicher KI-Modelle zu helfen, indem Innovationen in der wissenschaftlichen Forschung gefördert werden. Vorhersage- und Steuerungsmodellfunktionen sind zwei wichtige Aufgaben, um dieses Ziel zu erreichen.

„Dieses Ergebnis ist unsere vorläufige Erkundung in diese Richtung. Wir hoffen, dass wir oder andere Forscher in Zukunft weiter in diese Richtung forschen können“, sagte das Team. Diese Forschung wurde von der „Interpretierbarkeit von Mechanismen“ inspiriert.

Hierbei handelt es sich um einen Teilbereich der Modellinterpretierbarkeit, der sich in den letzten Jahren schnell entwickelt hat und große Aufmerksamkeit erregt hat. Im Gegensatz zu früheren interpretierbaren Methoden versucht die Mechanismusinterpretierbarkeit, den Verhaltensmechanismus des Modells durch Reverse Engineering des neuronalen Netzwerks zu verstehen.

Derzeit wird diese Art von Methode zur Erklärung des Verhaltens und der Strukturfunktionen großer Modelle eingesetzt.

„Eine der Studien, die uns sehr inspiriert hat, ist die Erforschung der Transformer-Feedforward-Schicht durch Forscher des Allen Institute for Artificial Intelligence in den Vereinigten Staaten und der Bar-Ilan-Universität in Israel [4]“, sagte der Forscher.

Diese Studie ergab, dass im Prozess der Vorhersage der nächsten Vokabulareinheit durch das große Modell die Transformer-Feed-Forward-Schicht des Modells Vorhersagen erstellt, indem verwandte Konzepte im Vokabularraum kontinuierlich gestärkt werden. Diese Konzeptverstärkung wird durch die Aktivierung von Neuronen in der Transformer-Feedforward-Schicht erreicht.

„Diese Entdeckung auf Mechanismusebene inspirierte unsere Vermutung: Der Grund, warum CoT die Fähigkeit großer Modelle zum arithmetischen Denken stimulieren kann, könnte darin liegen, dass es Neuronen effektiv aktivieren kann, die arithmetische Denkkonzepte in der Transformer-Feedforward-Schicht darstellen, und diese Neuronen stärken.“ die arithmetische Denkfähigkeit großer Modelle“, sagte das Forschungsteam.

Auf dieser Grundlage fragte sich die Forschungsgruppe, ob es einen Mechanismus gibt, der die arithmetischen Denkfähigkeiten großer Modelle, insbesondere kleinerer großer Modelle, direkt verbessern kann.

Das Team stellte fest: „Dies ist eine sehr bedeutsame Sache, da kleine große Modelle eine einzigartige Recheneffizienz, Wirtschaftlichkeit und Sicherheit genießen.“

Darüber hinaus wurden im gleichen Zeitraum auch einige Forschungsarbeiten durchgeführt, um die Fähigkeiten kleiner großer Modelle in bestimmten Bereichen oder Aufgaben durch die Erfassung hochwertiger Daten oder die Änderung der Trainingszielfunktion zu verbessern. Allerdings befindet sich die Anwendung mechanistischer Interpretierbarkeit diesbezüglich noch im Anfangsstadium.

Trotzdem verlief der wissenschaftliche Forschungsprozess des Teams nicht reibungslos und sie standen am Anfang sogar vor dem Problem, festzustecken.

Die größte Schwierigkeit besteht darin, dass sie den internen Mechanismus großer Modelle für das arithmetische Denken nicht vollständig verstehen und natürlich nicht die gewünschte Modellkontrolle erreichen können.

„Deshalb beschlossen mein Student Lai, der Erstautor der Arbeit, und ich, uns zunächst auf die Erklärung des arithmetischen Denkens großer Modelle zu konzentrieren“, sagte Yao Ziyu.

Doch bald stießen sie auf die nächste Schwierigkeit.

„Arithmetisches Denken“ ist ein hochabstraktes Konzept und die Vorhersagen großer Modelle werden auf der Ebene spezifischer Vokabulareinheiten durchgeführt.

Wenn wir die arithmetische Argumentationsfähigkeit großer Modelle aus der Perspektive der „konzeptuellen Verstärkung von Neuronen im lexikalischen Raum“ verstehen wollen, müssen wir dieses hochabstrakte Konzept zunächst in spezifische Konzepte auf lexikalischer Ebene umsetzen.

Um diese Lücke zu schließen, fasste die Forschungsgruppe zunächst eine Reihe untergeordneter Konzepte im Zusammenhang mit dem arithmetischen Denken zusammen, darunter arithmetische Operatoren, logische Sprachausdrücke im arithmetischen Denken und andere Konzepte des arithmetischen Rechnens.

Und indem GPT-4 verwendet wird, um Neuronen, die diese Low-Level-Konzepte ausdrücken, effizient zu kennzeichnen und zu durchsuchen. Anschließend verwiesen sie auf frühere Studien, um diese gesuchten Neuronen zu verifizieren.

„Die experimentellen Ergebnisse beweisen, dass diese Neuronen tatsächlich eine wichtige Rolle im großen Modell unseres Experiments spielen“, sagte Llama2.

Dies gibt ihnen auch mehr Selbstvertrauen, die Forschung in diese Richtung fortzusetzen.

Sie dachten daran, die Aktivierungszustände dieser Neuronen zu nutzen, um die Wirkung von CoT auf die arithmetische Denkfähigkeit großer Modelle einheitlich zu erklären, einschließlich der Erklärung mehrerer in früheren Arbeiten beobachteter Phänomene.

Die Ergebnisse bestätigten im Wesentlichen ihre Vermutung, dass die stimulierende Wirkung verschiedener Komponenten von CoT auf die arithmetische Denkfähigkeit großer Modelle durch die Aktivierung relevanter Neuronen erklärt werden kann.

Die Studie wies jedoch auch darauf hin, dass die neuronale Aktivierung nicht die gesamte arithmetische Denkleistung des großen Modells erklärte. Gleichzeitig muss noch weiter überprüft werden, ob die Erkenntnisse der Forscher zu Llama2 auf andere große Modellgruppen anwendbar sind.

Es wird auch berichtet, dass das Labor von Yao Ziyu derzeit über eine Reihe von Vollstipendienplätzen für Doktoranden verfügt, die im Herbst 2025 aufgenommen werden können. Weitere Informationen finden Sie auf der Website des Teams unter https://ziyuyao.org/ oder per E-Mail.

Verweise:

1.Wei, Jason, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V. Le und Denny Zhou. Chain-of-Think-Prompting löst Schlussfolgerungen in großen Sprachmodellen aus.Advances in neural information processing systems 35 (2022): 24824-24837.https://doi.org/10.48550/arXiv.2201.11903

2.Daking, Rai, Ziyu, Yao, Eine Untersuchung der Neuronenaktivierung als einheitliche Linse zur Erklärung von Gedankenketten, die arithmetische Argumentation von LLMs hervorrufen.arXiv:2406.12288.https://doi.org/10.48550/arXiv.2406.12288

3.OpenAI. Einführung von Superalignment. https://openai.com/index/introducing-superalignment/. 2023.

4.Geva, Mor, Avi Caciularu, Kevin Wang und Yoav Goldberg.Transformer Feed-Forward-Schichten erstellen Vorhersagen, indem sie Konzepte im Vokabularraum fördern.InProceedings der Konferenz 2022 über empirische Methoden in der Verarbeitung natürlicher Sprache, S. 30-45. 2022.https://arxiv.org/abs/2203.14680

Satz: Chu Jiashi

01/

02/

03/

04/

05/