Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Wir schreiben das Jahr 2024. Gibt es jemanden, der immer noch nicht versteht, wie Transformer funktioniert? Kommen Sie und probieren Sie dieses interaktive Tool aus.

Im Jahr 2017 schlug Google Transformer in dem Artikel „Attention is all you need“ vor, der einen großen Durchbruch im Bereich Deep Learning darstellte. Die Anzahl der Zitate dieses Artikels beträgt fast 130.000. Alle nachfolgenden Modelle der GPT-Familie basieren ebenfalls auf der Transformer-Architektur, was ihren großen Einfluss zeigt.

Als neuronale Netzwerkarchitektur ist Transformer bei einer Vielzahl von Aufgaben von Text bis Vision beliebt, insbesondere im derzeit heißen Bereich der KI-Chatbots.

Für viele Laien bleibt das Innenleben von Transformer jedoch weiterhin undurchsichtig, was ihr Verständnis und ihre Teilnahme erschwert. Daher ist es besonders notwendig, diese Architektur zu entmystifizieren. Viele Blogs, Video-Tutorials und 3D-Visualisierungen betonen jedoch häufig die Komplexität der Mathematik und der Modellimplementierung, was Anfänger möglicherweise verwirren kann. Gleichzeitig konzentrieren sich Visualisierungsarbeiten für KI-Praktiker auf die neuronale und hierarchische Interpretierbarkeit und sind für Nicht-Experten eine Herausforderung.

So entwickelten sich mehrere Forscher am Georgia Tech und IBM ResearchEin webbasiertes, interaktives Open-Source-Visualisierungstool „Transformer Explainer“, das Laien dabei hilft, die erweiterte Modellstruktur und die einfachen mathematischen Operationen von Transformer zu verstehen. Wie in Abbildung 1 unten dargestellt.

Transformer Explainer erklärt das Innenleben von Transformer durch Textgenerierung mitSankey-Diagramm-Visualisierungsdesign, inspiriert von neueren Arbeiten, die Transformer als dynamische Systeme behandeln und den Fluss von Eingabedaten durch Modellkomponenten betonen. Anhand der Ergebnisse veranschaulicht das Sankey-Diagramm effektiv, wie Informationen im Modell übertragen werden, und zeigt, wie die Eingabe durch Transformer-Operationen verarbeitet und transformiert wird.

Inhaltlich integriert Transformer Explainer eng eine Modellübersicht, die die Transformer-Struktur zusammenfasst und Benutzern einen reibungslosen Übergang zwischen mehreren Abstraktionsebenen ermöglicht, um die Interaktion zwischen mathematischen Operationen auf niedriger Ebene und Modellstrukturen auf hoher Ebene zu visualisieren und ihnen das vollständige Verständnis komplexer Konzepte zu erleichtern im Transformer.

In Bezug auf die Funktionalität bietet Transformer Explainer nicht nur eine webbasierte Implementierung, sondern verfügt auch über Echtzeit-Argumentationsfähigkeiten. Im Gegensatz zu vielen vorhandenen Tools, die eine benutzerdefinierte Softwareinstallation erfordern oder über keine Inferenzfunktionen verfügen, integriert es ein Echtzeit-GPT-2-Modell, das mithilfe eines modernen Front-End-Frameworks nativ im Browser ausgeführt wird. Benutzer können interaktiv mit ihrem Eingabetext experimentieren und in Echtzeit beobachten, wie die internen Komponenten und Parameter des Transformers zusammenarbeiten, um den nächsten Token vorherzusagen.

Transformer Explainer erweitert den Zugang zu modernen generativen KI-Technologien, ohne dass fortgeschrittene Computerressourcen, Installations- oder Programmierkenntnisse erforderlich sind. Der Grund für die Wahl von GPT-2 liegt darin, dass das Modell bekannt ist, eine hohe Inferenzgeschwindigkeit aufweist und in seiner Architektur fortgeschritteneren Modellen wie GPT-3 und GPT-4 ähnelt.

Papieradresse: https://arxiv.org/pdf/2408.04619

GitHub-Adresse: http://poloclub.github.io/transformer-explainer/

Online-Erlebnisadresse: https://t.co/jyBlJTMa7m

视频链接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==∣=2650929831&idx=1&sn=d0e5c01537def9f92c64dda2ea3c6626&chksm=84e43ed9b393b7cf177 414848deaed70ac2a5b1522a12e3399920d4862e398c113b96af7b76e&token=522918026⟨=zh_CN#rd

Da es die Selbsteingabe unterstützt, hat Machine Heart auch „Was für ein schöner Tag“ ausprobiert. Die laufenden Ergebnisse sind in der folgenden Abbildung dargestellt.

Viele Internetnutzer haben Transformer Explainer hoch gelobt. Manche Leute sagen, dass dies ein sehr cooles interaktives Tool ist.

Einige Leute sagen, dass sie auf ein intuitives Tool gewartet haben, um Selbstaufmerksamkeit und Positionscodierung zu erklären, nämlich Transformer Explainer. Es wird ein Game-Changer sein.

Jemand anderes hat eine chinesische Übersetzung angefertigt.

Anzeigeadresse: http://llm-viz-cn.iiiai.com/llm

Hier muss ich an Karpathy denken, eine weitere großartige Persönlichkeit der Populärwissenschaft. Er hat bereits viele Tutorials zur Reproduktion von GPT-2 geschrieben, darunter „Pure C language hand-rolling GPT-2, das neue Projekt der ehemaligen OpenAI und Tesla“. Führungskräfte sind beliebt.“ „, „Karpathys neuestes vierstündiges Video-Tutorial: Reproduzieren Sie GPT-2 von Grund auf, führen Sie es über Nacht aus und erledigen Sie es“ usw. Da es nun ein Visualisierungstool für die internen Prinzipien von Transformer gibt, scheint der Lerneffekt besser zu sein, wenn beide zusammen verwendet werden.

Design und Implementierung des Transformer Explainer-Systems

Transformer Explainer zeigt visuell, wie das Transformer-basierte GPT-2-Modell darauf trainiert wird, Texteingaben zu verarbeiten und das nächste Token vorherzusagen. Das Front-End verwendet Svelte und D3, um interaktive Visualisierung zu implementieren, und das Back-End verwendet die ONNX-Laufzeit und die Transformers-Bibliothek von HuggingFace, um das GPT-2-Modell im Browser auszuführen.

Eine große Herausforderung beim Entwurf von Transformer Explainer bestand darin, die Komplexität der zugrunde liegenden Architektur zu bewältigen, da die gleichzeitige Darstellung aller Details vom Kern ablenken würde. Um dieses Problem zu lösen, legten die Forscher großen Wert auf zwei wichtige Designprinzipien.

Erstens reduzieren Forscher die Komplexität durch mehrere Abstraktionsebenen. Sie strukturieren ihre Werkzeuge, um Informationen auf verschiedenen Abstraktionsebenen darzustellen. Dies vermeidet eine Informationsüberflutung, da Benutzer mit einem allgemeinen Überblick beginnen und sich bei Bedarf bis ins Detail vorarbeiten können. Auf der höchsten Ebene zeigt das Tool den gesamten Verarbeitungsablauf: vom Empfang des vom Benutzer bereitgestellten Texts als Eingabe (Abbildung 1A), über die Einbettung, die Verarbeitung durch mehrere Transformer-Blöcke und die Verwendung der verarbeiteten Daten zur Vorhersage der wahrscheinlichsten nächsten A-Token-Vorhersage ist sortiert.

Zwischenoperationen wie die Berechnung der Aufmerksamkeitsmatrix (Abbildung 1C), die standardmäßig eingeklappt sind, um die Bedeutung der Berechnungsergebnisse visuell anzuzeigen, können vom Benutzer erweitert und der Ableitungsprozess durch eine animierte Sequenz angezeigt werden. Die Forscher verwendeten eine konsistente visuelle Sprache, etwa das Stapeln von Aufmerksamkeitsköpfen und das Zusammenklappen wiederholter Transformer-Blöcke, um Benutzern dabei zu helfen, sich wiederholende Muster in der Architektur zu erkennen und gleichzeitig einen durchgängigen Datenfluss aufrechtzuerhalten.

Zweitens verbessern Forscher das Verständnis und das Engagement durch Interaktivität. Der Temperaturparameter ist entscheidend für die Steuerung der Ausgabewahrscheinlichkeitsverteilung des Transformators. Er beeinflusst die Sicherheit (bei niedrigen Temperaturen) oder die Zufälligkeit (bei hohen Temperaturen) der nächsten Token-Vorhersage. Aber bestehende Bildungsressourcen zu Transformers ignorieren diesen Aspekt oft. Benutzer können dieses neue Tool nun nutzen, um Temperaturparameter in Echtzeit anzupassen (Abbildung 1B) und ihre entscheidende Rolle bei der Kontrolle der Vorhersagesicherheit zu visualisieren (Abbildung 2).

Darüber hinaus können Benutzer aus bereitgestellten Beispielen auswählen oder ihren eigenen Text eingeben (Abbildung 1A). Durch die Unterstützung von benutzerdefiniertem Eingabetext können Benutzer intensiver teilnehmen, indem sie das Verhalten des Modells unter verschiedenen Bedingungen analysieren und ihre eigenen Annahmen basierend auf verschiedenen Texteingaben interaktiv testen.

Was sind also die praktischen Anwendungsszenarien?

Professor Rousseau modernisiert die Kursinhalte im Kurs zur Verarbeitung natürlicher Sprache, um die jüngsten Fortschritte in der generativen KI hervorzuheben. Sie bemerkte, dass einige Studenten Transformer-basierte Modelle als schwer fassbare „Magie“ betrachteten, während andere verstehen wollten, wie die Modelle funktionierten, aber nicht sicher waren, wo sie anfangen sollten.

Um dieses Problem zu lösen, führte sie die Schüler dazu an, Transformer Explainer zu verwenden, der einen interaktiven Überblick über Transformer bietet (Abbildung 1) und die Schüler zum aktiven Experimentieren und Lernen ermutigt. Ihre Klasse hat mehr als 300 Schüler, und die Fähigkeit von Transformer Explainer, vollständig im Browser der Schüler zu laufen, ohne dass Software oder spezielle Hardware installiert werden muss, ist ein erheblicher Vorteil und beseitigt die Sorgen der Schüler über die Verwaltung der Software- oder Hardware-Einrichtung.

Dieses Tool führt Schüler durch animierte und interaktive reversible Abstraktionen in komplexe mathematische Operationen wie Aufmerksamkeitsberechnungen ein (Abbildung 1C). Dieser Ansatz hilft den Studierenden, sowohl ein umfassendes Verständnis der Abläufe als auch ein tiefes Verständnis der zugrunde liegenden Details zu erlangen, die zu diesen Ergebnissen führen.

Professor Rousseau erkannte auch, dass die technischen Fähigkeiten und Grenzen des Transformators manchmal personifiziert wurden (z. B. indem er Temperaturparameter als „Kreativitäts“-Kontrollen betrachtete). Indem sie die Schüler dazu ermutigte, mit dem Temperaturschieberegler zu experimentieren (Abbildung 1B), zeigte sie den Schülern, wie die Temperatur tatsächlich die Wahrscheinlichkeitsverteilung des nächsten Tokens verändert (Abbildung 2) und so die Zufälligkeit von Vorhersagen auf deterministische und kreativere Weise kontrolliert und ein Gleichgewicht zwischen ihnen herstellt Ausgänge.

Wenn das System außerdem den Token-Verarbeitungsprozess visualisiert, können Schüler erkennen, dass hier keine sogenannte „Magie“ vorliegt – unabhängig vom Eingabetext (Abbildung 1A) folgt das Modell einer genau definierten Abfolge von Vorgängen Probieren Sie jeweils einen Token aus und wiederholen Sie den Vorgang.

zukünftige Arbeit

Forscher verbessern die interaktiven Erklärungen des Tools, um das Lernerlebnis zu verbessern. Gleichzeitig verbessern sie die Inferenzgeschwindigkeit durch WebGPU und reduzieren die Modellgröße durch Komprimierungstechnologie. Sie planen außerdem, Benutzerforschung durchzuführen, um die Wirksamkeit und Benutzerfreundlichkeit von Transformer Explainer zu bewerten, zu beobachten, wie KI-Neulinge, Studenten, Pädagogen und Praktiker das Tool verwenden, und Feedback zu zusätzlichen Funktionen zu sammeln, die sie gerne unterstützt sehen würden.

Worauf warten Sie noch? Legen Sie los und erleben Sie es, brechen Sie die „magische“ Illusion von Transformer und verstehen Sie die Prinzipien dahinter wirklich.