2024-08-19
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Maschinenherzbericht
Herausgeber: Panda
Mamba ist gut, aber seine Entwicklung steht noch am Anfang.
Es gibt viele Deep-Learning-Architekturen, aber die erfolgreichste der letzten Jahre ist Transformer, die ihre Dominanz in mehreren Anwendungsfeldern etabliert hat.
Ein wesentlicher Faktor für diesen Erfolg ist der Aufmerksamkeitsmechanismus, der es Transformer-basierten Modellen ermöglicht, sich auf relevante Teile der Eingabesequenz zu konzentrieren und so ein besseres Kontextverständnis zu erreichen. Der Nachteil des Aufmerksamkeitsmechanismus besteht jedoch darin, dass der Rechenaufwand hoch ist, der quadratisch mit der Eingabegröße zunimmt, was die Verarbeitung sehr langer Texte erschwert.
Glücklicherweise wurde vor einiger Zeit eine neue Architektur mit großem Potenzial geboren: das Structured State Space Sequence Model (SSM). Diese Architektur kann komplexe Abhängigkeiten in Sequenzdaten effizient erfassen und ist damit ein leistungsstarker Gegner von Transformer.
Das Design dieses Modelltyps ist vom klassischen Zustandsraummodell inspiriert – wir können es uns als Fusionsmodell aus wiederkehrenden neuronalen Netzen und Faltungs-Neuronalen Netzen vorstellen. Sie können mithilfe von Schleifen- oder Faltungsoperationen effizient berechnet werden, wodurch der Rechenaufwand linear oder nahezu linear mit der Sequenzlänge skaliert werden kann, wodurch die Rechenkosten erheblich gesenkt werden.
Genauer gesagt verfügt Mamba, eine der erfolgreichsten Varianten von SSM, über Modellierungsfunktionen, die mit denen von Transformer vergleichbar sind, und behält gleichzeitig die lineare Skalierbarkeit mit der Sequenzlänge bei.
Mamba führt zunächst einen einfachen, aber effektiven Auswahlmechanismus ein, der SSMs basierend auf Eingaben neu parametrisiert und es dem Modell ermöglicht, notwendige und relevante Daten auf unbestimmte Zeit beizubehalten und gleichzeitig irrelevante Informationen herauszufiltern. Darüber hinaus enthält Mamba auch einen hardwarebewussten Algorithmus, der Scans anstelle von Faltungen verwendet, um das Modell iterativ zu berechnen, was die Berechnungsgeschwindigkeit auf der A100-GPU um das Dreifache erhöhen kann.
Wie in Abbildung 1 dargestellt, hat sich Mamba mit seiner leistungsstarken Fähigkeit zur Modellierung komplexer Langsequenzdaten und nahezu linearer Skalierbarkeit als Basismodell herausgestellt und wird voraussichtlich mehrere Forschungs- und Entwicklungsbereiche wie Computer Vision, Verarbeitung natürlicher Sprache und Medizin revolutionieren Pflege. Anwendungsgebiete.
Daher wächst die Literatur zur Forschung und Anwendung von Mamba schnell und ist schwindelerregend, und ein umfassender Übersichtsbericht wird von großem Nutzen sein. Kürzlich veröffentlichte ein Forschungsteam der Hong Kong Polytechnic University seine Beiträge auf arXiv.
Dieser Überprüfungsbericht fasst Mamba aus mehreren Perspektiven zusammen, was nicht nur Anfängern helfen kann, den grundlegenden Arbeitsmechanismus von Mamba zu erlernen, sondern auch erfahrenen Praktikern helfen kann, die neuesten Fortschritte zu verstehen.
Mamba ist eine beliebte Forschungsrichtung und daher versuchen viele Teams, Übersichtsberichte zu verfassen. Zusätzlich zu dem in diesem Artikel vorgestellten Bericht gibt es weitere Übersichtsartikel, die sich auf Zustandsraummodelle oder visuelle Mamba konzentrieren :
Vorkenntnisse
Mamba kombiniert das zyklische Framework des Recurrent Neural Network (RNN), den parallelen Rechen- und Aufmerksamkeitsmechanismus des Transformers und die linearen Eigenschaften des State Space Model (SSM). Um Mamba vollständig zu verstehen, müssen Sie daher zunächst diese drei Architekturen verstehen.
wiederkehrendes neuronales Netzwerk
Rekurrente neuronale Netze (RNN) sind aufgrund ihrer Fähigkeit, den internen Speicher beizubehalten, gut für die Verarbeitung von Sequenzdaten geeignet.
Insbesondere verarbeitet ein Standard-RNN bei jedem diskreten Zeitschritt k einen Vektor zusammen mit dem verborgenen Zustand des vorherigen Zeitschritts, gibt dann einen anderen Vektor aus und aktualisiert den verborgenen Zustand. Dieser verborgene Zustand kann als Speicher des RNN verwendet werden, der die in der Vergangenheit gesehenen Eingabeinformationen behalten kann. Dieser dynamische Speicher ermöglicht es RNN, Sequenzen unterschiedlicher Länge zu verarbeiten.
Das heißt, RNN ist ein nichtlineares wiederkehrendes Modell, das zeitliche Muster effektiv erfasst, indem es historisches Wissen nutzt, das in verborgenen Zuständen gespeichert ist.
Transformator
Der Selbstaufmerksamkeitsmechanismus von Transformer hilft dabei, globale Abhängigkeiten zwischen Eingaben zu erfassen. Dies erfolgt durch die Zuweisung von Gewichtungen zu jeder Position basierend auf ihrer Bedeutung im Verhältnis zu anderen Positionen. Genauer gesagt wird die ursprüngliche Eingabe zunächst linear transformiert, um die Folge x der Eingabevektoren in drei Arten von Vektoren umzuwandeln: Abfrage Q, Schlüssel K und Wert V.
Anschließend wird der normalisierte Aufmerksamkeitswert S berechnet und das Aufmerksamkeitsgewicht berechnet.
Wir sind nicht nur in der Lage, eine einzelne Aufmerksamkeitsfunktion auszuführen, sondern können auch eine Mehrkopfaufmerksamkeit ausführen. Dadurch kann das Modell verschiedene Arten von Beziehungen erfassen und Eingabesequenzen aus mehreren Perspektiven verstehen. Multi-Head-Aufmerksamkeit verwendet mehrere Sätze von Selbstaufmerksamkeitsmodulen, um Eingabesequenzen parallel zu verarbeiten. Jeder dieser Köpfe arbeitet unabhängig und führt die gleichen Berechnungen durch wie Standardmechanismen der Selbstaufmerksamkeit.
Anschließend werden die Aufmerksamkeitsgewichte jedes Kopfes aggregiert und kombiniert, um die gewichtete Summe der Wertevektoren zu erhalten. Dieser Aggregationsschritt ermöglicht es dem Modell, Informationen aus mehreren Köpfen zu nutzen und viele verschiedene Muster und Beziehungen in der Eingabesequenz zu erfassen.
Zustandsraum
Das Zustandsraummodell (SSM) ist ein traditionelles mathematisches Rahmenwerk, mit dem sich das dynamische Verhalten eines Systems über die Zeit beschreiben lässt. In den letzten Jahren wurde SSM in vielen verschiedenen Bereichen wie Kybernetik, Robotik und Wirtschaft weit verbreitet eingesetzt.
Im Kern spiegelt SSM das Verhalten des Systems durch eine Reihe versteckter Variablen namens „Zustand“ wider und ermöglicht so die effektive Erfassung der Abhängigkeiten von Zeitdaten. Im Gegensatz zu RNN ist SSM ein lineares Modell mit assoziativen Eigenschaften. Insbesondere erstellt das klassische Zustandsraummodell zwei Schlüsselgleichungen (Zustandsgleichung und Beobachtungsgleichung), um die Beziehung zwischen Eingabe x und Ausgabe y zum aktuellen Zeitpunkt t durch einen N-dimensionalen verborgenen Zustand h (t) zu modellieren.
Um die Anforderungen des maschinellen Lernens zu erfüllen, muss SSM einem Diskretisierungsprozess unterzogen werden, bei dem kontinuierliche Parameter in diskrete Parameter umgewandelt werden. Im Allgemeinen besteht das Ziel von Diskretisierungsverfahren darin, die kontinuierliche Zeit in K diskrete Intervalle mit möglichst gleicher Integralfläche zu unterteilen. Um dieses Ziel zu erreichen, ist eine der repräsentativsten Lösungen von SSM Zero-Order Hold (ZOH), die davon ausgeht, dass der Funktionswert im Intervall Δ = [_{−1}, _ ] konstant bleibt. Diskreter SSM hat eine ähnliche Struktur wie ein wiederkehrendes neuronales Netzwerk, sodass diskreter SSM den Inferenzprozess effizienter durchführen kann als transformatorbasierte Modelle.
Das diskrete SSM ist ein lineares System mit assoziativen Eigenschaften und kann daher nahtlos in Faltungsberechnungen integriert werden.
Die Beziehung zwischen RNN, Transformer und SSM
Abbildung 2 zeigt die Berechnungsalgorithmen von RNN, Transformer und SSM.
Einerseits basieren herkömmliche RNNs auf einem nichtlinearen wiederkehrenden Framework, bei dem jede Berechnung nur vom vorherigen verborgenen Zustand und der aktuellen Eingabe abhängt.
Obwohl diese Form es RNN ermöglicht, während der autoregressiven Inferenz schnell eine Ausgabe zu generieren, erschwert sie es RNN auch, die parallele Rechenleistung der GPU vollständig zu nutzen, was zu einem langsameren Modelltraining führt.
Die Transformer-Architektur hingegen führt Matrixmultiplikationen für mehrere Abfrage-Schlüssel-Paare parallel durch, und Matrixmultiplikationen können effizient Hardwareressourcen zugewiesen werden, was ein schnelleres Training aufmerksamkeitsbasierter Modelle ermöglicht. Wenn Sie jedoch möchten, dass ein Transformer-basiertes Modell Antworten oder Vorhersagen generiert, kann der Inferenzprozess sehr zeitaufwändig sein.
Im Gegensatz zu RNN und Transformer, die nur einen Berechnungstyp unterstützen, ist diskretes SSM aufgrund seiner linearen Natur sehr flexibel und kann sowohl Schleifenberechnungen als auch Faltungsberechnungen unterstützen. Mit dieser Funktion kann SSM nicht nur eine effiziente Inferenz, sondern auch ein paralleles Training erzielen. Es sollte jedoch darauf hingewiesen werden, dass das gängigste SSM zeitinvariant ist, d. h. seine A, B, C und Δ sind unabhängig von der Modelleingabe x. Dadurch werden seine kontextsensitiven Modellierungsfunktionen eingeschränkt, was dazu führt, dass SSM bei einigen spezifischen Aufgaben, wie z. B. selektivem Kopieren, eine schlechte Leistung erbringt.
Mamba
Um die oben genannten Mängel des traditionellen SSM zu beheben und eine kontextbewusste Modellierung zu erreichen, schlugen Albert Gu und Tri Dao Mamba vor, das als Backbone-Netzwerk eines universellen Sequenz-Grundmodells verwendet werden kann. Siehe den Machine Heart-Bericht „Fünffacher Durchsatz“. Leistung umgibt Transformer umfassend: Die neue Architektur Mamba sprengt den KI-Kreis.
Danach schlugen die beiden Mamba-2 vor, in dem die Structured Space-State Duality (SSD/Structured Space-State Duality) einen robusten theoretischen Rahmen konstruierte, der strukturierte SSM mit verschiedenen Formen der Aufmerksamkeit verbindet. Dies ermöglicht uns die Migration die ursprünglich für Transformer to SSM entwickelten Algorithmen und Systemoptimierungstechnologien. Sie können sich auch den Heart of the Machine-Bericht „Fighting Transformer Again!“ ansehen. Mamba 2 unter der Leitung des ursprünglichen Autors ist da und die Trainingseffizienz der neuen Architektur wurde erheblich verbessert.“
Mamba-1: Selektives Zustandsraummodell unter Verwendung hardwarebewusster Algorithmen
Mamba-1 führt drei wichtige innovative Technologien ein, die auf dem strukturierten Zustandsraummodell basieren, nämlich Speicherinitialisierung, Auswahlmechanismus und hardwarebewusstes Rechnen auf Basis des High-Order Polynomial Projection Operator (HiPPO). Wie in Abbildung 3 dargestellt. Das Ziel dieser Techniken besteht darin, die langfristigen linearen Zeitreihenmodellierungsfunktionen von SSM zu verbessern.
Insbesondere erstellt die Initialisierungsstrategie eine kohärente Matrix für verborgene Zustände, um das Langstreckengedächtnis effektiv zu fördern.
Auswahlmechanismen ermöglichen es SSM dann, Darstellungen wahrnehmbarer Inhalte zu erfassen.
Um die Trainingseffizienz zu verbessern, enthält Mamba schließlich auch zwei hardwarebewusste Computeralgorithmen: Parallel Associative Scan und Memory Recomputation.
Mamba-2: Zustandsraumdualität
Transformer hat die Entwicklung vieler verschiedener Technologien inspiriert, beispielsweise der Parameter-effizienten Feinabstimmung, der Minderung katastrophalen Vergessens und der Modellquantisierung. Damit Zustandsraummodelle auch von diesen ursprünglich für Transformer entwickelten Technologien profitieren können, führt Mamba-2 ein neues Framework ein: Structured State Space Duality (SSD). Dieser Rahmen verbindet theoretisch SSM und verschiedene Formen der Aufmerksamkeit.
SSD zeigt im Wesentlichen, dass sowohl der von Transformer verwendete Aufmerksamkeitsmechanismus als auch das in SSM verwendete lineare zeitinvariante System als semi-separierbare Matrixtransformationen angesehen werden können.
Darüber hinaus haben Albert Gu und Tri Dao auch bewiesen, dass selektives SSM einem strukturierten linearen Aufmerksamkeitsmechanismus entspricht, der unter Verwendung einer halbseparierbaren Maskenmatrix implementiert wird.
Mamba-2 entwirft eine auf SSD basierende Rechenmethode, die mithilfe eines Blockzerlegungsmatrix-Multiplikationsalgorithmus die Hardware effizienter nutzt.
Insbesondere durch die Behandlung des Zustandsraummodells durch diese Matrixtransformation als semi-separierbare Matrix ist Mamba-2 in der Lage, diese Berechnung in Matrixblöcke zu zerlegen, wobei die diagonalen Blöcke Intra-Block-Berechnungen darstellen. Während Off-Diagonal-Blöcke eine Inter-Block-Berechnung durch versteckte Zustandszerlegung von SSM darstellen. Mit dieser Methode ist die Trainingsgeschwindigkeit von Mamba-2 zwei- bis achtmal schneller als die des parallelen Korrelationsscans von Mamba-1, während die Leistung mit der von Transformer vergleichbar ist.
Mamba-Block
Werfen wir einen Blick auf die Blockdesigns von Mamba-1 und Mamba-2. Abbildung 4 vergleicht die beiden Architekturen.
Das Design von Mamba-1 ist SSM-zentriert, wobei die Aufgabe der selektiven SSM-Schicht darin besteht, die Zuordnung von der Eingabesequenz X zu Y durchzuführen. In diesem Entwurf wird nach der anfänglichen Erstellung einer linearen Projektion von X eine lineare Projektion von (A, B, C) verwendet. Anschließend werden das Eingabe-Token und die Zustandsmatrix mithilfe der Parallelkorrelation durch die selektive SSM-Einheit gescannt, um die Ausgabe Y zu erhalten. Anschließend übernimmt Mamba-1 eine Skip-Verbindung, um die Wiederverwendung von Funktionen zu fördern und das Problem der Leistungseinbußen zu lindern, das beim Modelltraining häufig auftritt. Schließlich wird das Mamba-Modell erstellt, indem dieses Modul abwechselnd mit Standardnormalisierung und Restverbindungen gestapelt wird.
Wie bei Mamba-2 wird die SSD-Schicht eingeführt, um eine Zuordnung von [X, A, B, C] zu Y zu erstellen. Dies wird erreicht, indem eine einzelne Projektion am Anfang des Blocks verwendet wird, um [X, A, B, C] gleichzeitig zu verarbeiten, ähnlich wie Standard-Aufmerksamkeitsarchitekturen Q-, K- und V-Projektionen parallel generieren.
Das heißt, der Mamba-2-Block wird basierend auf dem Mamba-1-Block vereinfacht, indem die lineare Projektion der Sequenz entfernt wird. Dadurch kann die SSD-Architektur Berechnungen schneller durchführen als der parallele selektive Scan von Mamba-1. Um die Trainingsstabilität zu verbessern, fügt Mamba-2 außerdem eine Normalisierungsschicht nach der Sprungverbindung hinzu.
Das Mamba-Modell entwickelt sich weiter
Das State-Space-Modell und Mamba haben sich in letzter Zeit rasant weiterentwickelt und sind zu einem Basismodell für Backbone-Netzwerke mit großem Potenzial geworden. Obwohl Mamba bei der Verarbeitung natürlicher Sprache eine gute Leistung erbringt, weist es im Vergleich zu Transformer-basierten Sprachmodellen immer noch einige Probleme auf, wie z. B. Gedächtnisverlust, Schwierigkeiten bei der Verallgemeinerung auf verschiedene Aufgaben und schlechte Leistung bei komplexen Mustern. Um diese Probleme zu lösen, hat die Forschungsgemeinschaft viele Verbesserungen an der Mamba-Architektur vorgeschlagen. Die bestehende Forschung konzentriert sich hauptsächlich auf das Design von Modifikationsblöcken, Scanmuster und Speicherverwaltung. Tabelle 1 fasst relevante Studien nach Kategorien zusammen.
Blockdesign
Das Design und die Struktur des Mamba-Blocks haben einen großen Einfluss auf die Gesamtleistung des Mamba-Modells und sind daher zu einem wichtigen Forschungsschwerpunkt geworden.
Wie in Abbildung 5 dargestellt, kann die bestehende Forschung basierend auf unterschiedlichen Methoden zum Aufbau neuer Mamba-Module in drei Kategorien unterteilt werden:
Scanmodus
Das parallele Korrelationsscannen ist eine Schlüsselkomponente innerhalb des Mamba-Modells. Ziel ist es, die durch den Auswahlmechanismus verursachten Rechenprobleme zu lösen, die Geschwindigkeit des Trainingsprozesses zu verbessern und den Speicherbedarf zu reduzieren. Dies wird erreicht, indem die lineare Natur zeitlich variierender SSMs ausgenutzt wird, um Kernfusion und Neuberechnung auf Hardwareebene zu entwerfen. Das einseitige Sequenzmodellierungsparadigma von Mamba eignet sich jedoch nicht für das umfassende Lernen verschiedener Daten wie Bilder und Videos.
Um dieses Problem zu lösen, haben einige Forscher neue effiziente Scanmethoden erforscht, um die Leistung des Mamba-Modells zu verbessern und seinen Trainingsprozess zu erleichtern. Wie in Abbildung 6 dargestellt, lassen sich die vorhandenen Forschungsergebnisse im Hinblick auf die Entwicklung von Scanmodi in zwei Kategorien einteilen:
Speicherverwaltung
Ähnlich wie bei RNN speichert der Speicher verborgener Zustände innerhalb des Zustandsraummodells effektiv die Informationen vorheriger Schritte und hat daher einen entscheidenden Einfluss auf die Gesamtleistung von SSM. Obwohl Mamba eine HiPPO-basierte Methode zur Speicherinitialisierung einführt, ist es immer noch schwierig, den Speicher in der SSM-Einheit zu verwalten, einschließlich der Übertragung versteckter Informationen vor Schichten und der Erzielung einer verlustfreien Speicherkomprimierung.
Zu diesem Zweck haben mehrere bahnbrechende Studien eine Reihe unterschiedlicher Lösungen vorgeschlagen, darunter Speicherinitialisierung, Komprimierung und Verkettung.
Passen Sie Mamba an verschiedene Daten an
Die Mamba-Architektur ist eine Erweiterung des selektiven Zustandsraummodells. Sie verfügt über die grundlegenden Eigenschaften des zyklischen Modells und eignet sich daher sehr gut als allgemeines Basismodell für die Verarbeitung von Sequenzdaten wie Text, Zeitreihen und Sprache.
Darüber hinaus haben einige aktuelle Pionierforschungen die Anwendungsszenarien der Mamba-Architektur erweitert, sodass sie nicht nur Sequenzdaten verarbeiten, sondern auch in Bereichen wie Bildern und Karten verwendet werden kann, wie in Abbildung 7 dargestellt.
Das Ziel dieser Studien besteht darin, die hervorragende Fähigkeit von Mamba, langfristige Abhängigkeiten zu ermitteln, und seine Effizienz bei Lern- und Argumentationsprozessen voll auszunutzen. Tabelle 2 fasst diese Forschungsergebnisse kurz zusammen.
Sequenzdaten
Sequenzdaten beziehen sich auf Daten, die in einer bestimmten Reihenfolge gesammelt und organisiert werden, wobei die Reihenfolge der Datenpunkte von Bedeutung ist. Dieser Übersichtsbericht fasst umfassend die Anwendung von Mamba auf eine Vielzahl von Sequenzdaten zusammen, darunter natürliche Sprach-, Video-, Zeitreihen-, Sprach- und menschliche Bewegungsdaten. Einzelheiten finden Sie im Originalpapier.
nicht sequentielle Daten
Im Gegensatz zu sequentiellen Daten folgen nichtsequentielle Daten keiner bestimmten Reihenfolge. Seine Datenpunkte können in beliebiger Reihenfolge organisiert werden, ohne dass die Bedeutung der Daten wesentlich beeinträchtigt wird. Dieser Mangel an inhärenter Ordnung kann für wiederkehrende Modelle (RNN, SSM usw.), die speziell auf die Erfassung zeitlicher Abhängigkeiten in den Daten ausgelegt sind, schwierig zu bewältigen sein.
Überraschenderweise haben einige neuere Forschungsarbeiten es Mamba (einem repräsentativen SSM) erfolgreich ermöglicht, nicht sequentielle Daten, einschließlich Bilder, Karten und Punktwolkendaten, effizient zu verarbeiten.
multimodale Daten
Um die Wahrnehmungs- und Szenenverständnisfähigkeiten der KI zu verbessern, können Daten aus mehreren Modalitäten integriert werden, beispielsweise Sprache (sequentielle Daten) und Bilder (nicht sequentielle Daten). Eine solche Integration kann sehr wertvolle und ergänzende Informationen liefern.
In den letzten Jahren waren multimodale große Sprachmodelle (MLLM) der beliebteste Forschungsschwerpunkt. Diese Art von Modell erbt die leistungsstarken Fähigkeiten großer Sprachmodelle (LLM), einschließlich leistungsstarker Sprachausdrucks- und logischer Argumentationsfähigkeiten. Obwohl sich Transformer zur dominierenden Methode auf diesem Gebiet entwickelt hat, entwickelt sich Mamba auch zu einem starken Konkurrenten. Seine Leistung bei der Ausrichtung gemischter Quelldaten und der Erzielung einer linearen Komplexitätsskalierung mit der Sequenzlänge macht Mamba zu einem vielversprechenden Ersatz für Transformer.
Anwendung
Im Folgenden werden einige bemerkenswerte Anwendungen Mamba-basierter Modelle vorgestellt. Das Team teilte diese Anwendungen in die folgenden Kategorien ein: Verarbeitung natürlicher Sprache, Computer Vision, Sprachanalyse, Arzneimittelentwicklung, Empfehlungssysteme sowie Robotik und autonome Systeme.
Wir werden es hier nicht zu sehr vorstellen, Einzelheiten finden Sie im Originalpapier.
Herausforderungen und Chancen
Obwohl Mamba in einigen Bereichen herausragende Leistungen erbracht hat, steckt die Mamba-Forschung insgesamt noch in den Kinderschuhen und es müssen noch einige Herausforderungen bewältigt werden. Natürlich sind diese Herausforderungen auch Chancen.
Sammeln und organisieren Sie die neuesten Nachrichteninformationen und stellen Sie sie für alle kostenlos zur Verfügung.
