Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Geschrieben von |. Ma Xuewei

Von der Verwendung von Medikamenten zur Stimulation des Gehirns in „Superbody“ bis hin zur Nutzung elektronischer Interferenzen, um in den Gehirnraum in der Cyberpunk-Kultur einzudringen, hatten Menschen viele Fantasien über die Möglichkeit der Manipulation des menschlichen Gehirns. Stellen wir uns vor,Was wäre, wenn Menschen tatsächlich jedes Neuron im menschlichen Gehirn direkt manipulieren könnten?

Bis dahin werden Menschen in der Lage sein, die Rolle dieser Neuronen bei der Wahrnehmung bestimmter Objekte direkt zu verstehen und hoffentlich einige sehr „Science-Fiction“-Dinge zu tun.

Im wirklichen Leben ist ein solches Experiment im menschlichen Gehirn kaum umsetzbar, in künstlichen neuronalen Netzen jedoch durchaus machbar. Da Modelle jedoch oft Millionen von Neuronen enthalten, sind sie zu groß und komplex und erfordern viel Arbeitskraft, um sie zu verstehen, was das Verständnis groß angelegter Modelle zu einer sehr anspruchsvollen Aufgabe macht.

Zu diesem Zweck hat ein Forschungsteam des MIT Computer Science and Artificial Intelligence Laboratory (MIT CSAIL) ein System auf den Markt gebracht, das neuronale Modelle verwendet, um Modellverständnisaufgaben automatisch durchzuführen – MAIA oder „Multimodale automatisch interpretierbare Agenten”。

MAIA verwendet vorab trainierte visuelle Sprachmodelle, um das Verständnis neuronaler Modelle zu automatisieren.Der modulare Aufbau ermöglicht MAIAFlexibilität zur Evaluierung jedes Systems und zum einfachen Hinzufügen neuer experimenteller Tools . Darüber hinaus kann es komplexe Experimente automatisieren, iterative experimentelle Methoden zum Testen von Hypothesen verwenden und Hypothesen basierend auf experimentellen Ergebnissen aktualisieren.

Jacob Steinhardt, Assistenzprofessor an der University of California in Berkeley, glaubt, dass die Erweiterung dieser Methoden eine der wichtigsten Möglichkeiten sein könnte, Systeme der künstlichen Intelligenz zu verstehen und sicher zu überwachen. Das Forscherteam glaubt jedoch daranDie erweiterte MAIA wird die menschliche Überwachung künstlicher Intelligenzsysteme nicht ersetzen . MAIA erfordert weiterhin eine menschliche Aufsicht, um Fehler wie Bestätigungsverzerrungen und Fehler bei der Bildgenerierung/-bearbeitung zu erkennen.

Was ist der tatsächliche Effekt?

Während bestehende automatisierte Interpretierbarkeitsmethoden Daten einfach einmal kennzeichnen oder visualisieren, ist MAIA in der Lage, Hypothesen zu generieren, Experimente zu entwerfen, um sie zu testen, und ihr Verständnis durch iterative Analyse zu verbessern. Durch die Kombination vorab trainierter visueller Sprachmodelle (VLMs) mit einer Bibliothek von Interpretierbarkeitstools kann dieser multimodale Ansatz auf Benutzeranfragen reagieren, indem er modellspezifische gezielte Experimente schreibt und durchführt und seinen Ansatz kontinuierlich verbessert, bis er eine umfassende Antwort liefern kann.

Der Kern des MAIA-Frameworks ist ein Agent, der von einem vorab trainierten multimodalen Modell (wie GPT-4V) gesteuert wird und in der Lage ist, automatisch Experimente durchzuführen, um das Verhalten anderer Systeme zu erklären. Dies geschieht durch die Zusammenstellung interpretierbarer Unterroutinen in Python-Programmen.

Abbildung |. MAIA-Architektur

Das Forschungsteam bewertete MAIA anhand des Neuronenbeschreibungsparadigmas. Die Studie zeigte, dass MAIA sowohl bei realen Modellen als auch bei synthetischen Neuronendatensätzen hervorragende Vorhersagefähigkeiten erzielte und mit denen menschlicher Experten vergleichbar war.

Abbildung |. Bewertung MAIA Beschreibung

Darüber hinaus zeigt MAIA ein gutes Anwendungspotenzial bei der Entfernung falscher Merkmale und der Aufdeckung von Verzerrungen, was menschlichen Benutzern helfen kann, das Modellverhalten besser zu verstehen und die Modellleistung und -gerechtigkeit zu verbessern.

Verwenden Sie MAIA, um unerwünschte Funktionen zu entfernen

Falsche Merkmale können die Robustheit des Modells in realen Szenarien beeinträchtigen. MAIA kann Störmerkmale im Modell identifizieren und entfernen und so die Robustheit des Modells verbessern. Das Forschungsteam nutzte ResNet-18, um mit dem Spawrious-Datensatz zu trainieren, der vier Hunderassen mit unterschiedlichem Hintergrund enthält.

Im Datensatz wird jede Hunderasse fälschlicherweise mit einem bestimmten Hintergrund (z. B. Schnee, Dschungel, Wüste, Strand) in Verbindung gebracht, während im Testsatz die Rasse-Hintergrund-Paarungen chaotisch sind. Das Forschungsteam nutzte MAIA, um eine Teilmenge der Neuronen der letzten Schicht zu finden, die die Rasse eines einzelnen Hundes unabhängig von falschen Merkmalen zuverlässig vorhersagen konnte, indem sie einfach die Abfrage in der Benutzeraufforderung änderten.

Die Ergebnisse zeigen, dass MAIA Störmerkmale im Modell effektiv entfernen und dadurch die Robustheit des Modells verbessern kann.

Mit MAIA Voreingenommenheit aufdecken

Modelle können Vorurteile aufweisen, die dazu führen, dass sie in bestimmten Situationen eine schlechte Leistung erbringen. Und MAIA kann automatisch Verzerrungen in Modellen aufdecken. Das Forschungsteam nutzte ResNet-152 zum Trainieren auf ImageNet und nutzte MAIA, um die Verzerrung in der Modellausgabe zu überprüfen.

Während des Experiments wurde MAIA aufgefordert, Bilder zu bestimmten Kategorien zu generieren und beobachtete die Reaktion des Modells auf diese Bilder. Später entdeckte MAIA, dass einige Modelle Vorlieben für bestimmte Unterkategorien oder Bilder hatten, die sich auf bestimmte Kategorien bezogen.

Dies zeigt, dass MAIA dabei helfen kann, Verzerrungen in Modellen zu erkennen und diese dadurch zu verbessern.

Abbildung |. MAIA-Modell-Bias-Erkennung

Mängel und Perspektiven

Obwohl MAIA ein großes Potenzial für die automatische Interpretierbarkeit aufweist, gibt es dennoch einige Einschränkungen.

Erstens ist die Erklärungsfähigkeit von MAIA durch die verwendeten Tools wie Stable Diffusion und GPT-4 begrenzt. Die Einschränkungen dieser Tools (z. B. Qualität der Bilderzeugung, Kosten, Zugriffsbeschränkungen) wirken sich direkt auf die Leistung von MAIA aus. In Zukunft könnten Sie erwägen, leistungsfähigere interne Tools zu entwickeln oder nach Open-Source-Alternativen zu suchen, um die Zuverlässigkeit und Zugänglichkeit Ihres Systems zu verbessern.

Zweitens ist die Erklärung von MAIA keine formale Verifizierung, sondern basiert auf experimentellen Ergebnissen und Beschreibungen in natürlicher Sprache. Dies kann zu voreingenommenen oder irreführenden Interpretationen führen. Zukünftig kann darüber nachgedacht werden, formale Verifizierungsmethoden (z. B. kausales Denken, theoretische Analyse) in MAIA zu integrieren, um die Genauigkeit und Zuverlässigkeit von Erklärungen zu verbessern.

Darüber hinaus kann MAIA häufige Fehler wie Bestätigungsverzerrungen, Überinterpretationen, Schlussfolgerungen zu kleinen Stichproben usw. nicht vollständig vermeiden. Zukünftig kann die Einführung eines Selbstreflexionsmechanismus in Betracht gezogen werden, um MAIA in die Lage zu versetzen, eigene Fehler zu erkennen und zu korrigieren und die Robustheit der Interpretation zu verbessern.

Mit Blick auf die Zukunft sagte Rott Shaham, Co-Autor des Papiers: „Ich denke, der natürliche nächste Schritt für unser Labor besteht darin, über künstliche Systeme hinauszugehen und ähnliche Experimente auf die menschliche Wahrnehmung anzuwenden. Traditionell erforderte dies das manuelle Entwerfen und Testen von Reizen.“ „Dies ist ein arbeitsintensiver Prozess, und mit unserem Agenten können wir diesen Prozess skalieren und eine große Anzahl von Reizen gleichzeitig entwerfen und testen.“