2024-08-16
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Beitrag von Wang Dequans Forschungsgruppe an der Shanghai Jiao Tong University
Qubits |. Öffentliches Konto QbitAI
Die Forschungsgruppe von Professor Wang Dequan an der Shanghai Jiao Tong University hat in der neuesten Forschung eine solche Frage aufgeworfen.
Stellen Sie sich dieses Szenario vor: Ein Kind im Kindergarten hält ein Bild eines Tigers in der Hand und fragt Sie: „Dieses Kätzchen ist sehr süß. Ist es eine weibliche Katze?“
Sie können nicht direkt mit „Ja“ oder „Nein“ antworten, sondern weisen Sie zunächst auf den „Widerspruch“ in dieser Frage hin –Dieses Bild zeigt einen Tiger, keine Katze。
Bisher gab es jedoch kaum systematische Untersuchungen darüber, wie große Modelle reagieren werden.
Sie müssen wissen, dass ein KI-Modell, das „Anweisungskonflikte“ nicht erkennen kann, Ergebnisse für „Fragen generiert, auf die es keine Antworten geben sollte“. Unabhängig davon, auf welche Seite des Konflikts die generierten Ergebnisse ausgerichtet sind, führt dies zu potenziellen Katastrophen und beeinträchtigt die KI Sicherheit und Superalignment (Super Alignment).
In dieser neuesten Studie schlug das Team vorMultimodale Benchmarks——widersprüchlicher Befehlssatz, und entwarf ein innovativesAutomatisches Framework zur Datensatzerstellung, benanntAutomatisch erstellen。
Das Team stellte fest, dass das multimodale große Modell kaum in der Lage war, widersprüchliche Benutzeranweisungen zu erkennen, und schlug daher vorMethode zur kognitiven Erregungsaufforderung(CAP), das kognitive Fähigkeiten aus der Außenwelt einspeist und so die Fähigkeit verbessert, Widersprüche zu erkennen.
Das Papier wird auf der 18. European Conference on Computer Vision (ECCV) im Oktober dieses Jahres veröffentlicht.
Derzeit haben multimodale Großmodelle in der wissenschaftlichen Forschung und in Anwendungsfeldern große Fortschritte gemacht. Sie können eine Vielzahl von Datentypen verarbeiten, darunter Text und Bilder, und weisen ähnliche Fähigkeiten wie die menschliche Kognition auf.
Das Team glaubt, dass der Erfolg dieser Modelle auf die umfangreiche Forschungs- und Entwicklungsarbeit zurückzuführen ist, die es ihnen ermöglicht, menschlichen Anweisungen genau zu folgen, auch wenn sie einigermaßen „unterwürfig“ sind.
Darüber hinaus eignen sich diese Modelle besonders gut für lange Kontexte. Multimodale Großmodelle wie Claude 3 und Gemini 1.5 Pro haben ihre leistungsstarken Fähigkeiten unter Beweis gestellt. Die Modelle der Claude-3-Serie bieten ein Kontextfenster mit 200.000 Tokens, die Standardgröße des Kontextfensters von Gemini 1.5 Pro beträgt 128.000 und kann während der privaten Vorschauphase sogar 1 Million Token erreichen.
Diese Fortschritte ermöglichen es multimodalen Großmodellen, komplexe Aufgaben gut zu bewältigen und den Bedürfnissen des Menschen nach langfristigen Interaktionen gerecht zu werden.
Mit der Vertiefung der multimodalen Interaktion und der Zunahme der Kontextlänge rückt jedoch das Problem widersprüchlicher Benutzeranweisungen immer stärker in den Vordergrund.
Wie unten gezeigt, sind sich Benutzer (z. B. Kinder oder Sprachanfänger), die diese Modelle verwenden, potenzieller multimodaler Konflikte häufig nicht bewusst.
Gleichzeitig wird es für Benutzer schwieriger, sich alle Details zu merken, wenn die Anzahl der Dialogrunden zunimmt und das Kontextfenster größer wird, was zu Konflikten zwischen den Anweisungen führt.
Darüber hinaus kann es mit zunehmender Anzahl der Modalitäten auch zu Konflikten zwischen den Modalitäten kommen. Wenn es diesen Modellen an Selbstbewusstsein und der Fähigkeit, Widersprüche zu erkennen, mangelt, leidet ihre Leistung.
Um diese Herausforderungen anzugehen, schlug das Forschungsteam dieses Artikels einen multimodalen Benchmark-Test vor – „widersprüchlicher Befehlssatz” (Selbstwidersprüchliche Anweisungen, SCI), wird verwendet, um die Fähigkeit multimodaler großer Modelle zu bewerten, widersprüchliche Anweisungen zu erkennen.
SCI enthält20.000 widersprüchliche AnweisungenUnd8 Aufgaben, gleichmäßig verteilt inSprache - SpracheUndvisuell-verbalin zwei Paradigmen.
Im oberen Teil des Diagramms beinhaltet das sprachlinguistische Paradigma Konflikte zwischen Kontexten und Anweisungen, wie z. B. widersprüchliche Gestaltungsregeln, widersprüchliche Objekteigenschaften, exklusive Anweisungen und verbotenes Vokabular.
Im unteren Teil der Abbildung: Das visuell-linguistische Paradigma umfasst multimodale Konflikte, wie OCR-Texterkennungskonflikte, Diagrammkonflikte, geometrische Konflikte und semantische Konflikte. Von den acht Aufgaben betreffen nur semantische Konflikte andere Datensätze (ImageNet).
Um ein konkretes Beispiel zu nennen: Bei der Konstruktion semantischer Konflikte generieren Forscher zunächst einen entsprechenden Text auf der Grundlage von Bildern und ersetzen dann die wichtigsten semantischen Informationen im Text durch neue Semantiken, die ähnlich, aber unterschiedlich sind.
Im Bild unten ist ein Strauß zu sehen (Strauß). Der Autor fügt zur semantischen Bedeutung des Bildes „Strauß“ die Frage hinzu: „Zeigt das Bild die Größe des Straußes an?“
Anschließend wurde die Schlüsselsemantik dieses Fragetextes „Strauß“ durch „Kiwi“ ersetzt. Auf diese Weise wird ein widersprüchliches Paar multimodaler Anweisungen konstruiert.
Während des gesamten SCI-Erstellungsprozesses entwarf der Autor ein innovatives Framework zur automatischen Datensatzerstellung –Automatisch erstellen。
Es baut eine multimodale Schleife durch Programme und große Sprachmodelle auf. Das Framework nutzt Programme und große Sprachmodelle, um die automatisierte Erstellung von Datensätzen zu ermöglichen.
AutoCreate startet mit mehreren aufgabenbezogenen Seed-Daten und verwaltet einen Seed-Pool. Innerhalb jedes Zyklus umfasst AutoCreate zwei Zweige:Sprachzweig(links) undvisueller Zweig(Rechts). Jeder Zweig besteht aus Generatoren und Dekorateuren.
Schließlich schließt der Cleaner Daten aus, die die Kriterien nicht erfüllen. Nach bestandener Qualitätsprüfung durch menschliche Experten werden diese Daten zur Verwendung in der nächsten Runde wieder in den Seed-Pool eingespeist.
AutoCreate verbessert die Erstellungsgeschwindigkeit und Inhaltsbreite von SCI-Datensätzen erheblich.
Mithilfe des SCI-Datensatzes bewerteten die Forscher umfassend die Leistung großer Modelle beim Umgang mit widersprüchlichen Anweisungen.
Experimentelle Ergebnisse zeigen, dass aktuelle große Modelle bei widersprüchlichen Anweisungen häufig gewisse Mängel aufweisen.
Sie können Informationen und Wissen verarbeiten, aberMangelnde Fähigkeit, die Angemessenheit von Anweisungen zu beurteilen, was das Forschungsteam eine „kognitive“ Fähigkeit nennt.
Dieser Mangel beruht auf einem Mangel an Selbstbewusstsein und der Unfähigkeit, Inkonsistenzen in Anweisungen zu erkennen.
Daher schlugen die Forscher eine einfache Drop-in-Eingabeaufforderungsmethode namens „ vorTipps zum kognitiven Erwachen„(Kognitive Erweckungsaufforderung, CAP)“
CAP-Eingabe übergebenFügen Sie eine einfache Erinnerung hinzu, kognitive Fähigkeiten können aus der Außenwelt injiziert werden, wodurch die Fähigkeit des großen Modells zur Widerspruchserkennung verbessert wird, und im Grunde gibt es keine negativen Auswirkungen.
Dieses Ergebnis legt nahe, dass aktuelle multimodale große Modelle mehr Selbstbewusstsein und kognitive Fähigkeiten erfordern, um komplexe Befehlskonflikte besser bewältigen zu können.
Für weitere Einzelheiten können interessierte Kinder das Originalpapier einsehen.
Der Erstautor der Arbeit ist Doktorand an der Shanghai Jiao Tong UniversityGao Jin。
Zu seinen Forschungsinteressen gehören Computer Vision, multimodale Großmodelle, durch künstliche Intelligenz unterstützte Lebenswissenschaften usw.
Der korrespondierende Autor des Artikels ist ein fest angestellter Assistenzprofessor und Doktorvater an der Shanghai Jiao Tong UniversityWang DequanEr schloss sein Studium an der Fudan University mit einem Bachelor ab und promovierte an der University of California, Berkeley, wo er bei Professor Trevor Darrell studierte.
Seine Forschungsarbeiten wurden auf führenden internationalen Konferenzen wie CVPR, ICCV, ECCV, ICLR, ICML, ICRA, IROS usw. veröffentlicht. Seine Arbeiten wurden in den letzten fünf Jahren mehr als 10.000 Mal in Google Scholar zitiert, mit einem H- Index von 20.
Link zum Papier: https://arxiv.org/abs/2408.01091
Projektlink: https://selfcontradiction.github.io/
Sammeln und organisieren Sie die neuesten Nachrichteninformationen und stellen Sie sie für alle kostenlos zur Verfügung.
