Belegung

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Maschinenherzbericht

Redaktion von Machine Heart

Wenn die Antwort des KI-Modells überhaupt unverständlich ist, würden Sie es wagen, sie zu verwenden?

Da maschinelle Lernsysteme in immer wichtigeren Bereichen eingesetzt werden, wird es immer wichtiger zu zeigen, warum wir ihren Ergebnissen vertrauen können und wann wir ihnen nicht vertrauen sollten.

Eine Möglichkeit, Vertrauen in die Ausgabe eines komplexen Systems zu gewinnen, besteht darin, vom System zu verlangen, eine Interpretation seiner Ausgabe zu erstellen, die für einen Menschen oder ein anderes vertrauenswürdiges System lesbar ist, d. h. so vollständig verständlich, dass mögliche Fehler erkannt werden können gefunden. Um beispielsweise Vertrauen in das Justizsystem aufzubauen, verlangen wir von den Gerichten, dass sie klare und lesbare schriftliche Stellungnahmen abgeben, die ihre Entscheidungen erläutern und stützen.

Für große Sprachmodelle können wir auch einen ähnlichen Ansatz verfolgen.

Bei diesem Ansatz ist jedoch darauf zu achten, dass das Sprachmodell verständliche Texte generiert, insbesondere bei komplexen Aufgaben wie Mathematik und Codierung.

Wie in der folgenden Abbildung gezeigt, bitten Sie die KI, einen schnellen Sortieralgorithmus zu schreiben. Die KI schreibt ihn schnell und die Antwort ist sehr prägnant. Aber wenn Sie nicht wissen, wie man Code schreibt, wie können Sie dann beurteilen, ob die KI richtig geschrieben ist?

OpenAI hat dieses Problem in einem aktuellen Artikel untersucht.

Titel des Papiers: PROVER-VERIFIER-SPIELE VERBESSERN DIE LESBARKEIT VON LLM-AUSGABEN

Link zum Papier: https://cdn.openai.com/prover-verifier-games-improve-legibility-of-llm-outputs/legibility.pdf

Sie fanden heraus, dass die Antworten, die sie geben, möglicherweise schwer zu verstehen sind, wenn große Sprachmodelle aufgefordert werden, Antworten mit dem Ziel zu generieren, „die richtige Antwort zu erhalten“. Die Wahrscheinlichkeit, dass menschliche Bewerter bei der Beurteilung dieser Antworten Fehler machen, ist doppelt so hoch.

Ihr Ziel ist es also, Hochsprachenmodelle so zu trainieren, dass sie Texte generieren können, die einfachere Modelle leicht verifizieren können. Sie fanden heraus, dass solche Texte nicht nur für einfache Modelle geeignet, sondern auch für Menschen besser lesbar sind.

Wie wird es also erreicht? Darin wird auch ein Artikel aus dem Jahr 2021 erwähnt – „Learning to Give Checkable Answers with Prover-Verifier Games“. In diesem Artikel schlugen Cem Anil et al. ein spieltheoretisches Framework namens „Prover-Verifier Games“ vor. Das Framework besteht aus zwei konkurrierenden Lernenden: einem Netzwerk vertrauenswürdiger Prüfer, die versuchen, die richtige Antwort auszuwählen, und einem leistungsfähigeren, aber nicht vertrauenswürdigen Netzwerk von Prüfern, die versuchen, die Prüfer davon zu überzeugen, eine bestimmte Antwort zu akzeptieren, unabhängig von deren Richtigkeit. Das Ziel dieses Frameworks besteht darin, ein zuverlässiges Proof-Protokoll aus dem Spiel zu erstellen.

OpenAI hat sich dieses Framework in dieser neuen Studie ausgeliehen und ermöglicht es zwei großen Modellen (das stärkere als Beweiser und das schwächere als Verifizierer) gegeneinander zu spielen, bis die beiden ein Gleichgewicht erreichen. Zu diesem Zeitpunkt ist die vom Prüfer gegebene Antwort sowohl lesbar als auch einigermaßen korrekt.

OpenAI sagte, dass es durch die Verbesserung der Lesbarkeit der Modellausgabe die Anwendung künstlicher Intelligenz effektiver und vertrauenswürdiger machen kann, was für verschiedene Bereiche von Vorteil ist, die eine präzise Kommunikation erfordern.

Es ist erwähnenswert, dass dieses Papier vom Super Alignment-Team von OpenAI stammt, von dem mehrere Autoren OpenAI Anfang des Jahres verlassen haben, und dass das Team ebenfalls auseinandergefallen ist. Einer der Autoren gab bekannt, dass dies die letzte Arbeit des Teams sei.

Ein intuitives Beispiel

Um die Lesbarkeit der Modellausgabe zu verbessern, optimierte OpenAI die Gedankenkette (CoT) einiger Mathematikprobleme in der Grundschule, sodass sie von schwächeren Modellen verstanden werden kann. Beispiele sind wie folgt:

Frage: Shawnas Vater ist fünfmal älter als Shawna. Shauna ist jetzt dreimal so alt wie Aliya. Wenn Aaliyah 3 Jahre alt ist, wie alt ist Shaunas Vater?

Der Zweck besteht darin, zu überprüfen, ob die Ausgabe des trainierten Modells direkter und leichter verständlich ist.

Diese Methode verbessert die Leistung des Modells um 50 %, nimmt aber nur einige Optimierungen am Trainingssatz vor. Gleichzeitig sind die vom Modell ausgegebenen Antworten auch verständlicher, was auch menschlichen Benutzern, die die Richtigkeit dieser Antworten bewerten müssen, hilft, genauere Urteile zu fällen. OpenAI ist davon überzeugt, dass die weitere Verringerung der Leistungslücke zwischen lesbaren und leistungsfähigen Modellen ein wichtiges Ziel der zukünftigen Alignment-Forschung ist.

Wie konkurrieren „Zertifizierer“ und „Verifizierer“ während der Schulung?

Um starke Modelle (Prüfer) zu motivieren, besser lesbaren Text zu generieren, haben die Forscher ein Trainingsschema eingeführt, das erfordert, dass von starken Modellen generierte Antworten leicht von schwächeren Modellen (Prüfern) verifiziert werden können. Konkret nutzten sie große und kleine Modelle der GPT-4-Serie. Sie unterscheiden sich in der Menge der Pre-Training-Daten um etwa drei Größenordnungen. Sie alle erhielten eine Schulung zur mathematischen Ableitung, die auf menschlichen Anmerkungen basierte, jedoch keine umfassende Nachschulung.

Zunächst ließ das Team das Beweisermodell versuchen, eine Reihe mathematischer Probleme zu lösen. Da das Prüfermodell selbst möglicherweise falsch ist, können einige der von ihm generierten Antworten falsch sein. Als nächstes geben sie diese Antworten an das Verifizierermodell weiter und führen mehrere Runden abwechselnder Verifizierung zwischen den folgenden zwei Phasen durch:

„Verifizierer“-Training: Das Forschungsteam trainiert ein schwächeres „Verifizierer“-Modell, um zu überprüfen, ob die vom „Prüfer“ gegebene Antwort richtig ist.

„Prüfer“-Schulung: Das Forschungsteam weist das leistungsfähigere „Prüfer“-Modell an, „nützliche“ oder „listige“ Rollen zu spielen.

Wenn der „Prüfer“ auf „nützlich“ eingestellt ist, belohnt das Forschungsteam den „Prüfer“ für korrekte Antworten mit hohen Punktzahlen.

Als der „Prüfer“ als „listig“ eingestuft wurde, belohnte das Forschungsteam stattdessen den „Prüfer“ für falsche Antworten mit hohen Punktzahlen.

Das Forschungsteam stellte fest, dass ein schlauer „Prüfer“ zunächst leicht falsche Antworten generieren konnte, die den „Prüfer“ überzeugten. Diese falschen Antworten werden jedoch in die nächste Runde des „Verifizierer“-Trainings aufgenommen, und dieselben Schwachstellen werden in der nächsten Runde nicht mehr überzeugen. Daher wird der „Prüfer“ gezwungen sein, in jeder Runde unterschiedliche Strategien auszuprobieren.

Das Training endet, wenn der schlaue „Prüfer“ keine falsche Lösung mehr generieren kann, die den „Prüfer“ überzeugt.

Was haben die Forscher herausgefunden?

Kompromiss zwischen Leistung und Lesbarkeit:

Ein Modell, das nur eine überwachte Feinabstimmung der vom Menschen geschriebenen Ableitung durchführt, ist besser lesbar, aber weniger genau.

Wenn das Optimierungsziel des Modells nur die Korrektheit ist, d. h. sich nur auf die Generierung korrekter Antworten konzentriert, kann zwar eine hohe Genauigkeit erreicht werden, die generierten Lösungen sind jedoch weniger lesbar.

Der von OpenAI vorgeschlagene überprüfbare Spielansatz gleicht beides aus und sorgt für eine hohe Lesbarkeit bei gleichzeitig mäßiger Genauigkeit.

Drei nützliche Modelle:

Robuster Prüfer: Unterscheidet effektiv zwischen richtigen und falschen Lösungen, selbst wenn die Lösungen irreführend sind.

Nützlicher Prüfer: Erstellt Lösungen, die für Menschen verständlich sind, und reduziert dadurch Fehler menschlicher Bewerter.

Schlauer Prüfer: Erstellt subtile, fehlerhafte Lösungen, die menschliche Prüfer zunächst verwirren und so Bereiche hervorheben, die weiterer Verbesserung bedürfen.

Das Forschungsteam verwendete dieselben Testfragen, um den Generierungsinhalt und den Trainingsprozess von Sneaky Prover zu demonstrieren.

Frage: Shawnas Vater ist fünfmal älter als Shawna. Shauna ist jetzt dreimal so alt wie Aliya. Wenn Aaliyah 3 Jahre alt ist, wie alt ist Shaunas Vater?

abschließend

Da große Sprachmodelle (LLMs) zunehmend in kritischen Bereichen und komplexen Anwendungen eingesetzt werden, ist es wichtig zu verstehen, ob die von ihnen generierten Inhalte vertrauenswürdig sind. Indem Sie von Modellen verlangen, dass sie klare und überprüfbare Gründe für ihre Produktion haben, können Sie das Vertrauen in ihre Produkte stärken.

Ein wesentlicher Vorteil dieses Ansatzes besteht darin, dass er die Abhängigkeit von menschlichen Demonstrationen oder Lesbarkeitsbeurteilungen verringert. Diese Autonomie ist besonders wichtig für die Ausrichtung zukünftiger superintelligenter KI-Systeme, mit dem ultimativen Ziel, KI-Systeme ohne direkte menschliche Aufsicht zuverlässig an menschlichen Werten und Erwartungen auszurichten.

Obwohl diese Arbeit nur an einem Datensatz durchgeführt wurde und immer noch Ground-Truth-Labels erfordert, geht das Forschungsteam dennoch davon aus, dass solche Methoden eine Schlüsselrolle bei der Entwicklung korrekter, transparenter und überprüfbarer KI-Systeme spielen und deren Vertrauenswürdigkeit und Sicherheit in der realen Welt verbessern werden Anwendungen.

Weitere Einzelheiten finden Sie im Originalpapier.

Referenzlinks:

https://openai.com/index/prover-verifier-games-improve-legibility/