Nachricht

Am frühen Morgen des 18. Juli veröffentlichte OpenAI die neueste Technologieforschung – Prover-Verifier – auf seiner offiziellen WebsiteSpiele。

Da ChatGPT in Bereichen wie Recht, Finanzen und Marketing weit verbreitet ist, ist es sehr wichtig sicherzustellen, dass die Ausgabe des Modells sicher, genau und gut verständlich ist. Aufgrund der Komplexität und Variabilität neuronaler Netze können wir jedoch die Genauigkeit der von ihnen generierten Inhalte einfach nicht überprüfen, was zu einer „Black-Box“-Ausgabe führt.

Um dieses Problem zu lösen, hat OpenAI ein neues Trainingsframework Prover-Verifier Games (kurz „PVG“) vorgeschlagen. Beispielsweise werden kleine Modelle wie GPT-3 verwendet, um die Ausgabe des großen GPT-4-Modells zu überprüfen und zu überwachen , wodurch die Ausgabegenauigkeit und Kontrollierbarkeit verbessert wird.

Tatsächlich wurde das Konzept der PVG-Technologie bereits im August 2021 in einem Papier vorgeschlagen Auch OpenAI wurde von dieser Inspiration inspiriert. Hierbei handelt es sich um eine spieltheoretische Trainingsmethode, die die Ausgabequalität des Modells verbessert, indem sie die Interaktion zwischen dem Prüfer und dem Verifizierer simuliert.

Bei diesem Mechanismus besteht die Aufgabe des Prüfers darin, Inhalte zu generieren, und die Aufgabe des Verifizierers besteht darin, festzustellen, ob der Inhalt korrekt ist.

Die Kernidee des PVG-Moduls besteht darin, die Gesamtleistung des Prüfers und Prüfers durch mehrere iterative Trainingsrunden zu verbessern. In jeder Trainingsrunde verwendet der Prüfer zunächst überwachtes Lernen, um die Richtigkeit der von den Prüfern der vorherigen Runde erfassten Inhalte vorherzusagen.

Der Zweck besteht darin, dem Prüfer zu ermöglichen, aus einer großen Menge an Inhalten die richtige Antwort zu ermitteln. Der Prüfer nutzt dann Reinforcement Learning, um seine generierten Inhalte so zu optimieren, dass sie nicht nur korrekt, sondern auch für den Prüfer überzeugend sind.

Im Verifizierungsprozess sind die Rollen des Prüfers und des Verifizierers voneinander abhängig.Der Prüfer muss Inhalte generieren, die den Prüfer überzeugen, und der Prüfer muss über genügend Urteilsvermögen verfügen, um den richtigen Inhalt zu identifizieren。

Um die Effizienz weiter zu verbessern, hat OpenAI auf dieser Basis zwei erweiterte Arten von Prüfern entwickelt: Hilfreicher Prüfer und Sneaky Prüfer.

Das Ziel eines nützlichen Prüfers besteht darin, korrekte und überzeugende Inhalte zu generieren. Es optimiert den von ihm generierten Inhalt, sodass er von Validatoren akzeptiert werden kann.

Und schlaue Prüfer versuchen, Prüfer zu täuschen, indem sie falsche, aber ebenso überzeugende Inhalte generieren. Dieses Design erhöht nicht nur die Schwierigkeit des Trainings, sondern erfordert auch ein höheres Urteilsvermögen und eine höhere Robustheit des Prüfers.

Beim PVG-Training umfasst jede Trainingsrunde die Optimierung des Verifizierers und Prüfers. In jeder Runde nutzt der Prüfer zunächst überwachtes Lernen, um die Richtigkeit des Inhalts vorherzusagen. So lernt der Prüfer, aus einer großen Menge an Inhalten die richtige Antwort zu ermitteln. Ermöglicht Prüfern die Optimierung ihrer generierten Inhalte durch Reinforcement Learning.

Wenn ein Benutzer beispielsweise die Frage stellt: „Shaunas Vater ist fünfmal so alt wie Shauna. Shauna ist derzeit dreimal so alt wie Aaliyah. Wenn Aaliyah 3 Jahre alt ist, wie alt ist Shaunas Vater?“

Die Ausgabe von GPT-4 ist 45 Jahre alt.

Das Verifizierermodell GPT-3 muss Alyas Alter bestimmen, dann Shaunas Alter basierend auf Alyas Alter berechnen und schließlich das Alter von Shaunas Vater basierend auf Shaunas Alter berechnen. Der gesamte Prozess erfordert mehrere Überprüfungsrunden.

Darüber hinaus führte OpenAI während des Trainingsprozesses auch eine Methode namens „Überprüfbarkeitstraining“ ein.

Überprüfen Sie die Richtigkeit der Verwendung von überwachtem Lernen zur Vorhersage von Lösungen, die von Prüfern aus früheren Runden ausgewählt wurden, indem Sie abwechselnd die Prüfer- und Prüfermodelle trainieren. Der Prüfer nutzt Reinforcement Learning, um basierend auf der Akzeptanz der aktuellen Validierungsrunde und der Richtigkeit der Lösung kontinuierlich zu optimieren.

Forscher sagen Mit zunehmender Anzahl der Trainingsrunden verbessert sich die Zuverlässigkeit des Verifizierers allmählich, was sich in einem erhöhten Widerstand gegen falsche Lösungen durch listige Demonstranten äußert. Gleichzeitig werden die von hilfreichen Argumentatoren generierten Lösungen klarer und für den Menschen leichter verständlich.

Es ist jedoch zu beachten, dass beim Training des Verifizierermodells eine große Menge realer und genauer Etikettendaten erforderlich ist, um seine Fähigkeit zur Unterscheidung von wahr und falsch zu verbessern. Mit anderen Worten: Wenn das verwendete Verifizierungsmodell voreingenommen ist, kann der Verifizierungsinhalt dennoch illegal ausgegeben werden.

Das Material dieses Artikels stammt von der offiziellen Website und den Dokumenten von OpenAI. Wenn es einen Verstoß gibt, kontaktieren Sie uns bitte, um ihn zu löschen.