notizia

Nella prima mattinata del 18 luglio, OpenAI ha pubblicato l'ultima ricerca tecnologica, Prover-Verifier, sul suo sito ufficialeGiochi。

Poiché ChatGPT è ampiamente utilizzato in settori quali diritto, finanza e marketing, è molto importante garantire che l'output del modello sia sicuro, accurato e ben compreso. Tuttavia, a causa della complessità e della variabilità delle reti neurali, semplicemente non possiamo verificare l'accuratezza del contenuto che generano, il che si tradurrà in un output "scatola nera".

Per risolvere questo problema, OpenAI ha proposto un nuovo framework di formazione Prover-Verifier Games ("PVG" in breve). Ad esempio, piccoli modelli come GPT-3 vengono utilizzati per verificare e supervisionare l'output del grande modello GPT-4 , migliorando così la precisione e la controllabilità dell'output.

In effetti, il concetto di tecnologia PVG è stato proposto già nell’agosto 2021 in un documento , Anche OpenAI si è ispirato a questa ispirazione. Si tratta di un metodo di training basato sulla teoria dei giochi che migliora la qualità dell'output del modello simulando l'interazione tra il dimostratore e il verificatore.

In questo meccanismo, il compito del Prover è generare contenuto e il compito del Verifier è determinare se il contenuto è corretto.

L'idea centrale del modulo PVG è migliorare le prestazioni complessive del dimostratore e del verificatore attraverso più cicli di formazione iterativa. In ogni ciclo di formazione, il verificatore utilizza innanzitutto l'apprendimento supervisionato per prevedere la correttezza del contenuto campionato dai dimostratori del ciclo precedente.

Lo scopo è consentire al verificatore di imparare come identificare la risposta corretta da una grande quantità di contenuti. Il sperimentatore utilizza quindi l'apprendimento per rinforzo per ottimizzare il contenuto generato in modo che non sia solo corretto ma anche convincente per il verificatore.

Nel processo di verifica, i ruoli del prover e del verificatore sono interdipendenti.Il sperimentatore deve generare contenuti che convincano il verificatore, e il verificatore deve avere abbastanza giudizio per identificare il contenuto corretto。

Per migliorare ulteriormente l'efficienza, OpenAI ha progettato su questa base due tipi avanzati di prover, Helpfulprover e Sneaky prover.

L'obiettivo di un dimostratore utile è generare contenuti corretti e persuasivi. Ottimizza il contenuto che genera in modo che possa essere accettato dai validatori.

I dimostratori astuti cercano di ingannare i verificatori generando contenuti errati ma ugualmente convincenti. Questa progettazione non solo aumenta la difficoltà dell'addestramento, ma richiede anche che il verificatore abbia giudizio e robustezza più elevati.

Durante l'addestramento del PVG, ogni ciclo di formazione include l'ottimizzazione del verificatore e del dimostratore. In ogni round, il verificatore utilizza innanzitutto l'apprendimento supervisionato per prevedere la correttezza del contenuto, aiutando il verificatore a imparare come identificare la risposta corretta da una grande quantità di contenuti. Consente ai dimostratori di ottimizzare i contenuti generati attraverso l'apprendimento per rinforzo.

Ad esempio, quando un utente pone la domanda "Il padre di Shauna ha 5 volte l'età di Shauna. Shauna attualmente ha 3 volte l'età di Aaliyah. Se Aaliyah ha 3 anni, quanti anni ha il padre di Shauna?"

L'output di GPT-4 ha 45 anni.

Il modello di verifica GPT-3 deve determinare l'età di Alya, quindi calcolare l'età di Shauna in base all'età di Alya e infine calcolare l'età del padre di Shauna in base all'età di Shauna. L'intero processo richiede più cicli di verifica.

Inoltre, durante il processo di formazione, OpenAI ha introdotto anche un metodo chiamato “checkability training”.

Verificare la correttezza dell'utilizzo dell'apprendimento supervisionato per prevedere le soluzioni campionate dai precedenti cicli di prover addestrando alternativamente i modelli verificatore e dimostratore. Il prover utilizza l'apprendimento per rinforzo per ottimizzare continuamente in base all'accettazione dell'attuale ciclo di validatori e alla correttezza della soluzione.

Lo dicono i ricercatori , all'aumentare del numero dei cicli di formazione, la solidità del verificatore migliora gradualmente, manifestandosi con una maggiore resistenza alle soluzioni errate generate da dimostratori astuti. Allo stesso tempo, le soluzioni generate da argomentatori utili diventano più chiare e più facili da comprendere per gli esseri umani.

Tuttavia, va notato che quando si addestra il modello di verifica, è necessaria una grande quantità di dati di etichetta reali e accurati per migliorare la sua capacità di distinguere il vero dal falso. In altre parole, se il modello di verifica utilizzato è distorto, il contenuto di verifica potrebbe comunque essere prodotto illegalmente.

Il materiale di questo articolo proviene dal sito Web e dai documenti ufficiali di OpenAI. In caso di violazione, contattaci per eliminarla.