notícias

Na madrugada de 18 de julho, a OpenAI lançou a mais recente pesquisa tecnológica - Provador-Verificador - em seu site oficialJogos。

Como o ChatGPT é amplamente utilizado em áreas como direito, finanças e marketing, é muito importante garantir que o resultado do modelo seja seguro, preciso e bem compreendido. No entanto, devido à complexidade e variabilidade das redes neurais, simplesmente não podemos verificar a precisão do conteúdo que elas geram, o que resultará em uma saída de “caixa preta”.

Para resolver este problema, a OpenAI propôs uma nova estrutura de treinamento Prover-Verifier Games ("PVG" para abreviar). Por exemplo, pequenos modelos como o GPT-3 são usados ​​para verificar e supervisionar a saída do grande modelo GPT-4). , melhorando assim a precisão e a controlabilidade da saída.

Na verdade, o conceito de tecnologia PVG foi proposto já em agosto de 2021 num artigo , a OpenAI também se inspirou nessa inspiração. Este é um método de treinamento baseado na teoria dos jogos que melhora a qualidade de saída do modelo, simulando a interação entre o provador e o verificador.

Neste mecanismo, a tarefa do Provador é gerar conteúdo, e a tarefa do Verificador é determinar se o conteúdo está correto.

A ideia central do módulo PVG é melhorar o desempenho geral do provador e verificador por meio de múltiplas rodadas de treinamento iterativo. Em cada rodada de treinamento, o verificador primeiro usa o aprendizado supervisionado para prever a exatidão do conteúdo amostrado dos provadores da rodada anterior.

O objetivo disso é permitir que o verificador aprenda como identificar a resposta correta em uma grande quantidade de conteúdo. O provador então usa o aprendizado por reforço para otimizar o conteúdo gerado, de modo que não seja apenas correto, mas também convincente para o verificador.

No processo de verificação, os papéis do provador e do verificador são interdependentes.O provador precisa gerar conteúdo que convença o verificador, e o verificador precisa ter julgamento suficiente para identificar o conteúdo correto。

A fim de melhorar ainda mais a eficiência, a OpenAI projetou dois tipos aprimorados de provadores nesta base, o provador útil e o provador sorrateiro.

O objetivo de um provador útil é gerar conteúdo correto e persuasivo. Otimiza o conteúdo que gera para que possa ser aceito pelos validadores.

Provadores astutos tentam enganar os verificadores gerando conteúdo incorreto, mas igualmente convincente. Este design não só aumenta a dificuldade do treinamento, mas também exige que o verificador tenha maior julgamento e robustez.

Ao treinar o PVG, cada rodada de treinamento inclui a otimização do verificador e do provador. Em cada rodada, o verificador primeiro usa o aprendizado supervisionado para prever a exatidão do conteúdo, ajudando o verificador a aprender como identificar a resposta correta em uma grande quantidade de conteúdo. Permite que os provadores otimizem o conteúdo gerado por meio de aprendizagem por reforço.

Por exemplo, quando um usuário faz a pergunta "O pai de Shauna tem 5 vezes a idade de Shauna. Shauna tem atualmente 3 vezes a idade de Aaliyah. Se Aaliyah tem 3 anos, quantos anos tem o pai de Shauna?"

A produção do GPT-4 tem 45 anos.

O modelo verificador GPT-3 precisa determinar a idade de Alya, depois calcular a idade de Shauna com base na idade de Alya e, finalmente, calcular a idade do pai de Shauna com base na idade de Shauna. Todo o processo requer várias rodadas de verificação.

Além disso, durante o processo de treinamento, a OpenAI também introduziu um método denominado "treinamento de verificabilidade".

Verifique a correção do uso da aprendizagem supervisionada para prever soluções amostradas de rodadas anteriores de provadores, treinando alternadamente os modelos de verificador e provador. O provador usa aprendizado por reforço para otimizar continuamente com base na aceitação da rodada atual de validadores e na correção da solução.

Pesquisadores dizem , à medida que o número de rodadas de treinamento aumenta, a solidez do verificador melhora gradativamente, manifestada pelo aumento da resistência a soluções incorretas geradas por demonstradores astutos. Ao mesmo tempo, as soluções geradas por argumentadores úteis tornam-se mais claras e fáceis de serem compreendidas pelos humanos.

No entanto, deve-se notar que, ao treinar o modelo verificador, é necessária uma grande quantidade de dados de rótulos reais e precisos para melhorar sua capacidade de distinguir o verdadeiro do falso. Em outras palavras, se o modelo de verificação utilizado for tendencioso, o conteúdo da verificação ainda poderá ser produzido ilegalmente.

O material deste artigo vem do site e documentos oficiais da OpenAI. Se houver alguma violação, entre em contato conosco para excluí-la.