notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Modelos grandes têm recebido muita atenção nos últimos dois anos, especialmente por seu desempenho na resolução de problemas aritméticos.

Na verdade, já em 2022, pesquisadores da equipe de pesquisa do Google propuseram o prompt Chain-of-Thought (CoT), um método de engenharia rápido que pode efetivamente melhorar o raciocínio matemático de grandes modelos e aprender seu contexto em um contexto de poucas amostras. a eficácia foi verificada [1].

Embora o método rapidamente tenha se tornado amplamente utilizado, os pesquisadores da área ainda sabem pouco sobre como ele estimula o raciocínio aritmético em grandes modelos.

Anteriormente, as explorações relacionadas concentraram-se principalmente na observação experimental do impacto de diferentes componentes na declaração imediata do CoT sobre o efeito do raciocínio aritmético de grandes modelos.

Especificamente, tente substituir ou remover componentes na declaração de prompt do CoT, como remover a parte do raciocínio verbal da amostra do CoT, deixando apenas as fórmulas matemáticas principais e observar o modelo grande antes e depois da substituição ou remoção na aritmética existente. a diferença de desempenho no teste de benchmark de inferência é usada para determinar se a peça de substituição ou remoção tem uma contribuição importante para estimular a capacidade de raciocínio aritmético do modelo grande.

Embora os pesquisadores nesta área tenham descoberto vários fenômenos interessantes a partir desses estudos, eles ainda não conseguem explicar como o CoT estimula a capacidade de raciocínio aritmético de grandes modelos a partir do mecanismo interno das redes neurais.

Ao mesmo tempo, estes estudos levantam mais questões. Por exemplo, por que diferentes componentes do CoT têm impactos diferentes no raciocínio aritmético de grandes modelos.

Para resolver os problemas acima, o professor Yao Ziyu e sua equipe da Universidade George Mason, nos Estados Unidos, lançaram uma série de explorações no modelo Llama2 de código aberto do ponto de vista da "interpretabilidade do modelo" e propuseram o uso de "ativação de neurônios" para explicar sistematicamente O fenômeno observado no CoT foi estudado.

Foto丨Membros da equipe de pesquisa (fonte: equipe de pesquisa)

Recentemente, um artigo relacionado intitulado "Uma Investigação da Ativação de Neurônios como uma Lente Unificada para Explicar o Raciocínio Aritmético da Cadeia de Pensamento em Modelos de Linguagem Grande" de LLMs) foi aceito pela Reunião Anual da Association for Computational Linguistics (ACL, Anual Encontro de Lingüística Computacional) 2024 [2].

Daking Rai, doutorando na George Mason University, é o primeiro autor, e Yao Ziyu é o autor correspondente.

Figura丨Artigos relacionados (Fonte: ACL 2024)

No estudo, eles primeiro se concentraram em explorar se a camada feedforward do Transformer é um neurônio que expressa o conceito de raciocínio aritmético.

Conceitos relevantes incluem os conceitos de operações aritméticas de adição, subtração, multiplicação e divisão, os conceitos de ligações lógicas no processo de raciocínio aritmético (como "...so" "...próximo") e outros conceitos de cálculo aritmético ( como "porcentagem", "algoritmo" e "fórmula").

Portanto, para descobrir o conceito representado por cada neurônio, eles mapearam o neurônio no espaço de vocabulário do modelo grande e resumiram o significado do neurônio rotulando a proporção de conceitos em cada vocabulário após o mapeamento do neurônio.

O grupo de pesquisa propôs usar o GPT-4 para ler e compreender o mapeamento lexical de neurônios para automatizar o processo de rotulagem e mineração de neurônios.

Experimentos mostram que de fato existem neurônios na camada feedforward do Transformer que representam conceitos aritméticos. Quando esses neurônios são danificados, as habilidades de raciocínio aritmético do grande modelo ficam comprometidas.

Ao mesmo tempo, os pesquisadores também observaram que a atividade desses neurônios estava positivamente correlacionada com a capacidade de raciocínio aritmético do modelo grande. Essa correlação positiva explica por que diferentes declarações imediatas trazem efeitos diferentes ao raciocínio aritmético de grandes modelos.

Com base nesses neurônios, a equipe explicou sistematicamente quatro fenômenos relacionados ao CoT observados em estudos anteriores.

Primeiro, quando as fórmulas matemáticas são removidas da amostra CoT e restam apenas os resultados da operação, a capacidade de raciocínio aritmético do modelo grande será prejudicada.

Em segundo lugar, quando o raciocínio verbal é removido da amostra CoT e restam apenas fórmulas matemáticas, a capacidade do modelo também é prejudicada.

Terceiro, quando as amostras CoT perdem diversidade operacional, por exemplo, quando todas as amostras envolvem apenas operações de adição, a capacidade do modelo é prejudicada.

Quarto, quando o resultado da operação da amostra CoT está errado, mas o processo de inferência está correto, a capacidade do modelo não é significativamente afetada.

“Vemos que esses fenômenos podem ser explicados basicamente pelo grau de ativação dos neurônios. Por exemplo, antes e depois da remoção das fórmulas matemáticas, o número de neurônios ativados diminui, explicando por que a capacidade de raciocínio aritmético do modelo é prejudicada.” estrada explicada.

Do ponto de vista da aplicação, esta conquista terá perspectivas de aplicação em dois aspectos.

Primeiro, a capacidade de prever modelos grandes.

Em experimentos, os pesquisadores conseguiram ver que o nível de ativação dos neurônios que representam o raciocínio aritmético está positivamente correlacionado com a capacidade de raciocínio aritmético do modelo Llama2. Isto significa que, no futuro, os benchmarks poderão não ser necessários para prever diretamente as capacidades de grandes modelos em tarefas específicas.

Ao mesmo tempo, como os testes de benchmark requerem muitos recursos humanos e materiais, como anotação de conjuntos de dados e recursos computacionais, a capacidade de prever diretamente um grande modelo através da compreensão de seus mecanismos intrínsecos também ajuda a economizar custos.

Além disso, os profissionais da área esperam que grandes modelos sejam capazes de realizar tarefas sobre-humanas em um futuro próximo. Mas limitados pelas capacidades humanas, não há forma de construir parâmetros de referência para estas tarefas. Este problema pode ser evitado prevendo as capacidades do modelo através do mecanismo inerente de modelos grandes.

Em segundo lugar, ao controlar os mecanismos internos de grandes modelos, as capacidades do modelo podem ser melhoradas ou enfraquecidas.

“Acreditamos que esta aplicação se tornará um dos métodos importantes para melhorar a segurança de grandes modelos no futuro. Ao mesmo tempo, também tem o potencial de alcançar um treinamento mais eficiente de grandes modelos, como a localização de neurônios por meio de pequenos dados e. em seguida, controlar a ativação dos neurônios. O objetivo do treinamento do modelo”, disse a equipe de pesquisa.

Na verdade, no segundo semestre de 2023, a OpenAI propôs uma proposta de “superalinhamento” [3], com o objetivo de ajudar os humanos a supervisionar e controlar modelos de IA sobre-humanos, incentivando a inovação da investigação científica. As capacidades do modelo de previsão e controle são duas tarefas importantes para atingir esse objetivo.

“Este resultado é a nossa exploração preliminar nesta direção. Esperamos que nós ou outros pesquisadores possamos continuar a explorar nesta direção no futuro”, disse a equipe. Esta pesquisa foi inspirada na "interpretabilidade do mecanismo".

Este é um subcampo da interpretabilidade de modelos que emergiu rapidamente e recebeu ampla atenção nos últimos anos. Diferente dos métodos interpretáveis ​​anteriores, a interpretabilidade do mecanismo tenta compreender o mecanismo comportamental do modelo por meio da engenharia reversa da rede neural.

Atualmente, este tipo de método tem sido aplicado na explicação do comportamento e funções estruturais de grandes modelos.

“Um dos estudos que nos inspirou muito é a exploração da camada feedforward do Transformer por pesquisadores do Instituto Allen de Inteligência Artificial, nos Estados Unidos, e da Universidade Bar-Ilan, em Israel [4].”

Este estudo descobriu que, no processo de previsão da próxima unidade de vocabulário do modelo grande, a camada feed-forward do Transformer do modelo construirá previsões fortalecendo continuamente conceitos relacionados no espaço de vocabulário. Este reforço de conceito é obtido ativando neurônios na camada feedforward do Transformer.

“Essa descoberta no nível do mecanismo inspirou nossa conjectura: a razão pela qual o CoT pode estimular a capacidade de grandes modelos no raciocínio aritmético pode ser porque ele pode efetivamente ativar neurônios que representam conceitos de raciocínio aritmético na camada feedforward do Transformer, e esses neurônios ajudam a fortalecer a capacidade de raciocínio aritmético de grandes modelos", disse a equipe de pesquisa.

Com base nisso, o grupo de pesquisa se perguntou se existe um mecanismo que possa melhorar diretamente as capacidades de raciocínio aritmético de grandes modelos, especialmente modelos grandes de pequena escala.

A equipe observou: “Isso é algo muito significativo porque grandes modelos de pequena escala desfrutam de eficiência computacional, eficiência econômica e segurança únicas”.

Além disso, durante o mesmo período, também assistiram a algumas pesquisas para melhorar as capacidades de grandes modelos de pequena escala em campos ou tarefas específicas, através da recolha de dados de alta qualidade ou da modificação da função objetivo de formação. No entanto, a aplicação da interpretabilidade mecanicista a este respeito ainda está numa fase emergente.

Apesar disso, o processo de pesquisa científica da equipe não foi tranquilo, e eles até enfrentaram “travamentos” no início.

Entre eles, a maior dificuldade é que não compreendem totalmente o mecanismo interno de grandes modelos para raciocínio aritmético e, naturalmente, não conseguem alcançar o controle desejado do modelo.

“Portanto, meu aluno Lai, o primeiro autor do artigo, e eu decidimos nos concentrar primeiro em explicar o raciocínio aritmético de grandes modelos”, disse Yao Ziyu.

Mas eles logo encontraram a próxima dificuldade.

O "raciocínio aritmético" é um conceito altamente abstrato, e as previsões de grandes modelos são realizadas no nível de unidades de vocabulário específicas.

Se quisermos compreender a capacidade de raciocínio aritmético de grandes modelos do ponto de vista do "reforço conceitual de neurônios no espaço lexical", devemos primeiro implementar esse conceito altamente abstrato em conceitos específicos de nível lexical.

Para preencher esta lacuna, o grupo de pesquisa primeiro resumiu uma série de conceitos de nível inferior relacionados ao raciocínio aritmético, incluindo operadores aritméticos, expressões de linguagem lógica no raciocínio aritmético e outros conceitos de computação aritmética.

E usando GPT-4 para rotular e pesquisar com eficiência neurônios que expressam esses conceitos de baixo nível. Em seguida, eles recorreram a estudos anteriores para verificar esses neurônios pesquisados.

“Os resultados experimentais provam que estes neurônios realmente desempenham um papel importante no grande modelo do nosso experimento, disse Llama2.”

Isso também lhes dá mais confiança para continuar explorando nessa direção.

Eles pensaram em usar os estados de ativação desses neurônios para explicar uniformemente o efeito do CoT na capacidade de raciocínio aritmético de grandes modelos, inclusive explicando vários fenômenos observados em trabalhos anteriores.

Os resultados basicamente verificaram sua conjectura, ou seja, o efeito estimulante de diferentes componentes do CoT na capacidade de raciocínio aritmético de grandes modelos pode ser explicado pela ativação de neurônios relevantes.

No entanto, o estudo também apontou que a ativação neuronal não explicou todo o desempenho do raciocínio aritmético do modelo grande. Ao mesmo tempo, se as descobertas dos pesquisadores sobre o Llama2 são aplicáveis ​​a outros grandes grupos de modelos também precisa de mais verificação.

Também é relatado que o laboratório de Yao Ziyu tem atualmente uma série de cargos de doutorado totalmente acadêmicos para admissão no outono de 2025. Para obter detalhes, verifique o site da equipe https://ziyuyao.org/ e pergunte por e-mail.

Referências:

1.Wei, Jason, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V. Le e Denny Zhou. O prompting de cadeia de pensamento elicia o raciocínio em grandes modelos de linguagem.Advances in neural information processing systems 35 (2022): 24824-24837.https://doi.org/10.48550/arXiv.2201.11903

2.Daking, Rai, Ziyu, Yao, uma investigação da ativação neuronal como uma lente unificada para explicar o raciocínio aritmético de elicitação de cadeia de pensamento de LLMs.arXiv:2406.12288.https://doi.org/10.48550/arXiv.2406.12288

3.OpenAI. Apresentando o Superalignment. https://openai.com/index/introducing-superalignment/. 2023.

4.Geva, Mor, Avi Caciularu, Kevin Wang e Yoav Goldberg.Camadas de alimentação direta do transformador constroem previsões promovendo conceitos no espaço do vocabulário.EmAnais da Conferência de 2022 sobre métodos empíricos em processamento de linguagem natural, pp. 30-45. 2022.https://arxiv.org/abs/2203.14680

Composição: Chu Jiashi

01/

02/

03/

04/

05/