notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Escrito por | Ma Xuewei

Desde o uso de drogas para estimular o cérebro no "Supercorpo" até o uso de interferência eletrônica para invadir o espaço cerebral na cultura cyberpunk, os humanos têm muitas fantasias sobre a possibilidade de manipulação do cérebro humano. Vamos imaginar,E se os humanos pudessem realmente manipular diretamente todos os neurônios do cérebro humano?

Até então, os humanos serão capazes de compreender diretamente o papel desses neurônios na percepção de objetos específicos e, esperançosamente, fazer algumas coisas de “ficção científica”.

Na vida real, tal experimento é quase impossível de implementar no cérebro humano, mas é viável em redes neurais artificiais. No entanto, como os modelos geralmente contêm milhões de neurônios, são muito grandes e complexos e exigem muita mão de obra para serem compreendidos, o que torna a compreensão do modelo em grande escala uma tarefa muito desafiadora.

Para tanto, uma equipe de pesquisa do Laboratório de Ciência da Computação e Inteligência Artificial do MIT (MIT CSAIL) lançou um sistema que utiliza modelos neurais para realizar automaticamente tarefas de compreensão de modelos - MAIA, ou "Agente interpretável automático multimodal”。

MAIA usa modelos de linguagem visual pré-treinados para automatizar a tarefa de compreensão de modelos neurais.O design modular permite à MAIAFlexibilidade para avaliar qualquer sistema e adicionar facilmente novas ferramentas experimentais . Além disso, pode automatizar experimentos complexos, usar métodos experimentais iterativos para testar hipóteses e atualizar hipóteses com base em resultados experimentais.

Jacob Steinhardt, professor assistente da Universidade da Califórnia, Berkeley, acredita que a expansão desses métodos pode ser uma das formas mais importantes de compreender e supervisionar com segurança os sistemas de inteligência artificial. No entanto, a equipe de pesquisa acredita queMAIA aprimorado não substituirá a supervisão humana de sistemas de inteligência artificial . O MAIA ainda requer supervisão humana para detectar erros como viés de confirmação e falhas na geração/edição de imagens.

Qual é o efeito real?

Embora os métodos automatizados de interpretabilidade existentes simplesmente rotulem ou visualizem os dados uma vez, o MAIA é capaz de gerar hipóteses, projetar experimentos para testá-las e melhorar sua compreensão por meio de análises iterativas. Ao combinar modelos de linguagem visual (VLMs) pré-treinados com uma biblioteca de ferramentas de interpretabilidade, esta abordagem multimodal pode responder às consultas dos usuários escrevendo e executando experimentos direcionados específicos do modelo, melhorando continuamente sua abordagem até que seja capaz de fornecer uma resposta abrangente.

O núcleo da estrutura MAIA é um agente conduzido por um modelo multimodal pré-treinado (como o GPT-4V), que é capaz de realizar experimentos automaticamente para explicar o comportamento de outros sistemas. Isso é feito combinando sub-rotinas interpretáveis ​​em programas Python.

Figura | Arquitetura MAIA

A equipe de pesquisa avaliou o MAIA no paradigma de descrição de neurônios. O estudo mostrou que o MAIA alcançou excelentes efeitos de descrição em modelos reais e conjuntos de dados de neurônios sintéticos, com capacidades preditivas melhores do que os métodos de linha de base e comparáveis ​​aos de especialistas humanos.

Figura | Avaliação MAIA Descrição

Além disso, MAIA mostra um bom potencial de aplicação na remoção de recursos falsos e na revelação de preconceitos, o que pode ajudar os usuários humanos a compreender melhor o comportamento do modelo e melhorar o desempenho e a justiça do modelo.

Use MAIA para remover recursos espúrios

Recursos falsos podem afetar a robustez do modelo em cenários do mundo real. O MAIA pode identificar e remover características espúrias do modelo, melhorando assim a robustez do modelo. A equipe de pesquisa usou o ResNet-18 para treinar no conjunto de dados Spawrious, que contém quatro raças de cães com origens diferentes.

No conjunto de dados, cada raça de cão está associada falsamente a um contexto específico (por exemplo, neve, selva, deserto, praia), enquanto no conjunto de testes, os pares de raça e antecedentes são caóticos. A equipe de pesquisa usou o MAIA para encontrar um subconjunto de neurônios da camada final que pudesse prever de forma robusta a raça de um cão individual, independentemente de características espúrias, simplesmente alterando a consulta no prompt do usuário.

Os resultados mostram que o MAIA pode efetivamente remover características espúrias do modelo, melhorando assim a robustez do modelo.

Usando MAIA para descobrir preconceitos

Os modelos podem ter preconceitos que fazem com que tenham um desempenho insatisfatório em determinadas situações. E o MAIA pode revelar automaticamente preconceitos nos modelos. A equipe de pesquisa usou o ResNet-152 para treinar no ImageNet e usou o MAIA para verificar o viés na saída do modelo.

Durante o experimento, o MAIA foi solicitado a gerar imagens relacionadas a categorias específicas e observou a resposta do modelo a essas imagens. Mais tarde, o MAIA descobriu que alguns modelos tinham preferências por subcategorias específicas ou imagens relacionadas a categorias específicas.

Isto mostra que o MAIA pode ajudar a identificar preconceitos nos modelos e, assim, melhorá-los.

Figura | Detecção de viés do modelo MAIA

Deficiências e perspectivas

Embora o MAIA mostre grande potencial em interpretabilidade automática, ainda existem algumas limitações.

Primeiro, a capacidade de explicação do MAIA é limitada pelas ferramentas que utiliza, como Stable Diffusion e GPT-4. As limitações destas ferramentas (por exemplo, qualidade de geração de imagens, custo, restrições de acesso) afetam diretamente o desempenho do MAIA. No futuro, você poderá considerar o desenvolvimento de ferramentas internas mais poderosas ou procurar alternativas de código aberto para melhorar a confiabilidade e a acessibilidade do seu sistema.

Em segundo lugar, a explicação do MAIA não é uma verificação formal, mas baseada em resultados experimentais e descrições em linguagem natural. Isso pode levar a interpretações tendenciosas ou enganosas. No futuro, métodos formais de verificação (como raciocínio causal, análise teórica) podem ser considerados integrados no MAIA para melhorar a precisão e fiabilidade das explicações.

Além disso, o MAIA não pode evitar completamente erros comuns, como viés de confirmação, interpretação excessiva, conclusões de amostras pequenas, etc. No futuro, a introdução de um mecanismo de autorreflexão pode ser considerada para permitir ao MAIA identificar e corrigir os seus próprios erros e melhorar a robustez da interpretação.

Olhando para o futuro, Rott Shaham, coautor do artigo, disse:"Acho que o próximo passo natural para o nosso laboratório é ir além dos sistemas artificiais e aplicar esses experimentos semelhantes à percepção humana. Tradicionalmente, isso exigiu projetar e testar estímulos manualmente , Este é um processo trabalhoso. Com nosso agente, podemos ampliar esse processo e projetar e testar um grande número de estímulos simultaneamente.