notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Relatório do coração da máquina

Departamento Editorial de Coração de Máquina

Esta é a primeira vez que os humanos demonstram que as redes neurais podem criar seus próprios mapas.

Imagine que você está em uma cidade estranha. Mesmo que o ambiente ao redor não seja familiar a princípio, você pode explorar os arredores e, eventualmente, desenhar um mapa do ambiente em seu cérebro, que inclui edifícios, ruas, placas, etc., que interagem entre si. relação posicional entre eles. Esta capacidade de construir mapas espaciais no cérebro está subjacente a tipos de cognição de ordem superior em humanos: por exemplo, teoriza-se que a linguagem é codificada por estruturas semelhantes a mapas no cérebro.

No entanto, mesmo a inteligência artificial e as redes neurais mais avançadas não conseguem construir tal mapa do nada.

Matt Thomson, professor assistente de biologia computacional e pesquisador do Heritage Medical Research Institute, disse:"Há uma sensação de que mesmo os modelos de inteligência artificial mais avançados não são verdadeiramente inteligentes. Eles não podem resolver problemas como nós; eles não podem provar resultados matemáticos não comprovados não pode gerar novas ideias.”

"Achamos que é porque eles não conseguem navegar no espaço conceitual; resolver problemas complexos é como se mover no espaço conceitual, assim como a navegação. O que a IA faz é mais como um aprendizado mecânico - você dá uma entrada e ela lhe dá uma resposta. Mas não pode sintetizar ideias diferentes."

Recentemente, um novo artigo do Laboratório Thomson descobriu que as redes neurais podem usar um algoritmo chamado “codificação preditiva” para construir mapas espaciais. O artigo foi publicado na revista Nature Machine Intelligence em 18 de julho.

• Endereço do artigo: https://www.nature.com/articles/s42256-024-00863-1
• Endereço do código: https://github.com/jgornet/predictive-coding-recovers-maps

Liderados pelo estudante de graduação James Gornet, os dois construíram ambientes no jogo Minecraft, incorporando elementos complexos como árvores, rios e cavernas. Eles gravaram vídeos de jogadores andando aleatoriamente pela área e usaram os vídeos para treinar uma rede neural equipada com um algoritmo de codificação preditiva.

Eles descobriram que a rede neural poderia aprender como os objetos no mundo do Minecraft eram organizados entre si e poderia “prever” o ambiente que encontraria ao se mover pelo espaço.

A combinação do algoritmo de codificação preditiva e do jogo Minecraft "ensinou" com sucesso a rede neural como criar mapas espaciais e, em seguida, usar esses mapas espaciais para prever os quadros subsequentes do vídeo. O resultado foi um erro quadrático médio de apenas 0,094% entre os quadros. imagem prevista e a imagem final.

Além do mais, a equipe “ligou” a rede neural (equivalente a examinar a estrutura interna) e descobriu que as representações de vários objetos são armazenadas espacialmente umas em relação às outras. Em outras palavras, eles viram um mapa do ambiente do Minecraft armazenado em uma rede neural.

As redes neurais podem navegar em mapas fornecidos por designers humanos, como carros autônomos usando GPS, masEsta é a primeira vez que humanos demonstram que redes neurais podem criar seus próprios mapas . Essa capacidade de armazenar e organizar informações espacialmente acabará por ajudar as redes neurais a se tornarem mais “inteligentes”, permitindo-lhes resolver problemas verdadeiramente complexos como os humanos.

Este projeto demonstra as verdadeiras capacidades de consciência espacial da inteligência artificial, que ainda não são vistas em tecnologias como o Sora da OpenAI., o último tem algumas falhas estranhas.

James Gornet é aluno do Departamento de Sistemas Computacionais e Neurais (CNS) da Caltech, que cobre neurociência, aprendizado de máquina, matemática, estatística e biologia.

“O programa CNS realmente oferece um local para James realizar um trabalho único que não seria possível em outro lugar”, disse Thomson. “Estamos adotando uma abordagem de aprendizado de máquina de inspiração biológica que nos permite fazer engenharia reversa das propriedades do cérebro em redes neurais artificiais e esperamos entender o cérebro por sua vez. Na Caltech, temos uma equipe muito receptiva a esse tipo de coisa. trabalho. Comunidade."

Rede neural que realiza codificação preditiva

Inspirados na representação espacial implícita em problemas de inferência de codificação preditiva, os pesquisadores desenvolveram uma implementação computacional de um agente de codificação preditiva e estudaram a representação espacial aprendida pelo agente ao explorar um ambiente virtual.

Eles primeiro criaram um ambiente usando o ambiente Malmo no Minecraft. O ambiente físico tem dimensões de blocos 40 × 65 e abrange três aspectos da cena visual: uma caverna fornece um marco visual global, uma floresta cria semelhanças entre cenas visuais e um rio com uma ponte limita a cena visual. o meio ambiente (Fig. 1a).

O agente segue um caminho determinado por uma busca A* para encontrar o caminho mais curto entre locais amostrados aleatoriamente e recebe uma imagem visual em cada caminho.

Para realizar a codificação preditiva, o autor construiu uma rede neural convolucional codificador-decodificador. O codificador adota a arquitetura ResNet-18 e o decodificador adota a arquitetura convolucional transposta ResNet-18 (Figura 1b). A arquitetura codificador-decodificador usa a arquitetura U-Net para passar as unidades latentes codificadas para o decodificador. O processamento de atenção com múltiplas cabeças codifica sequências de unidades latentes para codificar históricos de observações visuais anteriores. A atenção multicabeças tem h = 8 cabeças. Para uma unidade latente de codificação com dimensões D = C × H × W, com altura H, largura W e canal C, as dimensões de uma única cabeça são d = C × H × W/h.

Os codificadores preditivos aproximam a codificação preditiva, minimizando o erro quadrático médio entre as observações reais e as observações previstas. O codificador preditivo foi treinado por 200 épocas em 82.630 amostras usando otimização de descida de gradiente com momento de Nesterov, queda de peso de 5 × 10 ^ (-6), taxa de aprendizado de 10 ^ (-1) e passado por OneCycle. ajustado. O erro quadrático médio entre a imagem prevista do codificador preditivo otimizado e a imagem real é de 0,094, com boa fidelidade visual (Figura 1c).

Veja o artigo original para mais detalhes.

https://techxplore.com/news/2024-07-neural-network-minecraft.html

https://www.tomshardware.com/tech-industry/artificial-intelligence/neural-network-learns-to-make-maps-with-minecraft-code-available-on-github