notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Produzido | Grupo de reflexão Huxiu

Autor | Huang Si Yu

Imagem do cabeçalho |

Na atual era de transformação industrial e do influxo de nova produtividade, a inteligência incorporada traz uma série de tecnologias de ponta, como modelos grandes, grandes modelos multimodais, pequenos modelos visuais/táteis, etc., para as fábricas e embarca em uma jornada prática no campo da manufatura industrial. No entanto, cenários industriais complexos e diversos representam sérios desafios para a inteligência incorporada. Com qual cena você deve começar? Como posso alternar livremente entre diferentes cenas? Como obter os dados extensos e de alta qualidade necessários para seus sistemas inteligentes?

Portanto, às 19h do dia 30 de julho de 2024, Huxiu Think Tank 502 colegas online convidadosYin Zhi, consultor-chefe da Associação de Tecnologia de Inteligência Artificial de Xangai, Fu Yihui, diretor da Tashan Technology Ecology, e Dr. Zhao He, CTO da Weiyi Intelligent Manufacturing, discutiram conjuntamente as aplicações inovadoras de grandes modelos no campo da inteligência incorporada e compartilharam casos de aplicação prática de inteligência incorporada e robôs humanóides.

1. Integração de inteligência incorporada e grandes modelos e desafios técnicos

O melhor portador de inteligência incorporada são os robôs humanóides, cujo crescimento depende de grandes modelos

A combinação de grandes modelos e inteligência incorporada alcançou certos resultados e tem amplas perspectivas. Yin Zhi, consultor-chefe da Associação de Tecnologia de Inteligência Artificial de Xangai, disse que grandes modelos podem ser usados ​​​​como cérebros de robôs, com capacidades de planejamento e raciocínio, e podem decompor objetivos em subobjetivos e chamar funções relacionadas. a direção tem um grande potencial.

Dr. Zhao He, CTO da Weiyi Intelligent Manufacturing, acredita que em cenários industriais, devido à natureza do seu trabalho, os robôs não humanóides podem ser mais adequados em cenários de vida, pode ser uma forma melhor;

O grande modelo subverte o método de interação humano-computador, permitindo que humanos e máquinas se comuniquem de forma natural, como texto, voz e imagens. A máquina pode compreender as intenções humanas e realizar operações. Modelos grandes proporcionam interação eficiente, permitindo que os robôs aprendam novas tarefas e obtenham requisitos e especificações operacionais específicos.

Fu Yihui, diretor ecológico da Tashan Technology, concorda que grandes modelos podem capacitar a inteligência incorporada. Ele disse que os robôs humanóides são os melhores portadores de inteligência incorporada e seu crescimento depende do desenvolvimento de grandes modelos. Construir um robô humanóide que pensa e se move como humanos não depende apenas de grandes modelos, mas também envolve aprendizado profundo, algoritmos de controle de movimento e percepção geral, como percepção tátil, percepção visual e a capacidade de compreender ambientes complexos e raciocínio lógico.

A inteligência espacial recentemente mencionada baseia-se em permitir que os robôs vejam o mundo, permitindo que os robôs compreendam melhor o mundo, aprendam conhecimentos e tomem ações enquanto observam o mundo. Portanto, sob esta premissa geral, alcançar a percepção incorporada real2sim (o processo de aplicação de um modelo treinado em um ambiente de simulação a um ambiente real), permitindo ao robô perceber melhor o mundo, é o pré-requisito para se tornar um robô mais flexível.

A incorporação de grandes modelos na inteligência incorporada exige o equilíbrio entre o consumo de energia e a receita

Alguns espectadores perguntaram: "Se um modelo grande for incorporado a um robô inteligente, será necessário suporte de hardware adicional? É necessário reequilibrar o desempenho e o consumo de energia?"

Dr. Zhao He acha que esta é uma boa pergunta. Ao incorporar robôs inteligentes em modelos grandes, é necessário considerar o suporte de hardware e o equilíbrio entre desempenho e consumo de energia. A inteligência incorporada em sentido amplo, incluindo os humanos, precisa equilibrar o consumo de energia com os benefícios obtidos. Por exemplo, o cérebro humano consome pouca energia, mas é inteligente. No entanto, o poder de computação e o consumo de energia dos grandes modelos atuais durante o treinamento e a inferência não podem atender às necessidades dos robôs inteligentes.

A direção do desenvolvimento futuro é: primeiro, reduzir significativamente o consumo de poder de computação e energia por grandes modelos através da tecnologia, segundo, melhorar a arquitetura e o paradigma do modelo, terceiro, desenvolver chips especiais, como ASIC, para aumentar a densidade de inteligência; , isto é, a inteligência no chip por unidade de área Até certo ponto, a tecnologia de modelo grande pode ser efetivamente aplicada a robôs inteligentes incorporados por meio do fortalecimento de software e do uso do chip dedicado desenvolvido para raciocínio de modelo.

Grandes modelos multimodais serão um módulo importante para a inteligência incorporada alcançar avanços tecnológicos, como controle e tomada de decisão.

Em termos de tecnologias-chave, como controle, tomada de decisão e navegação de inteligência incorporada, Yin Zhi acredita que o problema atual dos robôs movidos por grandes modelos de linguagem é que eles precisam converter informações em texto e depois processá-las. uma transição temporária. No futuro, os robôs deverão ser capazes de compreender o ambiente de percepção nativo. Não há necessidade de passar pela linguagem para tomar decisões de controle e navegação, e haverá muita lógica na visão.

No futuro, grandes modelos poderão utilizar sistemas multimodais para melhorar as capacidades de inteligência, com módulos responsáveis ​​por diferentes funções, tal como o cérebro humano. Atualmente, pode haver vários modelos pequenos controlando diferentes funções, respectivamente. Os robôs de comando de modelos grandes são uma forma de transição. Os grandes modelos multimodais são uma tendência, mas as capacidades inteligentes podem ser melhoradas primeiro, combinando modelos pequenos com modelos grandes. , dependendo No desenvolvimento de grandes modelos, atualmente faltam dados de grandes modelos nativos multimodais.

Zhao He destacou que em termos de controle, a introdução do servo visual em robôs industriais pode abrir o controle subjacente e as tarefas de nível superior, reduzindo significativamente os custos de aplicação em termos de navegação, a premissa é a percepção, incluindo informações multimodais; como toque e temperatura, mas a eficácia da integração de informações multimodais apresenta maiores desafios técnicos, mas é uma direção de desenvolvimento positiva. Permitir que as máquinas compreendam as intenções humanas e os requisitos das tarefas através do diálogo multimodal entre várias pessoas e de tangentes flexíveis completas será um progresso revolucionário. Também pode fornecer padrões inteligentes básicos para robôs industriais mais inteligentes e alcançar uma produção padronizada e uma adaptação flexível no local. .

Fu Yihui concordou com o ponto de vista do Dr. Zhao He. Ele mencionou que, ao fornecer sensores táteis para robôs humanóides, eles enfrentam o problema da fusão de dados táteis e visuais, bem como problemas como percepção de alta precisão e decisões complexas. criação e robustez Entre eles, a fusão de dados táteis e de percepção multimodal é a chave para romper a percepção incorporada. Grandes modelos multimodais com dados de detecção tátil ajudam os robôs a interagir em cenas complexas. Embora algoritmos tradicionais possam ser implementados em algumas cenas após muito treinamento, ainda haverá cenas que não foram treinadas e é difícil cobrir situações baixas. cenas de probabilidade. Problemas com baixa capacidade de generalização.

2. Cenários de implementação e expressão de valor da inteligência incorporada no campo industrial

Os cenários de aplicação de manufatura industrial começam com a resolução de tangentes flexíveis

Os robôs industriais são usados ​​há muito tempo, mas a maioria deles é automatizada. Existem problemas como depuração complexa, alto custo e baixa eficiência. Zhao He compartilhou uma série de casos específicos de aplicação industrial, como na linha de montagem, ajudando os clientes a resolver os problemas de altos custos de corte de linha e dificuldade de ajuste das linhas de produção. Originalmente, três engenheiros levaram quase uma semana para ajustar a linha de produção para que toda a linha de produção operasse em plena capacidade. Espera-se que o uso de tecnologia de robô industrial inteligente melhore esta situação.

No processo de inspeção de qualidade, fornecemos uma máquina de inspeção de qualidade de aparência baseada em tecnologia de IA para uma grande fábrica com mais de 3.000 pessoas, substituindo com sucesso mais de 2.000 trabalhadores de inspeção de qualidade. não era inferior ao trabalho manual e pode funcionar 24 horas por dia.

No processo de pós-processamento após a detecção de defeitos, a fim de resolver os problemas de eficiência e qualidade causados ​​pela digitação cega dos trabalhadores no processo de reparo de peças fundidas, a tecnologia de robô industrial inteligente é usada para combinar vários robôs para formar uma série de operações como detecção de defeitos, planejamento de trajetória e polimento A estação de trabalho inteligente resolve as limitações da operação manual e tem um impacto positivo no fluxo do processo de grandes peças fundidas.

A inteligência incorporada e as poderosas capacidades tangentes flexíveis melhorarão a eficiência da produção industrial

A melhoria da eficiência corporativa se reflete em dois aspectos: custo da mão de obra e eficiência de produção e operação. Fu Yihui destacou que, do ponto de vista dos custos trabalhistas, quando o preço dos robôs puder cobrir melhor os custos trabalhistas, será o nó de comercialização. A indústria de robôs humanóides pode ser maior do que o mercado da indústria automobilística. Em termos de eficiência de produção, os robôs podem trabalhar 24 horas por dia e a sua eficiência de aprendizagem é muito superior à dos humanos. Através da tomada de decisões optimizada e do controlo preciso, podem melhorar a eficiência das operações fabris ou comerciais.

Zhao He acredita que o primeiro problema comum na indústria transformadora são os problemas humanos, como a dificuldade em recrutar e reter trabalhadores qualificados. As empresas esperam reduzir a sua dependência da mão-de-obra e reduzir os custos. Weiyi Intelligent Manufacturing criou uma máquina de inspeção de qualidade baseada em tecnologia de IA para uma grande fábrica com mais de 3.000 pessoas, substituindo 2.000 trabalhadores de inspeção de qualidade, reduzindo os custos de mão de obra, e o desempenho da máquina não é pior do que o dos humanos, e pode operar 24 horas por dia.

Em segundo lugar, o custo do corte flexível da linha é alto, os modelos de produção, fornecimento e comercialização mudaram e os pedidos de pequenos lotes e vários lotes aumentaram. O modelo de produção tradicional não consegue atender à demanda do mercado. são obrigados a ter capacidades de corte de linha flexíveis, rápidas e de baixo custo para lidar com a situação. Novos pontos problemáticos na indústria de manufatura, capacitando as empresas a melhorar a eficiência da produção.

Priorize a implementação de cenários perigosos e insira cenários mais complexos à medida que a capacidade de generalização aumenta.

Existem diferentes opiniões sobre os cenários em que os robôs inteligentes incorporados deveriam ser implementados primeiro. Yin Zhi acredita que a indústria manufatureira tem amplamente utilizado equipamentos inteligentes incorporados, como braços robóticos, robôs logísticos, etc., e serão mais utilizados nas ligações de montagem, logística e armazenamento da indústria manufatureira. também se tornam cada vez mais comuns, incluindo residências, shopping centers, comunidades, etc. Cenários, carros autônomos também são uma categoria. Ele achava que deveríamos começar com trabalhos que os humanos não estão dispostos a fazer, que não são adequados para fazer ou que são perigosos e chatos.

Fu Yihui acredita que não pode ser simplesmente entendido na ordem da indústria, do comércio e da família. Os primeiros a serem implementados devem ser aqueles com cenários e requisitos de capacidade relativamente únicos. Por exemplo, na linha de produção de automóveis, na instalação e na fiação. dos chicotes elétricos dos carros ainda dependem de trabalho manual, e os robôs humanóides precisam ser uma solução de fusão de percepção modal tátil e multifuncional em cenários de negócios, como farmácias substituindo funcionários para pegar remédios, reposição e reabastecimento de supermercados, reabastecimento de postos de gasolina; e carregamento, etc., também existem cenários de aplicação perigosos ou especiais, que podem substituir pessoas envolvidas em trabalhos perigosos e, eventualmente, seguir o humanóide. Com capacidades de generalização aprimoradas, os robôs entrarão em cenários de colaboração e interação doméstica mais complexos.

Com rápido aprendizado de aquisição e recursos aprimorados de generalização, ele será capaz de resolver muitos problemas complexos de cena.

Sobre como melhorar a generalização e a capacidade geral de várias habilidades para conseguir a aplicação em diferentes cenários, Fu Yihui partiu da perspectiva da percepção tátil, coletou dados relacionados ao tátil por meio de cenas reais e promoveu treinamento de simulação para melhorar a operação hábil do robô e a capacidade de generalização de apreensão. Em cenários industriais, quando confrontados com objetos apreendidos complexos e diversos, é necessário melhorar a generalização das capacidades táteis ou de apreensão para resolver o problema.

Zhao He acredita que atualmente não há como os robôs fazerem tudo sem aprender. Em cenários industriais, a generalização e as capacidades gerais se refletem na inteligência básica, ou seja, por meio de tecnologias como modelos grandes, os robôs podem aprender rapidamente novas habilidades de tarefa. esta capacidade puder ser concretizada, será um avanço revolucionário para a aplicação de robôs industriais inteligentes na indústria.

Fu Yihui acredita que os robôs humanóides precisam da capacidade de pensar em uma cadeia de pensamento e ter um certo grau de generalização para atender às necessidades dos robôs em vários cenários. Por exemplo, o Google RT2 integra LLM e transformador visual para integrar detecção e controle. Com base no julgamento do ambiente e da intenção, ele pode criar estratégias de ação ideais para melhorar as capacidades de execução do robô.

3. Exploração de coleta de dados e métodos de treinamento para inteligência incorporada

Um membro da audiência perguntou como obter grandes quantidades de dados. Existem formas inovadoras de obtê-los? Zhao He acredita que o desenvolvimento da Internet industrial acumulou dados objetivamente para o nascimento de grandes modelos industriais. Na implementação real, a coleta, organização, automação e operação inteligente de dados devem ser implementadas em produtos e serviços como pontos centrais.

Atualmente, não existe um método de treinamento maduro e amplamente aceito para a inteligência incorporada. Tomando como exemplo robôs industriais inteligentes, espera-se que grandes modelos possam compreender tarefas e gerar instruções de controle por meio de métodos como visão de vídeo artificial.

Em termos de métodos de treinamento para inteligência incorporada, trata-se mais de treinar inteligência incorporada em um ambiente de simulação ou de usar simulação e dados gerados para treinamento. Porque o uso de dados reais para treinar modelos inteligentes incorporados ou robôs inteligentes tem o problema de dificuldade na coleta de dados e volume insuficiente de dados.

Yin Zhi propôs que existam prestadores de serviços de dados profissionais terceirizados, como empresas de anotação de dados, que podem evoluir para instrutores de IA ou empresas prestadoras de serviços no futuro. Na China, as vantagens nos custos laborais são relativamente óbvias e espera-se que forme uma indústria de dados multimodais e serviços de formação inteligentes.

Dê palavras

Embora a integração da inteligência incorporada e dos grandes modelos tenha alcançado certos resultados, como optimizar ainda mais o equilíbrio entre o consumo de energia e as receitas e concretizar a aplicação madura de grandes modelos multimodais ainda requer investigação contínua. Desde a resolução de problemas-chave de tangente flexível, até à melhoria das capacidades de generalização para adaptação a ambientes industriais complexos e diversos, ao estabelecimento de métodos de formação maduros e eficazes, ou à plena utilização das vantagens dos serviços de dados de terceiros, todos estes são factores que promovem a aplicação generalizada da inteligência incorporada no campo industrial.

Durante todo o evento, os participantes online participaram ativamente de intercâmbios interativos, incluindo pessoas da Audi China, NIO, Ideal, Dongfeng, Schneider Electric, Amazon Cloud Technology, Horizon Robotics, Huawei Terminal, Baidu, China Telecom e outras empresas. instituições como CICC Capital, Dingjie Software Ventures, China Software Group, Yizhuang State Investment e China Unicom Industrial Internet of Things. O público e os convidados tiveram conversas aprofundadas, trocaram experiências práticas e discutiram a cooperação empresarial, concluindo com sucesso este 502 seminário online entre pares.

Para acompanhar mais atividades práticas de inovação digital e de IA, siga-nos.Grupo de reflexão Tiger SniffConclua o registro para receber nossas atualizações de conteúdo e notificações de eventos.

Sobre o Huxiu Think Tank: Huxiu Think Tank é uma nova organização de serviços de pesquisa com foco na digitalização empresarial e na prática de inovação em IA. Ela fornece relatórios de pesquisa criteriosos, seleções de casos e reuniões on-line e reuniões on-line para ambas as partes no processo de inteligência industrial. atividades e serviços de visita são fornecidos para apoiar a tomada de decisões sábias dos executivos corporativos em inteligência e digitalização. Os valores fundamentais que fornecemos: insights oportunos e de alta qualidade, compreensão da tecnologia, indústria, pares e oponentes, fornecendo referência importante para tomadores de decisão em decisões estratégicas de tecnologia e produtos, planejamento industrial e seleção de soluções; compreender tecnologias de ponta e o status de desenvolvimento das indústrias afetadas e tendências futuras