notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Relatório do coração da máquina

Editor: Du Wei, Chen Chen

Huang Renxun disse: "A próxima onda de IA são os robôs, e um dos desenvolvimentos mais interessantes são os robôs humanóides. Hoje, o Projeto GR00T deu outro passo importante."

Ontem, o fundador da NVIDIA, Huang Jensen, falou sobre seu modelo básico universal de robô humanóide "Projeto GR00T" em seu discurso SIGGRAPH 2024 Keynote. O modelo recebe uma série de atualizações em termos de funcionalidade.

Zhu Yuke, professor assistente da Universidade do Texas em Austin e pesquisador sênior da NVIDIA, tuitou, demonstrando em um vídeo como a NVIDIAA estrutura de treinamento de simulação em grande escala de robôs domésticos gerais Os sistemas RoboCasa e MimicGen são integrados à plataforma NVIDIA Omniverse e à plataforma de desenvolvimento de robôs Isaac。

Fonte da imagem: https://x.com/yukez/status/1818092679936299373

O vídeo cobre três plataformas de computação próprias da Nvidia, incluindo AI, Omniverse e Jetson Thor, usando-as para simplificar e acelerar os fluxos de trabalho dos desenvolvedores. Através da capacitação conjunta destas plataformas de computação, espera-se que entremos na era dos robôs humanóides impulsionados pela IA física.

O maior destaque é que os desenvolvedores podem usar o Apple Vision Pro para controlar remotamente robôs humanóides para realizar tarefas.

Ao mesmo tempo, Jim Fan, outro cientista pesquisador sênior da Nvidia, disse que as atualizações do Projeto GR00T são emocionantes. A NVIDIA usa uma abordagem sistemática para dimensionar dados robóticos para resolver os desafios mais difíceis da robótica.

A ideia também é simples: humanos coletam dados de demonstração de robôs reais, e a NVIDIA expande esses dados mil vezes ou mais em simulações. Através da simulação acelerada por GPU, as pessoas agora podem trocar o poder da computação pelo trabalho demorado, trabalhoso e financeiro da coleta de dados humanos.

Ele fala sobre como há pouco tempo ele pensava que o controle remoto era fundamentalmente inescalável porque no mundo atômico estávamos sempre limitados a 24 horas/robô/dias. O novo pipeline de dados sintéticos adotado pela NVIDIA no GR00T quebra essa limitação no mundo bit.

Fonte da imagem: https://x.com/DrJimFan/status/1818302152982343983

Em relação aos últimos progressos da NVIDIA no campo de robôs humanóides, alguns internautas disseram que o Apple Vision Pro encontrou o caso de uso mais legal.

NVIDIA está começando a liderar a próxima onda: IA física

A NVIDIA também detalhou o processo técnico de aceleração de robôs humanóides em um blog. O conteúdo completo é o seguinte:

Para acelerar o desenvolvimento de robôs humanóides em todo o mundo, a NVIDIA anunciou um conjunto de serviços, modelos e plataformas de computação para os principais fabricantes de robôs, desenvolvedores de modelos de IA e fabricantes de software do mundo desenvolverem, treinarem e construírem a próxima geração de robôs humanóides.

O conjunto de produtos inclui novos microsserviços e estruturas NVIDIA NIM para simulação e aprendizado robótico, serviços de orquestração NVIDIA OSMO para executar cargas de trabalho robóticas de vários estágios e fluxos de trabalho de operações remotas habilitados para IA e simulação que permitem aos desenvolvedores usar uma pequena quantidade de dados de demonstração humanos para treinar o bot.

Jensen Huang disse: "A próxima onda de IA é a robótica, e um dos desenvolvimentos mais interessantes são os robôs humanóides. Estamos avançando no desenvolvimento de toda a pilha de robótica da NVIDIA, tornando-a aberta a desenvolvedores de robôs humanóides e empresas em todo o mundo, então que eles possam usar a plataforma, a biblioteca de aceleração e o modelo de IA que melhor atenda às suas necessidades."

Acelere o desenvolvimento com NVIDIA NIM e OSMO

Os microsserviços NIM fornecem contêineres pré-construídos com software de inferência NVIDIA, permitindo que os desenvolvedores reduzam o tempo de implantação de semanas para minutos.

Dois novos microsserviços de IA permitirão que especialistas em robótica aprimorem os fluxos de trabalho de simulação de IA de física generativa no NVIDIA Isaac Sim.

O microsserviço MimicGen NIM gera dados de movimento sintéticos a partir de dados remotos gravados em dispositivos de computação espacial, como o Apple Vision Pro. O microsserviço Robocasa NIM gera tarefas de robô e ambientes de simulação em OpenUSD.

NVIDIA OSMO, um serviço gerenciado nativo da nuvem, já está disponível, permitindo aos usuários orquestrar e dimensionar fluxos de trabalho complexos de desenvolvimento robótico em recursos de computação distribuídos, seja no local ou na nuvem. O surgimento do OSMO simplifica muito os fluxos de trabalho de treinamento e simulação de robôs, encurtando os ciclos de implantação e desenvolvimento de meses para menos de uma semana.

Fluxo de trabalho avançado de captura de dados para desenvolvedores de robôs humanóides

Treinar os modelos subjacentes aos robôs humanóides requer grandes quantidades de dados. Uma forma de obter dados de demonstração humana é utilizar operações remotas, mas isto está se tornando cada vez mais caro e demorado.

Por meio do fluxo de trabalho de referência de operação remota NVIDIA AI e Omniverse demonstrado na conferência de computação gráfica SIGGRAPH, pesquisadores e desenvolvedores de IA podem gerar grandes quantidades de dados sintéticos de movimento e percepção a partir de um número muito pequeno de demonstrações humanas capturadas remotamente.

Primeiro, os desenvolvedores usaram o Apple Vision Pro para capturar um pequeno número de demonstrações remotas. Em seguida, eles simularam as gravações no NVIDIA Isaac Sim e usaram o microsserviço MimicGen NIM para gerar conjuntos de dados sintéticos a partir das gravações.

Os desenvolvedores usaram dados reais e sintéticos para treinar o modelo básico do robô humanóide do Projeto GR00T, economizando muito tempo e reduzindo custos. Eles então usaram os microsserviços Robocasa NIM no Isaac Lab, uma estrutura de aprendizagem de robôs, para gerar experiência para treinar novamente o modelo do robô. Ao longo de todo o fluxo de trabalho, o NVIDIA OSMO distribui perfeitamente as tarefas de computação para diferentes recursos, economizando aos desenvolvedores semanas de carga de trabalho administrativo.

Acesso expandido à tecnologia de desenvolvedor de robótica humanóide da NVIDIA

A NVIDIA fornece três plataformas de computação para simplificar o desenvolvimento de robôs humanóides: supercomputador NVIDIA AI para modelos de treinamento; NVIDIA Isaac Sim, construído no Omniverse, para que os robôs possam aprender e aperfeiçoar habilidades em um mundo simulado e NVIDIA para executar modelos de computador robô humanóide Jetson Thor; . Os desenvolvedores podem acessar e usar toda ou parte da plataforma com base em suas necessidades específicas.

Por meio do novo NVIDIA Humanoid Developer Program, os desenvolvedores têm acesso antecipado a novos produtos e às versões mais recentes dos modelos de base humanóide universal NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor e Project GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra e Skild AI são as primeiras empresas a aderir ao programa de acesso antecipado.

Os desenvolvedores agora podem ingressar no NVIDIA Humanoid Developer Program para obter acesso ao NVIDIA OSMO e ao Isaac Lab, e em breve terão acesso aos microsserviços NVIDIA NIM.

Link do blog:

https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development