notícias

NVIDIA Isaac acelera a percepção visual 3D do robô e o planejamento da trajetória do braço robótico

2024-07-16

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina



Introdução

No dia 2 de julho, “Chimp” foi lançado em conjunto com a NVIDIA.Curso Aberto de Robótica NVIDIA"Completado com sucesso.Shu Jiaming, diretor de arquitetura de soluções, NVIDIApor"NVIDIA Isaac acelera a percepção visual 3D do robô e o planejamento da trajetória do braço robótico》 realizou uma transmissão ao vivo sobre o tema.

A era dos robôs de IA chegou.Com base na plataforma de robótica NVIDIA Isaac, a NVIDIA utiliza continuamente a mais recente IA generativa e tecnologia de simulação avançada para acelerar o desenvolvimento da tecnologia de robótica de IA

Desde este ano, a plataforma do robô NVIDIA Isaac recebeu atualizações importantes. No GTC 2024 em março, a NVIDIA lançou uma série de modelos básicos, ferramentas de robô e bibliotecas de aceleração de GPU, como Isaac Perceptor e Isaac Manipulator. Em junho deste ano, a versão mais recente do NVIDIA Isaac Sim 4.0 também estava oficialmente disponível para download.

Isaac Perceptor para AMR Vision AI fornece aos desenvolvedores recursos de visão multicâmera de 360 ​​graus. Esta função pode melhorar as capacidades de visão surround 3D e camadas espaciais da AMR, ajudar a AMR a melhorar a eficiência do trabalho e, ao mesmo tempo, aumentar a precisão para evitar obstáculos e garantir a segurança do trabalhador.

Isaac Manipulator oferece flexibilidade e recursos modulares de IA para braços robóticos. Isaac Manipulator usa um modelo básico baseado em Transformer e uma biblioteca de aceleração de GPU para acelerar o planejamento de caminho, garantindo que o robô possa executar tarefas de maneira mais suave e eficiente. Além disso, o Isaac Manipulator também pode ser usado para gerar poses de preensão para o braço do robô.

A robótica alimentada por IA física transformará nossas indústrias e vidas. Os modelos físicos de IA são capazes de compreender o que os rodeia e realizar tarefas complexas no mundo físico de forma autônoma. Muitas tarefas complexas são difíceis de programar e dependem de modelos físicos generativos de IA treinados usando aprendizagem por reforço em um ambiente de simulação. Com o NVIDIA Isaac Sim, um aplicativo de referência baseado no NVIDIA Omniverse, os desenvolvedores podem projetar, simular, testar e treinar robôs de IA e máquinas autônomas em um ambiente virtual que obedece às leis da física. NVIDIA Isaac Sim ajuda as equipes a gerar dados sintéticos, treinar estratégias de robôs e construir diferentes cenários de aplicativos sob demanda para validar toda a pilha de robôs antes da implantação.

Nesta aula aberta, o Sr. Shu Jiaming primeiro apresentou brevemente as atualizações importantes da plataforma de desenvolvimento de robôs NVIDIA Isaac, depois explicou como usar o Isaac Perceptor para melhorar os recursos de percepção visual surround 3D do AMR e, em seguida, discutiu o uso do Isaac Manipulator para gerar apreensão poses e acelerar o planejamento da trajetória. Por fim, o professor Shu Jiaming compartilhou como realizar testes e avaliações em Isaac Sim.

O PPT do material didático do professor Shu Jiaming foi carregado nesta conta pública [Estado do algoritmo】, você pode responder à palavra-chave "Isaque" obter.

PPT em destaque























Controle de qualidade parcial

Q1: Quais expansões e melhorias específicas o Isaac Lab tem com base na órbita?

A1:https://isaac-sim.github.io/IsaacLab/index.html

Q2: O programa IsaacGymEnvs é fácil de transplantar para Isaac Sim?

A2:https://isaac-sim.github.io/IsaacLab/source/migration/migrating_from_isaacgymenvs.html

Q3: Quais são os principais renderizadores integrados ao Isaac Sim e quais as diferenças?

A3:https://docs.omniverse.nvidia.com/materials-and-rendering/latest/rtx-renderer.html#rtx-renderer

Reprodução completa