noticias

NVIDIA Isaac acelera la percepción visual 3D del robot y la planificación de la trayectoria del brazo robótico

2024-07-16

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina



Introducción

El 2 de julio, se lanzó "Chimp" junto con NVIDIA.Curso Abierto de Robótica NVIDIA"Completado con éxito.Shu Jiaming, director de arquitectura de soluciones, NVIDIApor"NVIDIA Isaac acelera la percepción visual 3D del robot y la planificación de la trayectoria del brazo robótico》 realizó una transmisión en vivo sobre el tema.

Ha llegado la era de los robots con IA.Basado en la plataforma de robótica NVIDIA Isaac, NVIDIA utiliza continuamente la última IA generativa y tecnología de simulación avanzada para acelerar el desarrollo de la tecnología de robótica de IA.

Desde este año, la plataforma del robot NVIDIA Isaac ha recibido importantes actualizaciones. En GTC 2024 en marzo, NVIDIA lanzó una serie de modelos básicos, herramientas robóticas y bibliotecas de aceleración de GPU, como Isaac Perceptor e Isaac Manipulator. En junio de este año, la última versión de NVIDIA Isaac Sim 4.0 también estuvo oficialmente disponible para descargar.

Isaac Perceptor para AMR Vision AI proporciona a los desarrolladores capacidades de visión de 360 ​​grados multicámara. Esta función puede mejorar las capacidades de visión envolvente 3D y las capas espaciales de AMR, ayudar a AMR a mejorar la eficiencia del trabajo y, al mismo tiempo, mejorar la precisión para evitar obstáculos y garantizar la seguridad de los trabajadores.

Isaac Manipulator proporciona flexibilidad y capacidades modulares de IA para brazos robóticos. Isaac Manipulator utiliza un modelo básico basado en Transformer y una biblioteca de aceleración de GPU para acelerar la planificación de rutas, asegurando que el robot pueda realizar tareas de manera más fluida y eficiente. Además, Isaac Manipulator también se puede utilizar para generar posturas de agarre para el brazo del robot.

La robótica impulsada por la IA física transformará nuestras industrias y nuestras vidas. Los modelos físicos de IA son capaces de comprender su entorno y completar de forma autónoma tareas complejas en el mundo físico. Muchas tareas complejas son difíciles de programar y dependen de modelos físicos generativos de IA entrenados mediante aprendizaje por refuerzo en un entorno de simulación. Con NVIDIA Isaac Sim, una aplicación de referencia basada en NVIDIA Omniverse, los desarrolladores pueden diseñar, simular, probar y entrenar robots con IA y máquinas autónomas en un entorno virtual que obedece a las leyes de la física. NVIDIA Isaac Sim ayuda a los equipos a generar datos sintéticos, entrenar estrategias de robots y crear diferentes escenarios de aplicaciones bajo demanda para validar toda la pila de robots antes de la implementación.

En esta clase abierta, el Sr. Shu Jiaming primero presentó brevemente las actualizaciones importantes de la plataforma de desarrollo de robots NVIDIA Isaac, luego explicó cómo usar Isaac Perceptor para mejorar las capacidades de percepción visual envolvente 3D de AMR y luego discutió el uso de Isaac Manipulator para generar agarre. plantea y acelera la planificación de trayectorias. Un análisis en profundidad. Finalmente, el maestro Shu Jiaming compartió cómo realizar pruebas y evaluaciones en Isaac Sim.

El material didáctico PPT del profesor Shu Jiaming se ha subido a esta cuenta pública [Estado del algoritmo】, puedes responder a la palabra clave "Isaac" para obtener.

PowerPoint destacado























Control de calidad parcial

P1: ¿Qué ampliaciones y mejoras específicas tiene Isaac Lab basadas en órbita?

A1: https://isaac-sim.github.io/IsaacLab/index.html

P2: ¿Es fácil trasplantar el programa de IsaacGymEnvs a Isaac Sim?

A2: https://isaac-sim.github.io/IsaacLab/source/migration/migrating_from_isaacgymenvs.html

P3: ¿Cuáles son los principales renderizadores integrados con Isaac Sim y cuáles son las diferencias?

A3: https://docs.omniverse.nvidia.com/materials-and-rendering/latest/rtx-renderer.html#rtx-renderer

Reproducción completa