noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Informe del corazón de la máquina

Editor: Du Wei, Chen Chen

Huang Renxun dijo: "La próxima ola de IA son los robots, y uno de los desarrollos más interesantes son los robots humanoides". Hoy, el Proyecto GR00T ha dado otro paso importante.

Ayer, el fundador de NVIDIA, Huang Jensen, habló sobre su modelo básico universal de robot humanoide "Proyecto GR00T" en su discurso de apertura de SIGGRAPH 2024. El modelo recibe una serie de actualizaciones en cuanto a funcionalidad.

Zhu Yuke, profesor asistente de la Universidad de Texas en Austin y científico investigador senior de NVIDIA, tuiteó y demuestra en un vídeo cómo NVIDIAEl marco general de capacitación en simulación a gran escala de robots domésticos, los sistemas RoboCasa y MimicGen, están integrados en la plataforma NVIDIA Omniverse y la plataforma de desarrollo de robots Isaac.。

Fuente de la imagen: https://x.com/yukez/status/1818092679936299373

El vídeo cubre tres de las plataformas informáticas propias de Nvidia, incluidas AI, Omniverse y Jetson Thor, y las utiliza para simplificar y acelerar los flujos de trabajo de los desarrolladores. A través del empoderamiento conjunto de estas plataformas informáticas, se espera que entremos en la era de los robots humanoides impulsados ​​por IA física.

Lo más destacado es que los desarrolladores pueden utilizar Apple Vision Pro para controlar de forma remota robots humanoides para realizar tareas.

Al mismo tiempo, Jim Fan, otro científico investigador senior de Nvidia, dijo que las actualizaciones del Proyecto GR00T son emocionantes. NVIDIA utiliza un enfoque sistemático para escalar datos robóticos para resolver los desafíos más difíciles de la robótica.

La idea también es simple: los humanos recopilan datos de demostración sobre robots reales, y NVIDIA amplía estos datos mil veces o más en simulaciones. A través de la simulación acelerada por GPU, las personas ahora pueden intercambiar potencia informática por el trabajo de recopilación de datos humanos que requiere mucho tiempo, trabajo y dinero.

Habla de cómo no hace mucho pensaba que el control remoto era fundamentalmente no escalable porque en el mundo atómico siempre estábamos limitados a 24 horas/robots/días. El nuevo canal de datos sintéticos adoptado por NVIDIA en GR00T rompe esta limitación en el mundo de los bits.

Fuente de la imagen: https://x.com/DrJimFan/status/1818302152982343983

Con respecto a los últimos avances de NVIDIA en el campo de los robots humanoides, algunos internautas dijeron que Apple Vision Pro ha encontrado el mejor caso de uso.

NVIDIA está empezando a liderar la próxima ola: la IA física

NVIDIA también detalló el proceso técnico de aceleración de robots humanoides en un blog. El contenido completo es el siguiente:

Para acelerar el desarrollo de robots humanoides en todo el mundo, NVIDIA anunció un conjunto de servicios, modelos y plataformas informáticas para que los principales fabricantes de robots, desarrolladores de modelos de IA y fabricantes de software del mundo desarrollen, entrenen y construyan la próxima generación de robots humanoides.

El conjunto de productos incluye nuevos microservicios y marcos NVIDIA NIM para simulación y aprendizaje de robótica, servicios de orquestación NVIDIA OSMO para ejecutar cargas de trabajo de robótica de múltiples etapas y flujos de trabajo de operaciones remotas habilitados para simulación e inteligencia artificial que permiten a los desarrolladores utilizar una pequeña cantidad de datos de demostración humana para entrenar al robot.

Jensen Huang dijo: "La próxima ola de IA es la robótica, y uno de los desarrollos más interesantes son los robots humanoides. Estamos avanzando en el desarrollo de toda la pila de robótica de NVIDIA, abriéndola a desarrolladores y empresas de robots humanoides de todo el mundo, para que que puedan utilizar la plataforma, la biblioteca de aceleración y el modelo de IA que mejor se adapte a sus necesidades".

Acelere el desarrollo con NVIDIA NIM y OSMO

Los microservicios NIM proporcionan contenedores prediseñados con tecnología de software de inferencia NVIDIA, lo que permite a los desarrolladores reducir el tiempo de implementación de semanas a minutos.

Dos nuevos microservicios de IA permitirán a los expertos en robótica mejorar los flujos de trabajo de simulación de IA de física generativa en NVIDIA Isaac Sim.

El microservicio MimicGen NIM genera datos de movimiento sintéticos a partir de datos remotos registrados desde dispositivos de computación espacial como Apple Vision Pro. El microservicio Robocasa NIM genera tareas de robot y entornos de simulación en OpenUSD.

NVIDIA OSMO, un servicio administrado nativo de la nube, ya está disponible, lo que permite a los usuarios organizar y escalar flujos de trabajo de desarrollo robótico complejos en recursos informáticos distribuidos, ya sea en las instalaciones o en la nube. La aparición de OSMO simplifica enormemente los flujos de trabajo de simulación y entrenamiento de robots, acortando los ciclos de implementación y desarrollo de meses a menos de una semana.

Flujo de trabajo de captura de datos avanzado para desarrolladores de robots humanoides

Entrenar los modelos subyacentes detrás de robots humanoides requiere grandes cantidades de datos. Una forma de obtener datos de demostración humana es utilizar operaciones remotas, pero esto se está volviendo cada vez más costoso y prolongado.

A través del flujo de trabajo de referencia de operación remota de NVIDIA AI y Omniverse demostrado en la conferencia de gráficos por computadora SIGGRAPH, los investigadores y desarrolladores de AI pueden generar grandes cantidades de datos sintéticos de movimiento y percepción a partir de una cantidad muy pequeña de demostraciones humanas capturadas de forma remota.

Primero, los desarrolladores utilizaron Apple Vision Pro para capturar una pequeña cantidad de demostraciones remotas. Luego simularon las grabaciones en NVIDIA Isaac Sim y utilizaron el microservicio NIM MimicGen para generar conjuntos de datos sintéticos a partir de las grabaciones.

Los desarrolladores utilizaron datos reales y sintéticos para entrenar el modelo base del robot humanoide del Proyecto GR00T, lo que ahorró mucho tiempo y redujo costos. Luego utilizaron los microservicios Robocasa NIM en Isaac Lab, un marco de aprendizaje de robots, para generar experiencia para volver a entrenar el modelo de robot. A lo largo de todo el flujo de trabajo, NVIDIA OSMO distribuye sin problemas las tareas informáticas a diferentes recursos, lo que ahorra a los desarrolladores semanas de carga de trabajo administrativa.

Acceso ampliado a la tecnología de desarrollo de robótica humanoide de NVIDIA

NVIDIA proporciona tres plataformas informáticas para simplificar el desarrollo de robots humanoides: la supercomputadora NVIDIA AI para entrenar modelos; NVIDIA Isaac Sim construida sobre Omniverse, para que los robots puedan aprender y perfeccionar habilidades en un mundo simulado y NVIDIA para ejecutar modelos de computadora robot humanoide Jetson Thor. Los desarrolladores pueden acceder y utilizar toda o parte de la plataforma según sus necesidades específicas.

A través del nuevo NVIDIA Humanoid Developer Program, los desarrolladores tienen acceso temprano a nuevos productos y a las últimas versiones de los modelos base universales de humanoides NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor y Project GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra y Skild AI son las primeras empresas en unirse al programa de acceso temprano.

Los desarrolladores ahora pueden unirse al Programa de desarrolladores NVIDIA Humanoid para obtener acceso a NVIDIA OSMO e Isaac Lab, y pronto obtendrán acceso a los microservicios NVIDIA NIM.

Enlace del blog:

https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development