nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Rapport sur le cœur de la machine

Editeur : Du Wei, Chen Chen

Huang Renxun a déclaré : « La prochaine vague d'IA est celle des robots, et l'un des développements les plus passionnants est celui des robots humanoïdes. Aujourd'hui, le projet GR00T a franchi une autre étape importante.

Hier, le fondateur de NVIDIA, Huang Jensen, a parlé de son modèle de base universel de robot humanoïde « Projet GR00T » dans son discours d'ouverture du SIGGRAPH 2024. Le modèle reçoit une série de mises à jour en termes de fonctionnalités.

Zhu Yuke, professeur adjoint à l'Université du Texas à Austin et chercheur scientifique principal chez NVIDIA, a tweeté, démontrant dans une vidéo comment NVIDIALe cadre général de formation par simulation à grande échelle de robots ménagers, les systèmes RoboCasa et MimicGen sont intégrés à la plateforme NVIDIA Omniverse et à la plateforme de développement de robots Isaac.。

Source de l'image : https://x.com/yukez/status/1818092679936299373

La vidéo couvre trois des plates-formes informatiques de Nvidia, notamment AI, Omniverse et Jetson Thor, et les utilise pour simplifier et accélérer les flux de travail des développeurs. Grâce à l’autonomisation conjointe de ces plates-formes informatiques, nous devrions entrer dans l’ère des robots humanoïdes pilotés par l’IA physique.

Le plus gros point fort est que les développeurs peuvent utiliser Apple Vision Pro pour contrôler à distance des robots humanoïdes afin d'effectuer des tâches.

Dans le même temps, Jim Fan, un autre chercheur scientifique principal de Nvidia, a déclaré que les mises à jour du projet GR00T étaient passionnantes. NVIDIA utilise une approche systématique pour mettre à l'échelle les données robotiques afin de résoudre les défis les plus difficiles en matière de robotique.

L'idée est également simple : les humains collectent des données de démonstration sur de vrais robots, et NVIDIA étend ces données mille fois ou plus dans les simulations. Grâce à la simulation accélérée par GPU, les utilisateurs peuvent désormais échanger de la puissance de calcul contre le travail fastidieux, laborieux et financier de collecte de données humaines.

Il raconte qu'il n'y a pas si longtemps, il pensait que le contrôle à distance était fondamentalement inévolutif, car dans le monde atomique, nous étions toujours limités à 24 heures/robots/jours. Le nouveau pipeline de données synthétiques adopté par NVIDIA sur GR00T brise cette limitation dans le monde des bits.

Source de l'image : https://x.com/DrJimFan/status/1818302152982343983

Concernant les derniers progrès de NVIDIA dans le domaine des robots humanoïdes, certains internautes ont déclaré qu'Apple Vision Pro avait trouvé le cas d'utilisation le plus intéressant.

NVIDIA commence à diriger la prochaine vague : l'IA physique

NVIDIA a également détaillé le processus technique d'accélération des robots humanoïdes dans un blog. Le contenu complet est le suivant :

Pour accélérer le développement des robots humanoïdes dans le monde, NVIDIA a annoncé un ensemble de services, de modèles et de plates-formes informatiques destinés aux principaux fabricants de robots, développeurs de modèles d'IA et éditeurs de logiciels au monde, afin de développer, former et construire la prochaine génération de robots humanoïdes.

La suite de produits comprend de nouveaux microservices et frameworks NVIDIA NIM pour la simulation et l'apprentissage robotique, les services d'orchestration NVIDIA OSMO pour exécuter des charges de travail robotiques à plusieurs étapes, ainsi que des flux de travail d'opérations à distance basés sur l'IA et la simulation qui permettent aux développeurs d'utiliser une petite quantité de données de démonstration humaine pour entraîner le robot.

Jensen Huang a déclaré : « La prochaine vague d'IA est la robotique, et l'un des développements les plus passionnants concerne les robots humanoïdes. Nous faisons progresser le développement de l'ensemble de la pile robotique NVIDIA, la rendant ainsi ouverte aux développeurs de robots humanoïdes et aux entreprises du monde entier. qu'ils puissent utiliser la plateforme, la bibliothèque d'accélération et le modèle d'IA qui répondent le mieux à leurs besoins.

Accélérez le développement avec NVIDIA NIM et OSMO

Les microservices NIM fournissent des conteneurs prédéfinis alimentés par le logiciel d'inférence NVIDIA, permettant aux développeurs de réduire le temps de déploiement de quelques semaines à quelques minutes.

Deux nouveaux microservices d'IA permettront aux experts en robotique d'améliorer les flux de travail de simulation d'IA en physique générative dans NVIDIA Isaac Sim.

Le microservice MimicGen NIM génère des données de mouvement synthétiques à partir de données distantes enregistrées à partir d'appareils informatiques spatiaux tels que Apple Vision Pro. Le microservice Robocasa NIM génère des tâches robotiques et des environnements de simulation dans OpenUSD.

NVIDIA OSMO, un service géré cloud natif, est désormais disponible, permettant aux utilisateurs d'orchestrer et de faire évoluer des flux de travail de développement robotique complexes sur des ressources informatiques distribuées, que ce soit sur site ou dans le cloud. L’émergence d’OSMO simplifie considérablement les flux de travail de formation et de simulation des robots, raccourcissant les cycles de déploiement et de développement de quelques mois à moins d’une semaine.

Flux de travail avancé de capture de données pour les développeurs de robots humanoïdes

La formation des modèles sous-jacents aux robots humanoïdes nécessite de grandes quantités de données. Une façon d’obtenir des données de démonstration humaine consiste à recourir à des opérations à distance, mais cela devient de plus en plus coûteux et long.

Grâce au flux de travail de référence pour les opérations à distance NVIDIA AI et Omniverse présenté lors de la conférence d'infographie SIGGRAPH, les chercheurs et les développeurs d'IA peuvent générer de grandes quantités de données synthétiques de mouvement et de perception à partir d'un très petit nombre de démonstrations humaines capturées à distance.

Tout d’abord, les développeurs ont utilisé Apple Vision Pro pour capturer un petit nombre de démonstrations à distance. Ils ont ensuite simulé les enregistrements dans NVIDIA Isaac Sim et utilisé le microservice MimicGen NIM pour générer des ensembles de données synthétiques à partir des enregistrements.

Les développeurs ont utilisé des données réelles et synthétiques pour entraîner le modèle de base du robot humanoïde du projet GR00T, économisant ainsi beaucoup de temps et réduisant les coûts. Ils ont ensuite utilisé les microservices Robocasa NIM dans Isaac Lab, un cadre d'apprentissage robotique, pour générer l'expérience nécessaire au recyclage du modèle de robot. Tout au long du flux de travail, NVIDIA OSMO répartit de manière transparente les tâches informatiques entre différentes ressources, ce qui permet aux développeurs d'économiser des semaines de charge de travail administrative.

Accès étendu à la technologie des développeurs de robotique humanoïde NVIDIA

NVIDIA propose trois plates-formes informatiques pour simplifier le développement de robots humanoïdes : le supercalculateur NVIDIA AI pour la formation des modèles ; NVIDIA Isaac Sim construit sur Omniverse, afin que les robots puissent apprendre et perfectionner leurs compétences dans un monde simulé et NVIDIA pour exécuter des modèles d'ordinateur robot humanoïde Jetson Thor. Les développeurs peuvent accéder et utiliser tout ou partie de la plateforme en fonction de leurs besoins spécifiques.

Grâce au nouveau programme NVIDIA Humanoid Developer Program, les développeurs bénéficient d'un accès anticipé aux nouveaux produits et aux dernières versions des modèles de base humanoïde universels NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor et Project GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra et Skild AI sont les premières entreprises à rejoindre le programme d'accès anticipé.

Les développeurs peuvent désormais rejoindre le programme NVIDIA Humanoid Developer pour accéder à NVIDIA OSMO et Isaac Lab, et auront bientôt accès aux microservices NVIDIA NIM.

Lien du blog :

https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development