Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Maschinenherzbericht

Herausgeber: Du Wei, Chen Chen

Huang Renxun sagte: „Die nächste Welle der KI sind Roboter, und eine der aufregendsten Entwicklungen sind humanoide Roboter.“ Heute hat das Projekt GR00T einen weiteren wichtigen Schritt getan.

Gestern sprach NVIDIA-Gründer Huang Jensen in seiner SIGGRAPH 2024 Keynote-Rede über sein universelles Basismodell des humanoiden Roboters „Project GR00T“. Das Modell erhält eine Reihe von Updates hinsichtlich der Funktionalität.

Zhu Yuke, Assistenzprofessor an der University of Texas in Austin und leitender Forschungswissenschaftler bei NVIDIA, twitterte und demonstrierte in einem Video, wie NVIDIADas allgemeine Simulationstrainings-Framework für Haushaltsroboter, RoboCasa und MimicGen, ist in die NVIDIA Omniverse-Plattform und die Isaac-Roboterentwicklungsplattform integriert。

Bildquelle: https://x.com/yukez/status/1818092679936299373

Das Video behandelt drei von Nvidias eigenen Computerplattformen, darunter AI, Omniverse und Jetson Thor, und nutzt sie, um Entwickler-Workflows zu vereinfachen und zu beschleunigen. Durch die gemeinsame Stärkung dieser Computerplattformen wird erwartet, dass wir in die Ära humanoider Roboter eintreten, die von physischer KI angetrieben werden.

Das größte Highlight ist, dass Entwickler mit Apple Vision Pro humanoide Roboter fernsteuern können, um Aufgaben auszuführen.

Gleichzeitig sagte Jim Fan, ein weiterer leitender Forschungswissenschaftler von Nvidia, dass die Aktualisierungen des Projekts GR00T aufregend seien. NVIDIA nutzt einen systematischen Ansatz zur Skalierung von Robotikdaten, um die schwierigsten Herausforderungen in der Robotik zu lösen.

Auch die Idee ist einfach: Menschen sammeln Demonstrationsdaten an echten Robotern, und NVIDIA erweitert diese Daten in Simulationen um das Tausendfache oder mehr. Durch die GPU-beschleunigte Simulation können Menschen nun Rechenleistung gegen die zeitaufwändige, arbeitsintensive und finanziell aufwendige Arbeit der menschlichen Datenerfassung eintauschen.

Er spricht darüber, wie er vor nicht allzu langer Zeit dachte, Fernsteuerung sei grundsätzlich nicht skalierbar, weil wir in der Atomwelt immer auf 24 Stunden/Roboter/Tage beschränkt waren. Die neue Pipeline für synthetische Daten, die NVIDIA auf GR00T eingeführt hat, durchbricht diese Einschränkung in der Bit-Welt.

Bildquelle: https://x.com/DrJimFan/status/1818302152982343983

In Bezug auf NVIDIAs neueste Fortschritte im Bereich humanoider Roboter sagten einige Internetnutzer, dass Apple Vision Pro den coolsten Anwendungsfall gefunden habe.

NVIDIA beginnt, die nächste Welle anzuführen: Physik-KI

NVIDIA hat in einem Blog auch den technischen Prozess zur Beschleunigung humanoider Roboter detailliert beschrieben. Der vollständige Inhalt lautet wie folgt:

Um die Entwicklung humanoider Roboter weltweit zu beschleunigen, kündigte NVIDIA eine Reihe von Diensten, Modellen und Computerplattformen für die weltweit führenden Roboterhersteller, KI-Modellentwickler und Softwarehersteller an, um die nächste Generation humanoider Roboter zu entwickeln, zu trainieren und zu bauen.

Die Produktsuite umfasst neue NVIDIA NIM-Mikrodienste und Frameworks für Robotiksimulation und -lernen, NVIDIA OSMO-Orchestrierungsdienste für die Ausführung mehrstufiger Robotik-Workloads sowie KI- und simulationsgestützte Remote-Operations-Workflows, die es Entwicklern ermöglichen, eine kleine Menge menschlicher Demonstrationsdaten zu verwenden Trainiere den Bot.

Jensen Huang sagte: „Die nächste Welle der KI ist die Robotik, und eine der aufregendsten Entwicklungen sind humanoide Roboter. Wir treiben die Entwicklung des gesamten NVIDIA-Robotik-Stacks voran und machen ihn für Entwickler und Unternehmen humanoider Roboter auf der ganzen Welt zugänglich.“ dass sie die Plattform, Beschleunigungsbibliothek und das KI-Modell nutzen können, die ihren Anforderungen am besten entsprechen.“

Beschleunigen Sie die Entwicklung mit NVIDIA NIM und OSMO

NIM-Microservices stellen vorgefertigte Container bereit, die auf NVIDIA-Inferenzsoftware basieren und es Entwicklern ermöglichen, die Bereitstellungszeit von Wochen auf Minuten zu verkürzen.

Zwei neue KI-Mikrodienste werden es Robotikexperten ermöglichen, Arbeitsabläufe für generative physikalische KI-Simulationen in NVIDIA Isaac Sim zu verbessern.

Der MimicGen NIM-Mikrodienst generiert synthetische Bewegungsdaten aus Remote-Daten, die von räumlichen Computergeräten wie dem Apple Vision Pro aufgezeichnet wurden. Der Mikroservice Robocasa NIM generiert Roboteraufgaben und Simulationsumgebungen in OpenUSD.

NVIDIA OSMO, ein Cloud-nativer verwalteter Dienst, ist jetzt verfügbar und ermöglicht Benutzern die Orchestrierung und Skalierung komplexer Robotik-Entwicklungsworkflows über verteilte Computerressourcen hinweg, egal ob vor Ort oder in der Cloud. Das Aufkommen von OSMO vereinfacht die Robotertrainings- und Simulationsabläufe erheblich und verkürzt die Bereitstellungs- und Entwicklungszyklen von Monaten auf weniger als eine Woche.

Erweiterter Datenerfassungs-Workflow für Entwickler humanoider Roboter

Das Training der zugrunde liegenden Modelle humanoider Roboter erfordert große Datenmengen. Eine Möglichkeit, menschliche Demonstrationsdaten zu erhalten, ist der Einsatz von Fernoperationen, die jedoch immer teurer und langwieriger werden.

Durch den auf der Computergrafikkonferenz SIGGRAPH demonstrierten NVIDIA AI- und Omniverse-Referenzworkflow für den Fernbetrieb können Forscher und KI-Entwickler große Mengen synthetischer Bewegungs- und Wahrnehmungsdaten aus einer sehr kleinen Anzahl ferngesteuerter menschlicher Demonstrationen generieren.

Zunächst verwendeten die Entwickler Apple Vision Pro, um eine kleine Anzahl von Remote-Demonstrationen zu erfassen. Anschließend simulierten sie die Aufzeichnungen in NVIDIA Isaac Sim und nutzten den MimicGen NIM-Mikroservice, um synthetische Datensätze aus den Aufzeichnungen zu generieren.

Die Entwickler nutzten reale und synthetische Daten, um das Basismodell des humanoiden Roboters Project GR00T zu trainieren, was viel Zeit sparte und Kosten senkte. Anschließend nutzten sie die Robocasa NIM-Mikroservices in Isaac Lab, einem Roboter-Lernframework, um Erfahrungen für die Neuschulung des Robotermodells zu generieren. Während des gesamten Workflows verteilt NVIDIA OSMO Rechenaufgaben nahtlos auf verschiedene Ressourcen und spart so Entwicklern wochenlangen Verwaltungsaufwand.

Erweiterter Zugang zur NVIDIA-Entwicklertechnologie für humanoide Robotik

NVIDIA bietet drei Computerplattformen, um die Entwicklung humanoider Roboter zu vereinfachen: NVIDIA AI-Supercomputer zum Trainieren von Modellen; NVIDIA Isaac Sim, der auf Omniverse basiert, damit Roboter Fähigkeiten in einer simulierten Welt erlernen und perfektionieren können, und NVIDIA zum Ausführen von Modellen, dem humanoiden Robotercomputer Jetson Thor. Entwickler können entsprechend ihren spezifischen Anforderungen auf die gesamte Plattform oder Teile davon zugreifen und diese nutzen.

Durch das neue NVIDIA Humanoid Developer Program haben Entwickler frühzeitig Zugriff auf neue Produkte und die neuesten Versionen der universellen humanoiden Basismodelle NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor und Project GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra und Skild AI sind die ersten Unternehmen, die dem Early-Access-Programm beitreten.

Entwickler können jetzt dem NVIDIA Humanoid Developer Program beitreten, um Zugriff auf NVIDIA OSMO und Isaac Lab zu erhalten, und erhalten bald Zugriff auf NVIDIA NIM-Microservices.

Blog-Link:

https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development