notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Rapporto sul cuore della macchina

Editore: Du Wei, Chen Chen

Huang Renxun ha dichiarato: "La prossima ondata di intelligenza artificiale sono i robot, e uno degli sviluppi più interessanti riguarda i robot umanoidi. Oggi, il progetto GR00T ha compiuto un altro passo importante".

Ieri, il fondatore di NVIDIA Huang Jensen ha parlato del suo modello base universale di robot umanoide "Progetto GR00T" nel suo discorso chiave SIGGRAPH 2024. Il modello riceve una serie di aggiornamenti in termini di funzionalità.

Zhu Yuke, professore assistente presso l'Università del Texas ad Austin e ricercatore senior presso NVIDIA, ha twittato, dimostrando in un video come NVIDIAIl quadro generale di addestramento alla simulazione su larga scala dei robot domestici RoboCasa e i sistemi MimicGen sono integrati nella piattaforma NVIDIA Omniverse e nella piattaforma di sviluppo robot Isaac。

Fonte immagine: https://x.com/yukez/status/1818092679936299373

Il video copre tre delle piattaforme informatiche di Nvidia, tra cui AI, Omniverse e Jetson Thor, utilizzandole per semplificare e accelerare i flussi di lavoro degli sviluppatori. Attraverso il potenziamento congiunto di queste piattaforme informatiche, ci si aspetta che entriamo nell’era dei robot umanoidi guidati dall’intelligenza artificiale fisica.

Il punto forte è che gli sviluppatori possono utilizzare Apple Vision Pro per controllare in remoto i robot umanoidi per eseguire attività.

Allo stesso tempo, Jim Fan, un altro ricercatore senior di Nvidia, ha affermato che gli aggiornamenti al Progetto GR00T sono entusiasmanti. NVIDIA utilizza un approccio sistematico alla scalabilità dei dati robotici per risolvere le sfide più difficili nel campo della robotica.

Anche l'idea è semplice: gli esseri umani raccolgono dati dimostrativi su robot reali e NVIDIA espande questi dati migliaia di volte o più nelle simulazioni. Attraverso la simulazione accelerata dalle GPU, le persone possono ora scambiare la potenza di calcolo con il lavoro di raccolta dei dati umani, dispendioso in termini di tempo, lavoro e denaro.

Racconta di come non molto tempo fa pensava che il controllo remoto fosse fondamentalmente non scalabile perché nel mondo atomico eravamo sempre limitati a 24 ore/robot/giorni. La nuova pipeline di dati sintetici adottata da NVIDIA su GR00T rompe questa limitazione nel mondo dei bit.

Fonte immagine: https://x.com/DrJimFan/status/1818302152982343983

Per quanto riguarda gli ultimi progressi di NVIDIA nel campo dei robot umanoidi, alcuni netizen hanno affermato che Apple Vision Pro ha trovato il caso d'uso più interessante.

NVIDIA sta iniziando a guidare la prossima ondata: l'intelligenza artificiale fisica

NVIDIA ha anche dettagliato il processo tecnico di accelerazione dei robot umanoidi in un blog. Il contenuto completo è il seguente:

Per accelerare lo sviluppo di robot umanoidi in tutto il mondo, NVIDIA ha annunciato una serie di servizi, modelli e piattaforme informatiche per i principali produttori mondiali di robot, sviluppatori di modelli di intelligenza artificiale e produttori di software per sviluppare, addestrare e costruire la prossima generazione di robot umanoidi.

La suite di prodotti include nuovi microservizi e framework NVIDIA NIM per la simulazione e l'apprendimento della robotica, servizi di orchestrazione NVIDIA OSMO per l'esecuzione di carichi di lavoro di robotica in più fasi e flussi di lavoro di operazioni remote abilitati all'intelligenza artificiale e alla simulazione che consentono agli sviluppatori di utilizzare una piccola quantità di dati dimostrativi umani per addestrare il bot.

Jensen Huang ha dichiarato: "La prossima ondata di intelligenza artificiale è la robotica, e uno degli sviluppi più entusiasmanti riguarda i robot umanoidi. Stiamo portando avanti lo sviluppo dell'intero stack di robotica NVIDIA, rendendolo aperto agli sviluppatori di robot umanoidi e alle aziende di tutto il mondo, quindi che possano utilizzare la piattaforma, la libreria di accelerazione e il modello di intelligenza artificiale che meglio soddisfa le loro esigenze."

Accelera lo sviluppo con NVIDIA NIM e OSMO

I microservizi NIM forniscono contenitori precostruiti basati sul software di inferenza NVIDIA, consentendo agli sviluppatori di ridurre i tempi di implementazione da settimane a minuti.

Due nuovi microservizi AI consentiranno agli esperti di robotica di migliorare i flussi di lavoro di simulazione AI di fisica generativa in NVIDIA Isaac Sim.

Il microservizio NIM MimicGen genera dati di movimento sintetici da dati remoti registrati da dispositivi di elaborazione spaziale come Apple Vision Pro. Il microservizio Robocasa NIM genera attività robotiche e ambienti di simulazione in OpenUSD.

È ora disponibile NVIDIA OSMO, un servizio gestito nativo del cloud, che consente agli utenti di orchestrare e scalare complessi flussi di lavoro di sviluppo della robotica attraverso risorse informatiche distribuite, sia on-premise che nel cloud. L’emergere di OSMO semplifica notevolmente i flussi di lavoro di addestramento e simulazione dei robot, abbreviando i cicli di implementazione e sviluppo da mesi a meno di una settimana.

Flusso di lavoro avanzato di acquisizione dati per sviluppatori di robot umanoidi

L’addestramento dei modelli alla base dei robot umanoidi richiede grandi quantità di dati. Un modo per ottenere dati dimostrativi umani è utilizzare operazioni remote, ma questo sta diventando sempre più costoso e lungo.

Attraverso il flusso di lavoro di riferimento per le operazioni remote NVIDIA AI e Omniverse dimostrato alla conferenza sulla computer grafica SIGGRAPH, i ricercatori e gli sviluppatori di intelligenza artificiale possono generare grandi quantità di dati sintetici sul movimento e sulla percezione da un numero molto limitato di dimostrazioni umane catturate in remoto.

Innanzitutto, gli sviluppatori hanno utilizzato Apple Vision Pro per acquisire un numero limitato di dimostrazioni remote. Hanno quindi simulato le registrazioni in NVIDIA Isaac Sim e utilizzato il microservizio MimicGen NIM per generare set di dati sintetici dalle registrazioni.

Gli sviluppatori hanno utilizzato dati reali e sintetici per addestrare il modello base del robot umanoide Project GR00T, risparmiando molto tempo e riducendo i costi. Hanno quindi utilizzato i microservizi Robocasa NIM in Isaac Lab, un framework di apprendimento dei robot, per generare esperienza per riqualificare il modello di robot. Durante l'intero flusso di lavoro, NVIDIA OSMO distribuisce senza problemi le attività di elaborazione su diverse risorse, risparmiando agli sviluppatori settimane di carico di lavoro amministrativo.

Accesso ampliato alla tecnologia per sviluppatori di robotica umanoide NVIDIA

NVIDIA fornisce tre piattaforme informatiche per semplificare lo sviluppo di robot umanoidi: il supercomputer NVIDIA AI per l'addestramento dei modelli; NVIDIA Isaac Sim basato su Omniverse, in modo che i robot possano apprendere e perfezionare le competenze in un mondo simulato; e NVIDIA per l'esecuzione di modelli di computer robot umanoidi Jetson Thor. Gli sviluppatori possono accedere e utilizzare tutta o parti della piattaforma in base alle loro esigenze specifiche.

Attraverso il nuovo NVIDIA Humanoid Developer Program, gli sviluppatori hanno accesso anticipato ai nuovi prodotti e alle ultime versioni dei modelli base umanoidi universali NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor e Project GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra e Skild AI sono le prime aziende ad aderire al programma di accesso anticipato.

Gli sviluppatori possono ora aderire al programma NVIDIA Humanoid Developer per ottenere l'accesso a NVIDIA OSMO e Isaac Lab e presto avranno accesso ai microservizi NVIDIA NIM.

Collegamento al blog:

https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development