notizia

NVIDIA Isaac accelera la percezione visiva 3D dei robot e la pianificazione della traiettoria del braccio robotico

2024-07-16

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina



introduzione

Il 2 luglio è stato lanciato "Chimp" in collaborazione con NVIDIA.Corso aperto sulla robotica NVIDIA"Completato con successo.Shu Jiaming, Direttore dell'architettura delle soluzioni, NVIDIAdi"NVIDIA Isaac accelera la percezione visiva 3D dei robot e la pianificazione della traiettoria del braccio robotico》 ha condotto una trasmissione in diretta sul tema.

L’era dei robot IA è arrivata.Basata sulla piattaforma robotica NVIDIA Isaac, NVIDIA utilizza continuamente l'intelligenza artificiale generativa più recente e la tecnologia di simulazione avanzata per accelerare lo sviluppo della tecnologia robotica AI

Da quest'anno, la piattaforma robotica NVIDIA Isaac ha ricevuto importanti aggiornamenti. Al GTC 2024 di marzo, NVIDIA ha rilasciato una serie di modelli base, strumenti robotici e librerie di accelerazione GPU come Isaac Perceptor e Isaac Manipulator. Nel giugno di quest'anno, anche l'ultima versione NVIDIA Isaac Sim 4.0 era ufficialmente disponibile per il download.

Isaac Perceptor per AMR Vision AI fornisce agli sviluppatori funzionalità di visione a 360 gradi multi-camera. Questa funzione può migliorare le capacità di visione surround 3D e la stratificazione spaziale dell'AMR, aiutare l'AMR a migliorare l'efficienza del lavoro e allo stesso tempo migliorare la precisione nell'evitare gli ostacoli e garantire la sicurezza dei lavoratori.

Isaac Manipulator offre flessibilità e funzionalità di intelligenza artificiale modulari per i bracci robotici. Isaac Manipulator utilizza un modello base basato su Transformer e una libreria di accelerazione GPU per accelerare la pianificazione del percorso, garantendo che il robot possa eseguire le attività in modo più fluido ed efficiente. Inoltre, Isaac Manipulator può essere utilizzato anche per generare pose di presa per il braccio del robot.

La robotica alimentata dall’intelligenza artificiale fisica trasformerà le nostre industrie e le nostre vite. I modelli fisici di intelligenza artificiale sono in grado di comprendere l’ambiente circostante e di completare autonomamente compiti complessi nel mondo fisico. Molte attività complesse sono difficili da programmare e si basano su modelli di intelligenza artificiale generativa fisica addestrati utilizzando l’apprendimento per rinforzo in un ambiente di simulazione. Con NVIDIA Isaac Sim, un'applicazione di riferimento basata su NVIDIA Omniverse, gli sviluppatori possono progettare, simulare, testare e addestrare robot IA e macchine autonome in un ambiente virtuale che obbedisce alle leggi della fisica. NVIDIA Isaac Sim aiuta i team a generare dati sintetici, addestrare strategie di robot e creare diversi scenari applicativi su richiesta per convalidare l'intero stack di robot prima dell'implementazione.

In questa lezione aperta, il signor Shu Jiaming ha prima introdotto brevemente gli importanti aggiornamenti della piattaforma di sviluppo robot NVIDIA Isaac, poi ha spiegato come utilizzare Isaac Perceptor per migliorare le capacità di percezione visiva surround 3D di AMR e poi ha discusso l'uso di Isaac Manipulator per generare prese pone e accelerare la pianificazione della traiettoria. Un'analisi approfondita. Infine, l'insegnante Shu Jiaming ha condiviso come condurre test e valutazioni in Isaac Sim.

Il PPT del materiale didattico dell'insegnante Shu Jiaming è stato caricato su questo account pubblico [Stato dell'algoritmo】, puoi rispondere alla parola chiave "Isacco" ottenere.

PPT in primo piano























QA parziale

D1: Quali espansioni e miglioramenti specifici ha Isaac Lab basato sull'orbita?

A1:https://isaac-sim.github.io/IsaacLab/index.html

Q2: Il programma di IsaacGymEnvs è facile da trapiantare in Isaac Sim?

A2: https://isaac-sim.github.io/IsaacLab/source/migration/migrating_from_isaacgymenvs.html

Q3: Quali sono i principali renderer integrati con Isaac Sim e quali sono le differenze?

A3:https://docs.omniverse.nvidia.com/materials-and-rendering/latest/rtx-renderer.html#rtx-renderer

Riproduzione completa