notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Autore di questo articolo: Li Dan

Fonte: intelligenza artificiale difficile

Lunedì 29 luglio, ora della costa orientale degli Stati Uniti, NVIDIA ha presentato nuovi strumenti al SIGGRAPH 2024, la conferenza ed esposizione annuale sulla computer grafica e sulla tecnologia interattiva tenutasi a Denver, negli Stati Uniti.

Il CEO di Nvidia Huang Renxun ha rivelato al SIGGRAPH 2024 che questa settimana Nvidia invierà campioni dell'architettura Blackwell, che è la nuova architettura di chip che debutterà quest'anno. Allo stesso tempo, Nvidia ha annunciato una serie di aggiornamenti software, che coinvolgono principalmente Nvidia inference micro service (NIM), un microservizio cloud-native utilizzato per ottimizzare l'inferenza dell'intelligenza artificiale (AI), per promuovere l'implementazione su larga scala di modelli AI da parte delle imprese.

Quando NVIDIA ha lanciato NIM nel marzo di quest'anno, ha introdotto che NIM fornisce microservizi di inferenza ottimizzati progettati per ridurre il time-to-market e semplificare l'implementazione di modelli di intelligenza artificiale generativa ovunque nel cloud, nei data center e nelle workstation accelerate da GPU. NIM supporta casi d'uso dell'intelligenza artificiale in più domini, inclusi modelli linguistici di grandi dimensioni (LLM), modelli di linguaggio visivo (VLM) e modelli per parlato, immagini, video, 3D, sviluppo di farmaci, imaging medico e altro ancora.

Gli sviluppatori possono testare nuovi modelli di intelligenza artificiale generativa utilizzando l'API cloud ospitata da NVIDIA oppure ospitare essi stessi il modello scaricando NIM e distribuirlo rapidamente utilizzando Kubernetes sui principali provider cloud o on-premise per ridurre tempi, complessità e costi di sviluppo. I microservizi NIM semplificano il processo di implementazione del modello AI impacchettando algoritmi, ottimizzazioni di sistema e runtime e aggiungendo API standard del settore. Ciò consente agli sviluppatori di integrare NIM nelle applicazioni e nell'infrastruttura esistenti senza un'ampia personalizzazione o competenza.

L'aggiornamento annunciato lunedì da NVIDIA espande la libreria di microservizi di inferenza NIM per coprire ambienti del mondo fisico, modellazione visiva avanzata e varie applicazioni verticali. NVIDIA ha fornito circa 100 microservizi di inferenza NIM nelle versioni di anteprima e ora sta rilasciando la versione completa. Ad esempio, nell'ambito del nuovo NIM di NVIDIA, verranno presto lanciati l'API per la generazione di immagini 4K della società di media visivi Getty Images Holdings e il generatore di immagini 3D di Shutterstock Inc., un fornitore di contenuti digitali come immagini, film e musica. . Entrambi utilizzano Nvidia Edify di Nvidia, un'architettura multimodale per l'intelligenza artificiale generata dalla visione.

NVIDIA ha annunciato lo stesso giorno di aver stretto una partnership con il set di strumenti di elaborazione del linguaggio naturale (NLP) e la piattaforma Hugging Face per lanciare l'inferenza come servizio per aiutare gli sviluppatori a prototipare e implementare rapidamente in produzione utilizzando modelli AI open source ospitati su Hugging Face Hub. I commenti affermano che questa cooperazione semplificherà l’implementazione di modelli di intelligenza artificiale per gli sviluppatori.

fVDB sfrutta i dati 3D del mondo reale per creare intelligenza spaziale

Tra questi, NVIDIA ha lanciato fVDB, che utilizza dati 3D del mondo reale per creare intelligenza spaziale. Nvidia afferma che il modello di intelligenza artificiale materiale generativa può comprendere ed eseguire operazioni di abilità motorie fini o grossolane nel mondo materiale. Comprendere e navigare nelle tre dimensioni del mondo fisico richiede intelligenza spaziale. Per fornire a questo tipo di intelligenza artificiale un framework potente e coerente in grado di gestire una scala realistica, NVIDIA ha creato fVDB, un framework di deep learning progettato per l'intelligenza spaziale sparsa, su larga scala e ad alte prestazioni.

fVDB è basato su OpenVDB, una struttura e libreria standard del settore per la simulazione e il rendering di dati volumetrici sparsi come acqua, fuoco, fumo e nuvole. fVDB fornisce quattro volte la scala spaziale, 3,5 volte le prestazioni dei framework precedenti e l'accesso a enormi set di dati del mondo reale. Semplifica il processo combinando funzionalità che in precedenza richiedevano più librerie di deep learning.

Il framework modulare open source Isaac Lab fornisce simulazione per accelerare l'apprendimento dei robot

NVIDIA ha inoltre lanciato Isaac Lab, un framework modulare open source per l'apprendimento dei robot in grado di risolvere i limiti dei metodi di formazione tradizionali sulle capacità di apprendimento dei robot.

Isaac Lab fornisce simulazioni modulari ad alta fedeltà per diversi ambienti di formazione, fornendo funzionalità di intelligenza artificiale del mondo fisico e simulazioni del mondo fisico basate su GPU.

Isaac Lab supporta l'apprendimento per imitazione (imitazione degli esseri umani) e l'apprendimento per rinforzo (apprendimento attraverso prove ed errori), fornendo metodi di formazione flessibili per qualsiasi implementazione di robot. Fornisce un ambiente intuitivo per scenari di formazione e aiuta i produttori di robot ad aggiungere o aggiornare le competenze dei robot in base alle mutevoli esigenze aziendali.

Utilizza i microservizi NVIDIA NIM e VIA per creare un agente AI visivo basato su VLM

NVIDIA ha personalizzato il NIM per l'intelligenza artificiale nel mondo fisico, supportando parlato e traduzione, visione, animazione e comportamento realistici. NVIDIA lancia i microservizi VIA, ora disponibili per il download in anteprima per sviluppatori.

I microservizi VIA possono essere facilmente integrati con NIM e gli utenti possono utilizzare in modo flessibile qualsiasi modello LLM o VLM nell'API di anteprima del modello NVIDIA e nella directory API dei microservizi NIM scaricabili. I microservizi VIA, un'estensione dei microservizi Metropolis di NVIDIA, sono elementi costitutivi nativi del cloud che accelerano lo sviluppo di agenti di intelligenza artificiale visiva basati su VLM e NIM, sia distribuiti all'edge che nel cloud.

Con l’aiuto dell’intelligenza artificiale generativa, dei microservizi NIM e dei modelli di base, gli utenti possono ora utilizzare meno modelli per creare app con un’ampia consapevolezza e una ricca comprensione del contesto. VLM supporta agenti di intelligenza artificiale visiva in grado di comprendere i segnali del linguaggio naturale ed eseguire risposte visive alle domande. Gli agenti di intelligenza artificiale visiva utilizzano capacità di visione artificiale per percepire e interagire con il mondo fisico ed eseguire compiti di ragionamento.

Questi agenti possono sfruttare appieno le possibilità delle applicazioni in vari settori. Possono semplificare in modo significativo il flusso di lavoro dello sviluppo delle app e fornire nuove funzionalità di percezione trasformative, come il riepilogo di immagini o video, domande e risposte visive interattive e avvisi visivi. Questi agenti di intelligenza artificiale visiva verranno implementati in fabbriche, magazzini, negozi al dettaglio, aeroporti, incroci stradali e altri luoghi e aiuteranno i team operativi a prendere decisioni migliori sfruttando informazioni più ricche generate da interazioni naturali.

Omniverse Replicator aiuta a risolvere i problemi di carenza di dati che limitano l'addestramento del modello

NVIDIA ha introdotto come utilizzare i microservizi NIM per creare una pipeline personalizzata di generazione di dati sintetici (SDG) per USD, che utilizza Omniverse Replicator di NVIDIA. Omniverse Replicator è un SDK basato su Universal Scene Description (OpenUSD) e NVIDIA RTX.

Gli sviluppatori possono utilizzare i microservizi NIM e Omniverse Replicator, tra gli altri, per creare pipeline SDG che supportino l'intelligenza artificiale generativa, risolvendo le carenze di dati nel mondo reale che spesso limitano l'addestramento dei modelli.

Il Rev Lebaredian, vicepresidente di Omniverse e Simulation Technologies presso NVIDIA, ha dichiarato:

“Abbiamo costruito il primo modello di intelligenza artificiale generativa al mondo in grado di comprendere linguaggio, geometria, materiali, fisica e spazio basato su OpenUSD”.

Lebaredian ha affermato che dal 2016 NVIDIA investe in OpenUSD per consentire alle aziende industriali e agli sviluppatori di intelligenza artificiale di sviluppare modelli ad alte prestazioni in modo più semplice e veloce.

NVIDIA sta anche lavorando con Apple, che ha co-fondato la OpenUSD Alliance, per costruire un flusso di pipeline di rendering ibrido dalla Graphics Delivery Network di NVIDIA, una rete di data center pronti per la grafica, all'Apple Vision Pro di Apple.