nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Auteur de cet article : Li Dan

Source : IA dure

Le lundi 29 juillet, heure de l'Est, NVIDIA a dévoilé de nouveaux outils lors du SIGGRAPH 2024, la conférence et exposition annuelle sur l'infographie et les technologies interactives qui se tient à Denver, aux États-Unis.

Le PDG de Nvidia, Huang Renxun, a révélé au SIGGRAPH 2024 que cette semaine, Nvidia enverrait des échantillons de l'architecture Blackwell, qui est la nouvelle architecture de puce qui fera ses débuts cette année. Dans le même temps, Nvidia a annoncé une série de mises à jour logicielles, impliquant principalement le microservice d'inférence Nvidia (NIM), un microservice cloud natif utilisé pour optimiser l'inférence de l'intelligence artificielle (IA), afin de promouvoir le déploiement à grande échelle de modèles d'IA par les entreprises.

Lorsque NVIDIA a lancé NIM en mars de cette année, la société a annoncé que NIM fournissait des microservices d'inférence optimisés conçus pour réduire les délais de commercialisation et simplifier le déploiement de modèles d'IA génératifs n'importe où dans le cloud, les centres de données et les postes de travail accélérés par GPU. NIM prend en charge les cas d'utilisation de l'IA dans plusieurs domaines, notamment les modèles de langage étendus (LLM), les modèles de langage visuel (VLM) et les modèles de parole, d'image, de vidéo, de 3D, de développement de médicaments, d'imagerie médicale, etc.

Les développeurs peuvent tester de nouveaux modèles d'IA générative à l'aide de l'API cloud hébergée de NVIDIA, ou héberger eux-mêmes le modèle en téléchargeant NIM et le déployer rapidement à l'aide de Kubernetes sur les principaux fournisseurs de cloud ou sur site pour réduire le temps, la complexité et les coûts de développement. Les microservices NIM simplifient le processus de déploiement du modèle d'IA en regroupant des algorithmes, des optimisations du système et de l'exécution et en ajoutant des API conformes aux normes de l'industrie. Cela permet aux développeurs d'intégrer NIM dans leurs applications et infrastructures existantes sans personnalisation ni expertise approfondie.

La mise à jour annoncée lundi par NVIDIA étend la bibliothèque de microservices d'inférence NIM pour couvrir les environnements du monde physique, la modélisation visuelle avancée et diverses applications verticales. NVIDIA a fourni environ 100 microservices d'inférence NIM dans des versions préliminaires et publie désormais la version complète. Par exemple, dans le cadre du nouveau NIM de NVIDIA, l'API de génération d'images 4K de la société de médias visuels Getty Images Holdings et le générateur d'images 3D de Shutterstock Inc., un fournisseur de contenu numérique tel que des images, des films et de la musique, seront bientôt lancés. . Les deux utilisent Nvidia Edify de Nvidia, une architecture multimodale pour l'IA générée par la vision.

NVIDIA a annoncé le même jour son partenariat avec l'ensemble d'outils et la plate-forme de traitement du langage naturel (NLP) Hugging Face pour lancer l'inférence en tant que service afin d'aider les développeurs à prototyper et à déployer rapidement en production à l'aide de modèles d'IA open source hébergés sur Hugging Face Hub. Les commentaires indiquent que cette coopération simplifiera le déploiement de modèles d'IA pour les développeurs.

fVDB exploite des données 3D réelles pour créer une intelligence spatiale

Parmi eux, NVIDIA a lancé fVDB, qui utilise des données 3D réelles pour créer une intelligence spatiale. Nvidia affirme que le modèle d’IA matérielle générative peut comprendre et effectuer des opérations de motricité fine ou globale dans le monde matériel. Comprendre et naviguer dans les trois dimensions du monde physique nécessite une intelligence spatiale. Pour fournir à ce type d'IA un cadre puissant et cohérent capable de gérer une échelle réaliste, NVIDIA a créé fVDB, un cadre d'apprentissage en profondeur conçu pour une intelligence spatiale clairsemée, à grande échelle et hautes performances.

fVDB est construit sur OpenVDB, une structure et une bibliothèque standard pour simuler et restituer des données volumétriques éparses telles que l'eau, le feu, la fumée et les nuages. fVDB offre quatre fois l'échelle spatiale, 3,5 fois les performances des frameworks précédents et un accès à d'énormes ensembles de données du monde réel. Il simplifie le processus en combinant des fonctionnalités qui nécessitaient auparavant plusieurs bibliothèques d'apprentissage en profondeur.

Le framework modulaire open source Isaac Lab fournit une simulation pour accélérer l'apprentissage des robots

NVIDIA a également lancé Isaac Lab, un cadre modulaire open source pour l'apprentissage des robots qui peut résoudre les limites des méthodes de formation traditionnelles sur les compétences d'apprentissage des robots.

Isaac Lab propose des simulations modulaires haute fidélité pour différents environnements de formation, offrant des capacités d'IA du monde physique et des simulations du monde physique basées sur GPU.

Isaac Lab prend en charge l'apprentissage par imitation (imiter les humains) et l'apprentissage par renforcement (apprentissage par essais et erreurs), offrant des méthodes de formation flexibles pour toute implémentation de robot. Il fournit un environnement convivial pour les scénarios de formation et aide les fabricants de robots à ajouter ou à mettre à jour leurs compétences en robotique en fonction de l'évolution des besoins de l'entreprise.

Utilisez les microservices NVIDIA NIM et VIA pour créer un agent d'IA visuel piloté par VLM

NVIDIA a adapté NIM pour l'IA dans le monde physique, en prenant en charge la parole et la traduction, la vision, ainsi que l'animation et le comportement réalistes. NVIDIA lance les microservices VIA, désormais disponibles en téléchargement dans l'aperçu développeur.

Les microservices VIA peuvent être facilement intégrés à NIM, et les utilisateurs peuvent utiliser de manière flexible n'importe quel modèle LLM ou VLM dans l'API de prévisualisation des modèles de NVIDIA et dans le répertoire téléchargeable de l'API des microservices NIM. Les microservices VIA, une extension des microservices Metropolis de NVIDIA, sont des éléments de base natifs du cloud qui accélèrent le développement d'agents d'IA visuelle pilotés par VLM et NIM, qu'ils soient déployés en périphérie ou dans le cloud.

Grâce à l’IA générative, aux microservices NIM et aux modèles de base, les utilisateurs peuvent désormais utiliser moins de modèles pour créer des applications bénéficiant d’une large connaissance et d’une riche compréhension contextuelle. VLM prend en charge les agents d'IA visuelle qui peuvent comprendre les signaux du langage naturel et répondre visuellement aux questions. Les agents d’IA visuelle utilisent les capacités de vision par ordinateur pour percevoir et interagir avec le monde physique et effectuer des tâches de raisonnement.

Ces agents peuvent libérer pleinement les possibilités des applications dans divers secteurs. Ils peuvent simplifier considérablement le flux de travail de développement d'applications et fournir de nouvelles capacités de perception transformatrices, telles que le résumé d'images ou de vidéos, les questions et réponses visuelles interactives et les alertes visuelles. Ces agents visuels d’IA seront déployés dans les usines, les entrepôts, les magasins de détail, les aéroports, les carrefours et autres lieux, et aideront les équipes opérationnelles à prendre de meilleures décisions en tirant parti d’informations plus riches générées par les interactions naturelles.

Omniverse Replicator aide à résoudre les problèmes de pénurie de données qui limitent la formation des modèles

NVIDIA a présenté comment utiliser les microservices NIM pour créer un pipeline de génération de données synthétiques (SDG) personnalisé pour USD, qui utilise Omniverse Replicator de NVIDIA. Omniverse Replicator est un SDK basé sur Universal Scene Description (OpenUSD) et NVIDIA RTX.

Les développeurs peuvent utiliser les microservices NIM et Omniverse Replicator, entre autres, pour créer des pipelines SDG prenant en charge l'IA générative, résolvant ainsi les pénuries de données réelles qui limitent souvent la formation des modèles.

Le révérend Lebaredian, vice-président d'Omniverse et des technologies de simulation chez NVIDIA, a déclaré :

"Nous avons construit le premier modèle d'IA générative au monde capable de comprendre le langage, la géométrie, les matériaux, la physique et l'espace sur la base d'OpenUSD."

Lebaredian a déclaré que depuis 2016, NVIDIA investit dans OpenUSD pour permettre aux entreprises industrielles et aux développeurs d'IA matérielle de développer des modèles hautes performances plus facilement et plus rapidement.

NVIDIA travaille également avec Apple, co-fondateur de l'OpenUSD Alliance, pour créer un flux de pipeline de rendu hybride depuis le Graphics Delivery Network de NVIDIA, un réseau de centres de données graphiques, jusqu'à Apple Vision Pro d'Apple.