한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Texte/Li Haidan de Tencent Technology

Le 30 juillet, heure de Pékin, NVIDIA (également connu sous le nom de NVIDIA) a présenté bon nombre de ses derniers développements dans les domaines du rendu, de la simulation et de l'IA générative au SIGGRAPH 2024, une conférence d'infographie de premier plan qui s'est tenue à Denver, aux États-Unis.

Lors du SIGGRAPH de l'année dernière, NVIDIA a lancé les cartes graphiques GH200, L40S et ChatUSD. Le protagoniste de cette année est le nouvel atout de NVIDIA à l’ère de l’IA générative——Nouvelle mise à jour "Nvidia NIMS", et appliquez l'IA générative à l'USD (description universelle de scène) via NIM, élargissant ainsi les possibilités de l'IA dans le monde 3D.

Mise à niveau Nvidia NIMS : à la fois une bénédiction et un défi

Nvidia a annoncé que Nvidia NIMS avait réalisé une optimisation plus poussée et standardisé le déploiement complexe des modèles d'IA. NIMS est un élément clé de la configuration IA de NVIDIA. Huang Renxun a salué à plusieurs reprises l'innovation apportée par NIM, la qualifiant de «AI-in-a-Box, c'est essentiellement de l'intelligence artificielle dans une boîte。”

Cette mise à niveau consolide sans aucun doute la position de leader de Nvidia dans le domaine de l’IA et devient un élément important de son fossé technologique.

CUDA a longtemps été considéré comme un facteur clé du leadership de Nvidia dans le domaine des GPU. Avec le soutien de CUDA, le GPU est passé d'un processeur graphique unique à un dispositif informatique parallèle à usage général, rendant possible le développement de l'IA. Cependant, bien que l'écosystème logiciel de Nvidia soit très riche, ces systèmes fragmentés restent trop complexes et difficiles à maîtriser pour les industries traditionnelles qui manquent de capacités de base de développement d'IA.

Afin de résoudre ce problème, en mars de cette année, Nvidia a lancé les microservices cloud natifs NIM (Nvidia Inference Microservices) lors de la conférence GTC, intégrant tous les logiciels développés au cours des dernières années pour simplifier et accélérer le déploiement d'applications d'IA. NIM peut utiliser des modèles comme des « conteneurs » optimisés qui peuvent être déployés dans le cloud, un centre de données ou un poste de travail, permettant aux développeurs de terminer le travail en quelques minutes, par exemple en créant facilement des applications d'IA génératives pour les copilotes, les chatbots, etc.

Jusqu'à présent, l'écosystème NIM de Nvidia fournissait une série de modèles d'IA pré-entraînés.Nvidia a annoncé, aidant les développeurs à accélérer le développement et le déploiement d'applications dans plusieurs domaines, et en se concentrant sur différents domaines (tels que la compréhension,homme numérique, développement 3D, robotique et biologie numérique) modèles d'IA spécifiques disponibles :

Dans le sens de la compréhension, NIM peut utiliser Llama 3.1 et NeMo Retriever pour améliorer les capacités de traitement des données textuelles ; dans le sens des humains numériques, il fournit des modèles tels que Parakeet ASR et FastPitch HiFiGAN, qui prennent en charge la synthèse vocale haute fidélité et l'automatisation. la reconnaissance vocale pour créer des assistants virtuels et des humains numériques Fournit des outils puissants ;

En termes de développement 3D, des modèles tels que USD Code et USD Search simplifient la création et l'exploitation de scènes 3D, aidant ainsi les développeurs à créer plus efficacement des jumeaux numériques et des mondes virtuels ;

Dans le sens de l'incarnation du robot, NVIDIA a lancé les modèles MimicGen et Robocasa. Accélérez le développement et l’application de la robotique en générant des données de mouvement synthétiques et des environnements de simulation. MimicGen NIM peut générer des données de mouvement synthétiques basées sur les données d'opération à distance enregistrées par des appareils informatiques spatiaux tels qu'Apple Vision Pro. Robocasa NIM génère des tâches robotiques et des environnements prêts pour la simulation dans OpenUSD, un cadre universel de développement et de collaboration dans le monde 3D.

Des modèles tels que DiffDock et ESMFold dans le domaine de la biologie numérique fournissent des solutions avancées en matière de découverte de médicaments et de prédiction du repliement des protéines, favorisant ainsi les progrès de la recherche biomédicale, etc.

En outre, Nvidia a annoncé que la plate-forme d'inférence en tant que service Hugging Face est également alimentée par Nvidia NIM et fonctionne dans le cloud.

En intégrant ces modèles polyvalents, l'écosystème de Nvidia améliore non seulement l'efficacité du développement de l'IA, mais fournit également des outils et des solutions innovants. Cependant, même si les nombreuses mises à niveau de Nvidia NIM constituent effectivement une « bonne nouvelle » pour l’industrie. Mais d’un autre côté, cela pose également de nombreux défis aux programmeurs.

Nvidia NIM simplifie considérablement le processus de développement et de déploiement des modèles d'IA en fournissant des modèles d'IA pré-entraînés et des API standardisées. C'est en effet une grande aubaine pour les développeurs, mais cela signifie-t-il également des opportunités d'emploi pour les programmeurs ordinaires à l'avenir ? ?Après tout, les entreprises peuvent utiliser moins de personnel technique pour effectuer le même travail, car ces tâches ont été effectuées à l'avance par NIM et les programmeurs ordinaires n'ont peut-être plus besoin d'effectuer des travaux complexes de formation et de réglage de modèles.

Apprenez à l'IA à penser en 3D et à construire un monde physique virtuel

NVIDIA a également démontré l'application de l'IA générative sur les plateformes ouvertes USD et Omniverse lors de la conférence SIGGRAPH.

Nvidia a annoncé avoir construit le premier modèle d'IA générative au monde capable de comprendre le langage, la géométrie, les matériaux, la physique et l'espace OpenUSD (Universal Scene Description), et a conditionné ces modèles sous forme de microservices Nvidia NIM.Actuellement, trois NIM sont disponibles en aperçu dans le catalogue de l'API Nvidia : USD Code, qui répond aux questions ouvertes de connaissances sur l'USD et génère du code USD Python ouvert, qui permet aux développeurs de rechercher le vaste USD 3D ouvert en utilisant le langage naturel ou la saisie d'images ; et la base de données d'images ; USD Validate, qui vérifie la compatibilité des fichiers téléchargés avec les versions ouvertes de l'USD et génère des images tracées entièrement rendues par RTX à l'aide de l'API Omniverse Cloud.

Nvidia a déclaré qu'avec l'amélioration et l'accessibilité d'OpenUSD grâce aux microservices Nvidia NIM, tous les horizons pourront à l'avenir créer des mondes virtuels basés sur la physique et des jumeaux numériques. Grâce à une nouvelle IA générative basée sur l'USD ouvert et aux cadres de développement accéléré Nvidia construits sur la plate-forme Nvidia Omniverse, davantage d'industries peuvent désormais développer des applications pour visualiser des projets de conception industrielle et d'ingénierie, ainsi que pour des environnements de simulation afin de construire la prochaine vague d'IA physique et de robots. . De plus, un nouveau connecteur USD connecte les formats de données de simulation robotique et industrielle et les outils de développement, permettant aux utilisateurs de diffuser des ensembles de données à grande échelle entièrement par traçage de rayons Nvidia RTX vers Apple Vision Pro.

En bref, introduire l'USD via Nvidia NIM pour mieux comprendre le monde physique et construire des mondes virtuels à travers de grands modèles est un atout très précieux.actifs numériques . Par exemple, en 2019, la cathédrale Notre-Dame de Paris, en France, a subi un grave incendie et de grandes parties de l'église ont été détruites. Heureusement, les concepteurs de jeux d'Ubisoft ont visité ce bâtiment d'innombrables fois, étudié sa structure, achevé la restauration numérique de Notre-Dame et recréé Notre-Dame dans le jeu 3A "Assassin's Creed : Unity". Tous les détails ont également apporté une grande aide à la restauration de Notre-Dame. Dame de Paris. À cette époque, il fallait deux ans aux concepteurs et aux historiens pour reproduire, mais avec l'introduction de cette technologie, nous pouvons accélérer la reproduction de copies numériques à grande échelle à l'avenir et utiliser l'IA pour comprendre et reproduire la physique de manière plus détaillée. monde raffiné.

Pour un autre exemple, les concepteurs créent des scènes tridimensionnelles de base dans Omniverse et utilisent ces scènes pour ajuster l'IA générative afin de parvenir à un processus de création de contenu contrôlable et collaboratif. Par exemple, WPP et The Coca-Cola Company ont été les premiers à adopter ce flux de travail pour étendre leurs campagnes publicitaires mondiales.

Nvidia a également annoncé le lancement prochain de plusieurs nouveaux microservices NIM, notamment USD Layout, USD Smart Material et FDB Mesh Generation, pour améliorer encore les capacités et l'efficacité des applications des développeurs sur la plateforme ouverte USD.

Cette fois, NVIDIA Research a participé à la conférence avec plus de 20 articles, partageant des résultats innovants liés à la promotion du développement de générateurs de données synthétiques et d'outils de rendu inverse, dont deux ont remporté le prix du meilleur article technique. Les recherches présentées cette année montrent queL'IA améliore encore les capacités de simulation en améliorant la qualité de l'image et en ouvrant de nouvelles façons de représentation 3D. ;En outre, des générateurs de données synthétiques améliorés et davantage améliorent le niveau de l'IA. Ces études présentent les dernières avancées et innovations de Nvidia en matière d’IA et de simulation.

Nvidia affirme que les concepteurs et les artistes disposent désormais de nouveaux moyens d'améliorer leur productivité en utilisant l'IA générative formée sur des données autorisées. Par exemple, Shutterstock (fournisseur d’images américain) a lancé une version bêta commerciale de son service de 3D générative. Il permet aux créateurs de prototyper rapidement des ressources 3D et de générer des arrière-plans 360 ​​HDRi pour éclairer des scènes en utilisant uniquement des invites de texte ou d'image ; et Getty Images (société américaine d'échange de photos) a accéléré son service d'IA générative pour accélérer la génération d'images et améliorer la qualité de sortie. Basés sur Nvidia Edify, l'architecture d'IA générative multimodale, ces services doublent la vitesse avec de nouveaux modèles, améliorent la qualité de l'image et la précision rapide, et permettent aux utilisateurs de contrôler les paramètres de la caméra tels que la profondeur de champ ou la mise au point. Les utilisateurs peuvent générer quatre images en six secondes environ et les mettre à l'échelle jusqu'à une résolution 4K.

Conclusion

À chaque occasion majeure où Huang apparaît, il porte toujours une veste en cuir et décrit au monde l'avenir passionnant apporté par l'IA.

Nous assistons également à la croissance de NVIDIA, qui voit NVIDIA passer progressivement d'un géant des GPU de jeu à un seigneur des puces d'IA, puis à une configuration complète de logiciels et de matériel d'IA verticaux et horizontaux. NVIDIA est plein d'ambition et itère rapidement. à la pointe de la vague technologique de l’IA.

Du GPU d'ombrage programmable au calcul accéléré CUDA, en passant par le lancement de Nvidia Omniverse et des microservices génératifs AI NIM, en passant par la promotion du développement de la modélisation 3D, de la simulation robotique et de la technologie des jumeaux numériques, cela signifie également qu'un nouveau cycle d'innovation dans l'IA l'industrie arrive.

Cependant, comme les grandes entreprises disposent de plus de ressources, notamment en capital, en technologie et en main d’œuvre, elles sont en mesure d’adopter et de mettre en œuvre plus rapidement des technologies avancées telles que Nvidia NIMS. En raison de ressources limitées, les petites et moyennes entreprises peuvent avoir du mal à suivre le rythme du développement technologique. Associée aux différences dans les niveaux techniques des talents, cela conduira-t-il à davantage d’inégalités technologiques à l’avenir ?

L’IA idéale de l’humanité est d’aider les humains à libérer leurs mains et leur travail et à créer un monde avec une productivité plus élevée. Mais lorsque la productivité et les moyens de production sont contrôlés par un petit nombre de personnes, cela déclenchera-t-il une crise plus profonde ? Ce sont toutes des questions auxquelles nous devons réfléchir.