nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

des choses intelligentes
AuteurZeR0
Editeur Mo Ying

Zhidongxi a rapporté le 24 juillet que NVIDIA avait annoncé le lancement du nouveau service NVIDIA AI Foundry et du microservice d'inférence NVIDIA NIM. Avec la nouvelle série de modèles open source Meta Llama 3.1, ils fourniront un support solide à l'IA générative pour les entreprises mondiales.

Le grand modèle de langage Llama 3.1 a trois tailles de paramètres : 8B, 70B et 405B. Les modèles sont formés sur plus de 16 000 GPU NVIDIA Tensor Core et sont optimisés pour le calcul et les logiciels accélérés NVIDIA, que ce soit dans le centre de données, dans le cloud et sur des postes de travail locaux avec des GPU NVIDIA RTX ou des PC avec des GPU GeForce RTX.

Tout comme TSMC est une fonderie pour les sociétés mondiales de puces, NVIDIA a également créé une fonderie d'IA au niveau de l'entreprise, NVIDIA AI Foundry.

Jensen Huang, fondateur et PDG de NVIDIA, a déclaré : « Le modèle open source Llama 3.1 de Meta marque un moment critique pour les entreprises mondiales qui souhaitent adopter l'IA générative. Llama 3.1 déclenchera une vague d'entreprises et d'industries créant des applications avancées d'IA générative. NVIDIA AI Foundry Llama 3.1 a a été intégré tout au long du processus et peut aider les entreprises à créer et à déployer des super modèles Llama personnalisés.

Propulsé par la plateforme NVIDIA DGX Cloud AI et co-conçu par NVIDIA avec les principaux cloud publics au monde, NVIDIA AI Foundry fournit un service de bout en bout qui peut être utilisé pour créer rapidement des super modèles personnalisés, visant à fournir aux entreprises des capacités informatiques massives. ressources, à condition que les ressources informatiques puissent être facilement étendues à mesure que les besoins de l'IA évoluent.

« Avec NVIDIA AI Foundry, les entreprises peuvent facilement créer et personnaliser les services d'IA les plus avancés qu'elles souhaitent et les déployer via NVIDIA NIM », a déclaré Mark Zuckerberg, fondateur et PDG de Meta.

Les entreprises qui ont besoin de plus de données de formation pour créer des modèles spécifiques à un domaine peuvent utiliser leurs propres données ainsi que les données synthétiques générées par les modèles Llama 3.1 405B et NVIDIA Nemotron Reward pour former ces super modèles afin d'améliorer la précision. Les clients disposant de leurs propres données de formation peuvent utiliser NVIDIA NeMo pour personnaliser les modèles Llama 3.1, améliorant ainsi encore la précision des modèles grâce au pré-entraînement adaptatif de domaine (DAPT).

NVIDIA et Meta travaillent également ensemble pour fournir une méthode de distillation pour Llama 3.1 permettant aux développeurs de créer des modèles Llama 3.1 personnalisés plus petits pour les applications d'IA générative. Cela permet aux entreprises d’exécuter des applications d’IA basées sur Llama sur une infrastructure plus accélérée telle que des postes de travail d’IA et des ordinateurs portables.

Une fois un modèle personnalisé créé, les entreprises peuvent créer des microservices d'inférence NVIDIA NIM pour utiliser leur choix d'opérations d'apprentissage automatique (MLOps) et d'intelligence artificielle de premier ordre sur leur plate-forme cloud préférée et les systèmes certifiés NVIDIA des fabricants de serveurs mondiaux. Les plateformes (AIOps) exécutent ces modèles en production.

Les microservices NIM aident à déployer des modèles Llama 3.1 en production avec un débit jusqu'à 2,5 fois supérieur à celui de l'exécution d'inférence sans NIM.

Découvrez les microservices d'inférence NVIDIA NIM pour les modèles Llama 3.1 sur ai.nvidia.com afin d'accélérer le déploiement des modèles Llama 3.1 vers l'IA de niveau production.

La combinaison des microservices NIM Llama 3.1 avec les nouveaux microservices NIM NVIDIA NeMo Retriever permet de créer des flux de travail de récupération avancés pour les copilotes, les assistants et les avatars humains numériques d'IA.

En utilisant le nouveau microservice d'inférence NIM NVIDIA NeMo Retriever pour implémenter la génération améliorée de récupération (RAG), les entreprises peuvent déployer des super modèles Llama personnalisés et des microservices Llama NIM en production pour améliorer la précision des réponses.

Lorsqu'il est combiné avec le microservice d'inférence NVIDIA NIM pour Llama 3.1 405B, le microservice NeMo Retriever NIM apporte une précision de récupération extrêmement élevée aux réponses aux questions textuelles ouvertes et commerciales dans les flux de travail RAG.

NVIDIA AI Foundry combine les logiciels, l'infrastructure et l'expertise NVIDIA avec des modèles de communauté ouverte, la technologie et le support de l'écosystème NVIDIA AI. Les experts NVIDIA AI Enterprise et les partenaires intégrateurs de systèmes mondiaux travaillent avec les clients d'AI Foundry pour accélérer l'ensemble du processus, du développement au déploiement.

La société de services professionnels Accenture est la première à utiliser NVIDIA AI Foundry pour utiliser le framework Accenture AI Refinery afin de créer des modèles Llama 3.1 personnalisés pour elle-même et pour les clients qui souhaitent que les applications d'IA générative qu'ils déploient reflètent leur culture, leur langue et leur secteur d'activité.

Les entreprises des secteurs de la santé, de l'énergie, des services financiers, de la vente au détail, des transports, des télécommunications et d'autres secteurs utilisent déjà les microservices NVIDIA NIM pour Llama. Les premières entreprises à utiliser les nouveaux microservices NIM pour Llama 3.1 incluent Aramco, AT&T, Uber, etc.

Des centaines de partenaires NVIDIA NIM fournissant des plates-formes d'entreprise, de données et d'infrastructure sont désormais en mesure d'intégrer ces nouveaux microservices dans leurs solutions d'IA, alimentant ainsi l'IA générative pour la communauté NVIDIA de plus de 5 millions de développeurs et 19 000 startups.

La prise en charge de la production pour les microservices Llama 3.1 NIM et NeMo Retriever NIM est disponible via NVIDIA AI Enterprise. Les membres du NVIDIA Developer Program auront bientôt un accès gratuit aux microservices NIM pour mener des recherches, des développements et des tests sur leur infrastructure préférée.