Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

kluge Dinge
AutorZeR0
Herausgeber Mo Ying

Zhidongxi berichtete am 24. Juli, dass NVIDIA die Einführung des neuen NVIDIA AI Foundry-Dienstes und des NVIDIA NIM-Inferenz-Mikrodienstes angekündigt habe. Zusammen mit der neu eingeführten Meta Llama 3.1-Serie von Open-Source-Modellen werde er eine starke Unterstützung für generative KI für globale Unternehmen bieten.

Das große Sprachmodell von Llama 3.1 verfügt über drei Parametergrößen: 8B, 70B und 405B. Die Modelle werden auf mehr als 16.000 NVIDIA Tensor Core-GPUs trainiert und sind für beschleunigtes NVIDIA-Computing und Software optimiert, sei es im Rechenzentrum, in der Cloud und auf lokalen Workstations mit NVIDIA RTX-GPUs oder PCs mit GeForce RTX-GPUs.

So wie TSMC eine Gießerei für globale Chipunternehmen ist, hat NVIDIA auch eine KI-Gießerei auf Unternehmensebene aufgebaut, NVIDIA AI Foundry.

Jensen Huang, Gründer und CEO von NVIDIA, sagte: „Das Open-Source-Modell Llama 3.1 von Meta markiert einen entscheidenden Moment für globale Unternehmen, generative KI einzuführen. Llama 3.1 wird eine Welle von Unternehmen und Branchen auslösen, die fortschrittliche generative KI-Anwendungen entwickeln. NVIDIA AI Foundry Llama 3.1 hat.“ wurde in den gesamten Prozess integriert und kann Unternehmen dabei helfen, benutzerdefinierte Llama-Supermodelle zu erstellen und bereitzustellen.“

NVIDIA AI Foundry basiert auf der NVIDIA DGX Cloud AI-Plattform und wurde von NVIDIA gemeinsam mit den weltweit führenden öffentlichen Clouds entwickelt. Es bietet einen End-to-End-Service, mit dem schnell benutzerdefinierte Supermodelle erstellt werden können, mit dem Ziel, Unternehmen mit umfangreicher Rechenleistung zu versorgen Ressourcen, vorausgesetzt Die Rechenressourcen können problemlos erweitert werden, wenn sich die KI-Anforderungen ändern.

„Mit NVIDIA AI Foundry können Unternehmen ganz einfach die fortschrittlichsten KI-Dienste erstellen und anpassen, die sie benötigen, und sie über NVIDIA NIM bereitstellen“, sagte Meta-Gründer und CEO Mark Zuckerberg.

Unternehmen, die mehr Trainingsdaten benötigen, um domänenspezifische Modelle zu erstellen, können ihre eigenen Daten sowie synthetische Daten verwenden, die von Llama 3.1 405B- und NVIDIA Nemotron Reward-Modellen generiert wurden, um diese Supermodelle zu trainieren und die Genauigkeit zu verbessern. Kunden mit eigenen Trainingsdaten können NVIDIA NeMo verwenden, um Llama 3.1-Modelle anzupassen und so die Modellgenauigkeit durch Domain Adaptive Pre-Training (DAPT) weiter zu verbessern.

NVIDIA und Meta arbeiten außerdem zusammen, um eine Destillationsmethode für Llama 3.1 bereitzustellen, mit der Entwickler kleinere benutzerdefinierte Llama 3.1-Modelle für generative KI-Anwendungen erstellen können. Dadurch können Unternehmen Llama-basierte KI-Anwendungen auf einer schnelleren Infrastruktur wie KI-Workstations und Laptops ausführen.

Sobald ein benutzerdefiniertes Modell erstellt wurde, können Unternehmen NVIDIA NIM-Inferenz-Microservices erstellen, um ihre Auswahl an erstklassigen maschinellen Lernoperationen (MLOps) und künstlicher Intelligenz auf ihrer bevorzugten Cloud-Plattform und NVIDIA-zertifizierten Systemen von globalen Serverherstellern zu nutzen (AIOps)-Plattformen führen diese Modelle in der Produktion aus.

NIM-Microservices helfen bei der Bereitstellung von Llama 3.1-Modellen in der Produktion mit einem bis zu 2,5-mal höheren Durchsatz als bei der Ausführung von Inferenz ohne NIM.

Erfahren Sie mehr über NVIDIA NIM-Inferenz-Microservices für Llama 3.1-Modelle unter ai.nvidia.com, um die Bereitstellung von Llama 3.1-Modellen für produktionstaugliche KI zu beschleunigen.

Durch die Kombination der NIM-Mikrodienste von Llama 3.1 mit den neuen NIM-Mikrodiensten von NVIDIA NeMo Retriever können erweiterte Abrufworkflows für KI-Copiloten, Assistenten und digitale menschliche Avatare erstellt werden.

Durch die Verwendung des neuen NIM-Inferenz-Mikroservices NVIDIA NeMo Retriever zur Implementierung von Retrieval Enhanced Generation (RAG) können Unternehmen benutzerdefinierte Llama-Supermodelle und Llama-NIM-Mikroservices in der Produktion bereitstellen, um die Antwortgenauigkeit zu verbessern.

In Kombination mit dem NVIDIA NIM-Inferenz-Microservice für Llama 3.1 405B bietet der NeMo Retriever NIM-Microservice eine extrem hohe Abrufgenauigkeit für die Beantwortung offener und kommerzieller Textfragen in RAG-Workflows.

NVIDIA AI Foundry kombiniert NVIDIA-Software, Infrastruktur und Fachwissen mit offenen Community-Modellen, Technologie und Unterstützung durch das NVIDIA AI-Ökosystem. NVIDIA AI Enterprise-Experten und globale Systemintegratorpartner arbeiten mit AI Foundry-Kunden zusammen, um den gesamten Prozess von der Entwicklung bis zur Bereitstellung zu beschleunigen.

Das professionelle Dienstleistungsunternehmen Accenture ist das erste Unternehmen, das NVIDIA AI Foundry nutzt, um mithilfe des Accenture AI Refinery-Frameworks benutzerdefinierte Llama 3.1-Modelle für sich selbst und für Kunden zu erstellen, die möchten, dass die von ihnen bereitgestellten generativen KI-Anwendungen ihre Kultur, Sprache und Branche widerspiegeln.

Unternehmen in den Bereichen Gesundheitswesen, Energie, Finanzdienstleistungen, Einzelhandel, Transport, Telekommunikation und anderen Branchen nutzen bereits NVIDIA NIM-Microservices für Llama. Zu den ersten Unternehmen, die die neuen NIM-Microservices für Llama 3.1 nutzen, gehören Aramco, AT&T, Uber usw.

Hunderte von NVIDIA NIM-Partnern, die Unternehmens-, Daten- und Infrastrukturplattformen bereitstellen, sind jetzt in der Lage, diese neuen Microservices in ihre KI-Lösungen zu integrieren und so die generative KI für die NVIDIA-Community mit mehr als 5 Millionen Entwicklern und 19.000 Startups zu unterstützen.

Produktionsunterstützung für die Mikrodienste Llama 3.1 NIM und NeMo Retriever NIM ist über NVIDIA AI Enterprise verfügbar. Mitglieder des NVIDIA Developer Program werden bald kostenlosen Zugang zu NIM-Microservices haben, um Forschung, Entwicklung und Tests auf ihrer bevorzugten Infrastruktur durchzuführen.