Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Autor dieses Artikels: Li Dan

Quelle: Harte KI

Am Montag, den 29. Juli, Eastern Time, stellte NVIDIA auf der SIGGRAPH 2024, der jährlichen Konferenz und Ausstellung für Computergrafik und interaktive Technologie in Denver, USA, neue Tools vor.

Huang Renxun, CEO von Nvidia, gab auf der SIGGRAPH 2024 bekannt, dass Nvidia diese Woche Muster der Blackwell-Architektur verschicken wird, der neuen Chip-Architektur, die dieses Jahr ihr Debüt feiert. Gleichzeitig kündigte Nvidia eine Reihe von Software-Updates an, die hauptsächlich den Nvidia Inference Micro Service (NIM) betreffen, einen Cloud-nativen Microservice zur Optimierung der Inferenz künstlicher Intelligenz (KI), um den groß angelegten Einsatz von KI-Modellen durch Unternehmen zu fördern.

Als NVIDIA im März dieses Jahres NIM auf den Markt brachte, gab das Unternehmen bekannt, dass NIM optimierte Inferenz-Microservices bereitstellt, die die Markteinführungszeit verkürzen und die Bereitstellung generativer KI-Modelle überall in der Cloud, in Rechenzentren und auf GPU-beschleunigten Workstations vereinfachen sollen. NIM unterstützt KI-Anwendungsfälle in mehreren Bereichen, darunter große Sprachmodelle (LLM), visuelle Sprachmodelle (VLM) und Modelle für Sprache, Bild, Video, 3D, Arzneimittelentwicklung, medizinische Bildgebung und mehr.

Entwickler können neue generative KI-Modelle mithilfe der gehosteten Cloud-API von NVIDIA testen oder das Modell selbst hosten, indem sie NIM herunterladen und mithilfe von Kubernetes schnell bei großen Cloud-Anbietern oder vor Ort bereitstellen, um Entwicklungszeit, Komplexität und Kosten zu reduzieren. NIM-Microservices vereinfachen den Bereitstellungsprozess von KI-Modellen, indem sie Algorithmen, System- und Laufzeitoptimierungen packen und branchenübliche APIs hinzufügen. Dadurch können Entwickler NIM ohne umfangreiche Anpassungen oder Fachkenntnisse in ihre vorhandenen Anwendungen und Infrastruktur integrieren.

Das am Montag von NVIDIA angekündigte Update erweitert die NIM-Inferenz-Microservice-Bibliothek, um physische Weltumgebungen, erweiterte visuelle Modellierung und verschiedene vertikale Anwendungen abzudecken. NVIDIA hat etwa 100 NIM-Inferenz-Microservices in Vorschauversionen bereitgestellt und veröffentlicht nun die Vollversion. Als Teil von NVIDIAs neuem NIM werden beispielsweise bald die 4K-Bildgenerierungs-API des visuellen Medienunternehmens Getty Images Holdings und der 3D-Bildgenerator von Shutterstock Inc., einem Anbieter digitaler Inhalte wie Bilder, Filme und Musik, eingeführt . Beide nutzen Nvidias Nvidia Edify, eine multimodale Architektur für visionsgenerierte KI.

NVIDIA gab am selben Tag bekannt, dass es eine Partnerschaft mit dem Natural Language Processing (NLP)-Toolset und der Plattform Hugging Face eingegangen ist, um Inferenz als Dienst zu starten, der Entwicklern dabei hilft, mithilfe von Open-Source-KI-Modellen, die auf Hugging Face Hub gehostet werden, schnell Prototypen zu erstellen und diese in der Produktion bereitzustellen. In Kommentaren heißt es, dass diese Zusammenarbeit die Bereitstellung von KI-Modellen für Entwickler vereinfachen wird.

fVDB nutzt reale 3D-Daten, um räumliche Intelligenz zu schaffen

Unter anderem hat NVIDIA fVDB eingeführt, das reale 3D-Daten nutzt, um räumliche Intelligenz zu schaffen. Nvidia behauptet, dass das generative Material-KI-Modell Operationen der Fein- oder Grobmotorik in der materiellen Welt verstehen und ausführen kann. Das Verstehen und Navigieren in den drei Dimensionen der physischen Welt erfordert räumliche Intelligenz. Um dieser Art von KI ein leistungsstarkes, kohärentes Framework zu bieten, das realistische Skalierungen bewältigen kann, hat NVIDIA fVDB entwickelt, ein Deep-Learning-Framework, das für spärliche, großräumige und leistungsstarke räumliche Intelligenz entwickelt wurde.

fVDB basiert auf OpenVDB, einer branchenüblichen Struktur und Bibliothek zur Simulation und Darstellung dünner volumetrischer Daten wie Wasser, Feuer, Rauch und Wolken. fVDB bietet die vierfache räumliche Skalierung, die 3,5-fache Leistung früherer Frameworks und Zugriff auf riesige Datensätze aus der realen Welt. Es vereinfacht den Prozess durch die Kombination von Funktionen, für die zuvor mehrere Deep-Learning-Bibliotheken erforderlich waren.

Das modulare Open-Source-Framework Isaac Lab bietet Simulationen zur Beschleunigung des Roboterlernens

NVIDIA hat außerdem Isaac Lab auf den Markt gebracht, ein modulares Open-Source-Framework für Roboterlernen, das die Einschränkungen traditioneller Trainingsmethoden für Roboterlernfähigkeiten überwinden kann.

Isaac Lab bietet modulare High-Fidelity-Simulationen für verschiedene Trainingsumgebungen und stellt KI-Funktionen für die physische Welt sowie GPU-gesteuerte Simulationen der physischen Welt bereit.

Isaac Lab unterstützt Nachahmungslernen (Nachahmen von Menschen) und Verstärkungslernen (Lernen durch Versuch und Irrtum) und bietet flexible Trainingsmethoden für jede Roboterimplementierung. Es bietet eine benutzerfreundliche Umgebung für Schulungsszenarien und hilft Roboterherstellern, Roboterfähigkeiten basierend auf sich ändernden Geschäftsanforderungen hinzuzufügen oder zu aktualisieren.

Verwenden Sie NVIDIA NIM- und VIA-Mikroservices, um einen VLM-gesteuerten visuellen KI-Agenten zu erstellen

NVIDIA hat NIM für KI in der physischen Welt maßgeschneidert und unterstützt Sprache und Übersetzung, Vision sowie realistische Animation und Verhalten. NVIDIA führt VIA-Microservices ein, die jetzt in der Entwicklervorschau zum Download verfügbar sind.

VIA-Microservices können problemlos in NIM integriert werden, und Benutzer können jedes LLM- oder VLM-Modell flexibel in der Modellvorschau-API von NVIDIA und im herunterladbaren NIM-Microservices-API-Verzeichnis verwenden. VIA-Microservices, eine Erweiterung der Metropolis-Microservices von NVIDIA, sind cloudnative Bausteine, die die Entwicklung von VLM- und NIM-gesteuerten visuellen KI-Agenten beschleunigen, unabhängig davon, ob sie am Netzwerkrand oder in der Cloud bereitgestellt werden.

Mithilfe generativer KI, NIM-Microservices und Basismodellen können Benutzer jetzt weniger Modelle verwenden, um Apps mit breitem Bewusstsein und umfassendem Kontextverständnis zu erstellen. VLM unterstützt visuelle KI-Agenten, die Hinweise in natürlicher Sprache verstehen und visuelle Antworten auf Fragen durchführen können. Visuelle KI-Agenten nutzen Computer-Vision-Funktionen, um die physische Welt wahrzunehmen, mit ihr zu interagieren und Denkaufgaben auszuführen.

Diese Agenten können die Möglichkeiten von Anwendungen in verschiedenen Branchen voll ausschöpfen. Sie können den Arbeitsablauf der App-Entwicklung erheblich vereinfachen und transformative neue Wahrnehmungsmöglichkeiten bieten, wie z. B. Bild- oder Videozusammenfassung, interaktive visuelle Fragen und Antworten sowie visuelle Warnungen. Diese visuellen KI-Agenten werden in Fabriken, Lagerhäusern, Einzelhandelsgeschäften, Flughäfen, Verkehrskreuzungen und anderen Orten eingesetzt und helfen Betriebsteams dabei, bessere Entscheidungen zu treffen, indem sie umfassendere Erkenntnisse aus natürlichen Interaktionen nutzen.

Omniverse Replicator hilft bei der Lösung von Datenknappheitsproblemen, die das Modelltraining einschränken

NVIDIA stellte vor, wie NIM-Microservices zum Aufbau einer benutzerdefinierten SDG-Pipeline (Synthetic Data Generation) für USD verwendet werden können, die den Omniverse Replicator von NVIDIA nutzt. Omniverse Replicator ist ein SDK, das auf Universal Scene Description (OpenUSD) und NVIDIA RTX basiert.

Entwickler können unter anderem NIM-Microservices und Omniverse Replicator nutzen, um SDG-Pipelines zu erstellen, die generative KI unterstützen, und so reale Datenengpässe beheben, die das Modelltraining oft einschränken.

Rev. Lebaredian, Vizepräsident von Omniverse and Simulation Technologies bei NVIDIA, sagte:

„Wir haben das weltweit erste generative KI-Modell erstellt, das Sprache, Geometrie, Materialien, Physik und Raum basierend auf OpenUSD verstehen kann.“

Lebaredian sagte, dass NVIDIA seit 2016 in OpenUSD investiert, um Industrieunternehmen und Material-KI-Entwicklern die einfachere und schnellere Entwicklung von Hochleistungsmodellen zu ermöglichen.

NVIDIA arbeitet außerdem mit Apple zusammen, einem Mitbegründer der OpenUSD Alliance, um einen hybriden Rendering-Pipeline-Flow vom NVIDIA Graphics Delivery Network, einem Netzwerk grafikbereiter Rechenzentren, zu Apples Apple Vision Pro aufzubauen.