nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

spring river plumbing duck prophet. die aktuellen maßnahmen von nvidia offenbaren einige neue trends.

text |. zhou luping und zhao yanqiu

herausgeber |. niu hui

vor nicht allzu langer zeit veröffentlichte nvidia einen generativen ki-dienst für die 3d-modellierung, der in der branche große aufmerksamkeit erregte. wenn wir sagen, dass es bei der vorherigen generativen ki eher darum ging, inhalte in der zweidimensionalen welt wie texte, bilder und videos zu generieren. nun, dieses mal nutzt nvidia generative ki, um unternehmen beim aufbau von 3d-assets zu unterstützen, die entwicklung digitaler zwillinge und simulationsindustrien zu beschleunigen und auch die anwendung von ki in der physischen welt zu beschleunigen.

01

„cuda native“ richtet sich an die industrie

spring river plumbing duck prophet. als weltweit führender anbieter von beschleunigtem computing offenbaren die maßnahmen von nvidia einige neue trends.

nvidia-gründer und ceo jensen huang konzentrierte in zwei kamingesprächen bei siggraph im jahr 2024 seine neuesten erkenntnisse zum thema ki darauf, wie generative ki und beschleunigtes computing branchen wie die fertigung durch visualisierung verändern können. nvidia stellte während der konferenz auch eine neue reihe von nim-microservices vor.

die siggraph-konferenz ist der ort, um die neuesten innovationen in der computergrafik zu diskutieren. nvidia hat generative ki-modelle und nim-microservices veröffentlicht, die für openusd, geometrie, physik, materialien usw. geeignet sind. openusd ist eine open-source-software für den internen datenaustausch in 3d-szenen und hat sich nach und nach in vielen branchen wie 3d-vision, architektur, design und fertigung zum standard entwickelt.

mit diesen modellen und diensten können entwickler die entwicklung von anwendungen in der fertigung, der automobilindustrie, der robotik und anderen branchen beschleunigen.

in zwei kamingesprächen erörterte huang die bedeutung des aufbaus digitaler zwillinge und virtueller welten. er sagte, die branche verbessere die effizienz und reduziere die kosten, indem sie groß angelegte digitale zwillinge im maßstab von städten baue. „zum beispiel kann ki in dieser virtuellen welt trainiert werden, bevor sie auf humanoiden robotern der nächsten generation eingesetzt wird.“

warum konzentriert sich jensen huang auf industrielle visualisierung, virtuelle welten oder digitale zwillinge? warum hat nvidia zu diesem zeitpunkt einen neuen nim-mikrodienst im cuda-ökosystem eingeführt?

bild von der offiziellen nvidia-website

rev. lebaredian, vizepräsident für omniverse und simulationstechnologie bei nvidia, sagte: „die generative ki-welle in der schwerindustrie ist angekommen.“ digital intelligence frontier hat außerdem erfahren, dass sich die generative ki von einigen einfachen szenarien hin zu komplexen produktionsverknüpfungen entwickelt. die oben erwähnte technologische ökologie kann diesen prozess beschleunigen.

„bis vor kurzem waren die hauptnutzer der digitalen welt die kreativbranche. mit den erweiterten funktionen und der zugänglichkeit, die die nvidia nim-microservices zu openusd bringen, können branchen jetzt physikbasierte virtuelle welten und digitale zwillinge erstellen. seien sie auf eine neue welle vorbereitet.“ des ki-technologiebooms“, sagte rev. lebaredian.

in der automobilindustrie „rollen“ heimische automobilkonzerne digitale zwillinge. „tesla steht vor der veröffentlichung der version fsd 12.5 und treibt auch aktiv die implementierung von fsd in china voran.“ bauen sie auch ein metaversum auf und lösen sie das closed-loop-problem autonomer fahrdaten. „früher war es für automobilhersteller schwierig und kostspielig, „geistersonden“-daten zu sammeln. jetzt können automobilunternehmen das training von long-tail-szenarien in der metaverse-simulationsumgebung lösen.

in der roboterindustrie trainiert ein unternehmen für energieinspektionsroboter ki mithilfe einer simulationsumgebung, damit der roboter die komplexe umgebung und den physischen raum im kraftwerk in echtzeit wahrnehmen, seine bewegungsroute planen und tausende von metern auf verschiedenen geräten anzeigen kann nach dem weg. .

architekturdesign ist eine komplexe und zeitaufwändige aufgabe, und 3d-modelle im architekturdesign sind ein wesentlicher bestandteil. bei einigen komplexen geometrischen formen und speziell geformten strukturen ist die rekonstruktion von 3d-modellen schwieriger. jetzt arbeiten einige designunternehmen mit ki-unternehmen zusammen, um zu versuchen, modelle mit nur einigen bildern, skizzen und texten zu erstellen. zur verbesserung des designs können auch unterschiedliche materialien für die architektonische gestaltung verwendet werden.

in der stahlindustrie ist die metallografische analyse eine methode zur betrachtung von defekten und strukturen innerhalb von materialscheiben durch ein mikroskop, um die gesamtleistung des grundmaterials zu verstehen. traditionelle handarbeit ist weniger effizient und hängt stark von der menschlichen erfahrung ab. heutzutage besteht ein gemeinsamer aufruf vieler stahlunternehmen darin, die bisherige wissensbasis zu nutzen, um eine umfassende analyse von materialien durchzuführen, indem sie professionelle ki ausbilden.

durch die neuen nim-microservices ermöglicht nvidia anwendungsunternehmen, dienste direkt aufzurufen, ohne bei null anfangen zu müssen, und sie dann mit ihren eigenen daten zu kombinieren, um schnell eine anwendung zu implementieren. daher bezeichnen einige unternehmen dies als „cuda native“.

während die generative ki von randszenarien zu tieferen szenarien übergeht, sagte huang renxun: „jeder wird einen ki-assistenten haben.“ gleichzeitig vertieft sich die integration von ki und bildtechnologie: „fast jede branche wird von dieser technologie betroffen sein, sei es die wissenschaftliche datenverarbeitung zur besseren vorhersage des wetters mit weniger energie oder die zusammenarbeit mit entwicklern zur generierung von bildern oder zur erstellung virtueller daten.“ szenen für die industrielle visualisierung“, sagte huang. „generative ki wird auch den bereich der selbstfahrenden roboterautos revolutionieren.“

02

welche fantasie bringt der neue nim-microservice?

hinter den oben genannten industrieanwendungen stehen alle auf der anwendung von 3d-modellierungs- und simulationstechnologie.

die erstellung von 3d-inhalten und -szenen war in der vergangenheit immer ein problem. sie umfasst komplexe abläufe und prozesse wie modellierung, farbgebung, animation, beleuchtung, rendering usw.

in den letzten jahrzehnten haben animations-, visuelle effekte- und spielestudios versucht, die interoperabilität zwischen den verschiedenen tools in ihren pipelines zu verbessern, allerdings mit begrenztem erfolg. das verschieben von daten von einem ort an einen anderen ist schwierig, daher hat das studio komplexe arbeitsabläufe entwickelt, um die dateninteroperabilität zu verwalten.

darüber hinaus ist der traditionelle 3d-produktionsprozess neben der trennung von systemen und werkzeugen eine lineare zusammenarbeit, die formatkonvertierung und -änderung durch mehrere abteilungen und mitarbeiter erfordert, was zeit- und arbeitsintensiv ist.

openusd ist ein universelles open-source-framework für den 3d-datenaustausch. es wurde 2023 unter der führung von nvidia, pixar, apple und anderen herstellern gegründet und kann durch die interoperabilität zwischen softwaretools und datentypen eine extrem hohe interoperabilität und kompatibilität aufweisen es löst viele workflow- und komplexitätsherausforderungen beim erstellen von 3d-szenen.

openusd ist auch die grundlage der nvidia omniverse-plattform. in einem gespräch mit einem leitenden autor des wired-magazins sagte huang renxun einmal: „openusd ist das erste format, das den multimodalen ausdruck fast aller tools integriert.“ im idealfall kann man im laufe der zeit nahezu jedes format integrieren, sodass alle zusammenarbeiten können und der inhalt für immer erhalten bleibt. generative ki wird omniverse definitiv dabei helfen, bessere simulationsergebnisse zu erzielen.

der von nvidia dieses mal für die openusd-entwicklung eingeführte nim-microservice ist auch das weltweit erste generative ki-modell für die openusd-entwicklung. es integriert generative ki-funktionen in form von nim-microservices in den usd-workflow und senkt so die schwelle für benutzer, openusd zu verwenden, erheblich. gleichzeitig hat nvidia auch eine reihe neuer usd-anschlüsse veröffentlicht, die für roboterdatenformate und apple vision pro-streaming geeignet sind.

bild von der offiziellen nvidia-website

derzeit wurden drei nim-microservices veröffentlicht: einer ist der usd code nim-microservice, der openusd-fragen mit gesundem menschenverstand beantworten und automatisch python-code basierend auf textaufforderungen generieren kann.

der zweite ist der usd search nim-mikroservice, der es entwicklern ermöglicht, mithilfe natürlicher sprache oder bildeingaben in riesigen openusd-, 3d- und bilddatenbanken zu suchen und so die geschwindigkeit des abrufs und der verarbeitung von materialien in unternehmensprozessen erheblich zu verbessern.

der dritte ist der usd validate nim-mikrodienst, der die kompatibilität hochgeladener dateien mit der openusd-release-version überprüfen und rtx-rendering-pfadverfolgungsbilder generieren kann, die vollständig von der nvidia omniverse cloud api gesteuert werden.

zusätzlich zu den von nvidia bereitgestellten nativen nim-microservices erstellen ökosystempartner auch mehrere beliebte ki-modelle auf basis dieser microservices, um benutzern eine inferenzoptimierung zu ermöglichen.

shutterstock, eine weltbekannte plattform für kreative inhalte, hat einen neuen text-zu-3d-konvertierungsdienst gestartet, der auf der neuesten version des visuellen generierungsmodells edify von nvidia basiert, einschließlich der erstellung von 3d-prototypen oder dem füllen virtueller umgebungen.

beispielsweise ist die erstellung einer präzise reflektierenden beleuchtung für virtuelle szenen eine komplexe aufgabe. in der vergangenheit mussten youtuber teure 360-grad-kameraausrüstung bedienen, zum drehort gehen, um den hintergrund von grund auf zu erstellen, oder in einer riesigen datenbank nach ähnlichen inhalten suchen.

dank der 3d-generierungsdienste müssen benutzer jetzt jedoch nur noch die spezifische umgebung, die sie benötigen, mit text oder bildern beschreiben, und sie können panoramabilder mit hohem dynamikbereich (360 hdri) und einer maximalen auflösung von 16k erhalten. darüber hinaus können diese szenen und komponenten schnell gewechselt werden, beispielsweise um einen sportwagen in der wüste, einen tropischen strand oder eine kurvenreiche bergstraße erscheinen zu lassen.

neben der beleuchtung können entwickler auch schnell verschiedene rendering-materialien wie beton, holz oder leder hinzufügen, um ihre eigenen 3d-assets zu erstellen. darüber hinaus können die mithilfe von ki generierten 3d-assets auch jederzeit bearbeitet und in verschiedenen gängigen dateiformaten bereitgestellt werden.

das edify ai-modell von nvidia hilft getty images außerdem dabei, künstlern die möglichkeit zu geben, die komposition und den stil von bildern nach belieben zu steuern. als würde man einen roten wasserball über ein perfektes korallenrifffoto schweben lassen. darüber hinaus können entwickler unternehmensdaten nutzen, um das grundmodell zu verfeinern und bilder zu generieren, die zum kreativen stil einer bestimmten marke passen.

diese modell-microservices und -tools beschleunigen die erstellung von 3d-assets durch marken erheblich und werden die entwicklung digitaler zwillinge beliebter und bequemer machen.

03

first-mover-unternehmen haben begonnen, es zu versuchen

da die erstellung von 3d-inhalten und -assets immer komfortabler und präziser wird, profitieren branchen wie industrie, autonomes fahren, ingenieurwesen und robotik von den technologischen vorteilen der generativen ki. vor allem in der fertigungs- und werbebranche beschleunigt eine gruppe von early adopters aktiv die anwendung digitaler zwillinge und simulationen über die nvidia omniverse-plattform.

coca-cola ist die erste marke, die generative ki von omniverse und nim-microservices in marketingszenarien nutzt. in einem video seiner demonstration wird einfach „bau mir im morgenlicht einen tisch mit tacos und salsa auf“ in natürlicher sprache in das system eingegeben.

bald kann der usd search nim-mikrodienst in der riesigen 3d-asset-bibliothek nach den entsprechenden 3d-assets suchen und diese schnell über die api aufrufen. der usd code nim kann diese modelle zu szenen kombinieren, und entwickler können sie durch eingabe von the python abrufen code, der zur erstellung neuartiger 3d-welten verwendet wird, erweitert ihre kreativen fähigkeiten erheblich. durch generative ki kann coca-cola ein personalisiertes bild in mehr als 100 märkten auf der ganzen welt anpassen, um lokalisiertes marketing zu erreichen.

bild von der offiziellen nvidia-website

als werbedienstleister hinter coca-cola hat wpp eigens ein intelligentes marketing-betriebssystem auf den markt gebracht. das system nutzt die omniverse-entwicklungsplattform und openusd, um die erstellung mehrsprachiger texte, bilder und videos zu rationalisieren und zu automatisieren und so den content-erstellungsprozess für werbetreibende und vermarkter zu vereinfachen. durch die betreuung der kunden durch generative ki setzt wpp verrückte ideen in die realität um.

wie der chief technology officer von wpp sagte: „das schöne an diesen innovationen ist, dass sie in hohem maße mit unserer arbeitsweise kompatibel sind und die vorteile offener standards voll ausnutzen. dies beschleunigt nicht nur die zukünftige arbeit, sondern ermöglicht uns auch, weiter darauf aufzubauen.“ und erweitern unsere bisherigen all-investitionen in standards wie openusd. durch die nutzung von nvidia nim-microservices mit nvidia omniverse sind wir in der lage, innovative neue produktionstools schneller als je zuvor mit unternehmen wie the coca-cola company auf den markt zu bringen.“

als weltweit größter oem für unterhaltungselektronik hat foxconn eine virtuelle digitale zwillingsfabrik für eine neue fabrik in mexiko gebaut. ingenieure können prozesse definieren und roboter in der virtuellen umgebung trainieren und so den automatisierungsgrad und die produktionseffizienz verbessern und zeit und kosten sparen und energie.

foxconn nutzte auch die omniverse-plattform hinter den kulissen, um seinen digitalen zwilling zu erstellen, indem er alle 3d-cad-elemente in dieselbe virtuelle fabrik integrierte und die roboter dort mit nvidia isaac sim trainierte, einer skalierbaren robotersimulationsplattform, die auf omniverse und openusd entwickelt wurde und physikalische genauigkeit bietet und realistische visuelle darstellung zu seinem digitalen zwilling.

neben foxconn nutzen auch elektronikhersteller wie delta electronics, mediatek und pegatron nvidia ai und omniverse, um digitale fabrikzwillinge zu erstellen.

das mpv-modell xpeng

einerseits verfügt die omniverse-plattform über eine starke interoperabilität, sodass dateien und daten, die für industrielle modellierung, rendering und 3d-spezialeffekte verwendet werden, nicht mehr kompliziert konvertiert werden müssen, was die kommunikation und zusammenarbeit zwischen den designteams von xpeng motors beschleunigt andererseits nutzt xpeng motors die echtzeit-rendering- und raytracing-funktionen von omniverse, um eine sofortige visualisierung von fahrzeugfarben und innenraumänderungen zu realisieren, wodurch der virtuelle effekt realistischer wird, die benutzeranforderungen erfüllt werden und dadurch das produkterlebnis verbessert wird .

in den letzten zwei jahren hat die explosionsartige entwicklung der generativen ki einige anwendungen im bereich toc und kollaboratives büro stärker in den fokus der außenwelt gerückt, doch nun wird auch die physische welt eine neue welle von explosionen und möglichkeiten mit sich bringen.