nachricht

mädchen der peking-universität nach 2000 entwickeln eine ki-generierte 4d-animationsplattform

2024-09-18

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

vollständiger firmenname: beijing yunke technology co., ltd.

finanzierungsrunden: engel + runde

produkte/dienstleistungen: aiuni – ki-generierte 4d-animationsplattform

gründer: hu yating (25. ausgabe des entrepreneurship star camp)

geburtsjahr: 2000

bildungshintergrund: fakultät für informatik, universität peking

autor |. ma wenpei

herausgeber: liu hengtao

bildquelle |. zur verfügung gestellt von aiuni

hu yating, geboren in den 2000er jahren, entschied sich nach seinem universitätsabschluss für die gründung eines unternehmens. hu yating hat ein wunderschönes aussehen und modische kleidung, was unsere vorstellung vom image eines unternehmers völlig auffrischt.

hu yating, absolventin der informatikabteilung der universität peking, hat als algorithmeningenieurin für google, alibaba und bytedance gearbeitet. sie nahm auch an der informatikolympiade teil und gewann die nationale goldmedaille und den preis für die beste sportlerin. während ihres praktikums in einer großen fabrik stellte sie fest, dass der internetverkehr seinen höhepunkt erreicht hatte, 3d jedoch eine steigerung der inhaltsdimensionalität darstellte, und beschloss, nach ihrem college-abschluss ein unternehmen zu gründen.

aiuni, gegründet von hu yating, ist eine ip-plattform für ki-generierte 4d-animationen. im juni dieses jahres wurde das 3d-generierte modell unique3d auf github, huggingface und anderen plattformen veröffentlicht als „beliebtestes modell“ nominiert: „generieren von 3d-modellen aus den besten bildern“ wurde von vielen entwicklern gelobt.

unique3d ist in der lage, aus einem einzelansichtsbild in etwa 30 sekunden auf einer 4090-grafikkarte hochauflösende und vielfältig strukturierte 3d-netze zu erzeugen. viele internetnutzer teilten ihre generierungsergebnisse in den sozialen medien und lobten das modell dafür, dass es ein sehr hohes niveau in bezug auf genauigkeit, konsistenz und effizienz erreicht. in nur wenigen monaten hat unique3d millionen generierter kopien erreicht.

diesen sommer nahm hu yating an der 25. phase des entrepreneurship star camp teil – star camps hochmodernem ki-star-beschleunigungsprogramm.

nach der beschleunigung wird sie vom 19. bis 20. dieses monats auf der bühne der 2024demo china stehen und ihre gedanken zu den produkten und kommerziellen anwendungen namhaften investoren, branchenexperten und industriepartnern in verschiedenen bereichen in einem erweiterten rahmen präsentieren benehmen.

ausrichtung auf den 3d-markt

als wichtiges mittel zur abbildung der realen welt in der internetwelt ist die 3d-technologie in verschiedene bereiche vorgedrungen, von der spieleentwicklung über die filmproduktion bis hin zum produktdesign, e-commerce-rendering und architekturplanung. die anwendungsszenarien der 3d-technologie decken nahezu das gesamte spektrum ab gesamte internetbranche.

je nach anwendungsszenario variieren auch die kosten für die 3d-modellierung. je detaillierter das modell, desto umständlicher ist der produktionszyklus und desto höher sind die kosten für die erstellung jedes 3d-modells tausend oder sogar zehntausende yuan.

derzeit sind die animations-, film-, fernseh-, spiele- und andere unterhaltungsindustrie die hauptanwendungsgebiete der 3d-modellierung. in der spielebranche sind 3d-spiele mit der kontinuierlichen weiterentwicklung der 3d-engines nach und nach zum mainstream des marktes geworden, und in der animationsfilm- und fernsehbranche ist die nachfrage nach 3d-modellierung extrem hoch; erfordert green-screen-technologie und wichtige schauspieler. es kann fertiggestellt werden, was die personalkosten des dramas reduziert.

laut von toubao veröffentlichten daten wird chinas markt für 3d-modellierung im jahr 2021 10,34 milliarden yuan erreichen, und es wird erwartet, dass die marktgröße bis 2026 19,57 milliarden yuan erreichen wird. die größe des globalen 3d-animationsmarktes wird im jahr 2021 auf etwa 164 milliarden us-dollar geschätzt, und es wird erwartet, dass der markt mit einer durchschnittlichen jährlichen wachstumsrate (cagr) von 11,5 % wächst und bis 2026 etwa 310 milliarden us-dollar erreichen wird.

das aiuni-team zielt auf diesen markt ab.

neben hu yating lernte auch der technische partner des unternehmens, wu kailu, hu yating kennen, als sie an der informatikolympiade teilnahm. er absolvierte die yao-klasse der tsinghua-universität und forschte am interdisziplinären informationsinstitut von tsinghua-universität. während seiner studienzeit veröffentlichte er innovativ fsd (text-to-3d-flow-fraktionelle destillation) und memsr (effizientes training eines super-resolution-modells). er nahm einmal an der nationalen trainingsmannschaft der informatikolympiade teil und traf sich während des wettbewerbs. ren jinshan, die betriebspartnerin des unternehmens, ist eine ehemalige verfechterin der freien künste. sie hat einen abschluss an der guanghua school of management der peking-universität und einen master-abschluss in kunsttheorie von der university of chicago.

aiuni hat erfolgreich drei finanzierungsrunden erhalten, darunter angel+-runden.

erstellen sie vertikale modelle, um technische vorteile zu erzielen

bei der herstellung von produkten stellte hu yating fest, dass charaktere die wertvollsten aller arten von 3d-assets sind, da sich fast alle animationen und spiele um charaktere drehen. darüber hinaus erstellen viele benutzer klassische charaktere nach oder möchten originalcharaktere realisieren, und die nachfrage nach originalität ist relativ groß. hu yating ist der ansicht, dass dieser teil besser für die generierung mit aigc geeignet ist.

„diese benutzer hoffen, 3d-charaktere bequem und kostengünstig zu generieren, aber die kosten für die 3d-modellierung sind hoch und in den meisten fällen kann sie nur in b-side-studios wie animation sowie film und fernsehen verwendet werden.“

wenn ki eingesetzt wird, um die schwelle der 3d-modellierung auf ein extremes niveau zu senken, erhalten benutzer, die bisher nicht in der lage waren, 3d-inhalte zu erstellen, die möglichkeit, selbstständig neue 3d-werke zu erstellen.

„die meisten videoinhalte, die wir jetzt sehen, werden in echtzeit gedreht. in zukunft werden animations- und spezialeffektinhalte auf der grundlage von 3d-modellen in kurze videos umgewandelt, und die menge an videos und die kreativität werden erheblich gesteigert.“ sagte.

im vergleich zu anderen bildern ist die zeichengenerierung schwieriger. hu yating sagte: „da es sich bei 3d-modellen um relativ professionelle szenen handelt, wird aiuni als nächstes die charaktererstellung, animationserstellung und videosynthese übernehmen, um dienste für die ersteller digitaler inhalte bereitzustellen. dies alles stellt höhere anforderungen an die modellgenauigkeit. da es sich um feine abmessungen handelt.“ b. menschliche knochen und kleidungszubehör, sind eine große menge an details und daten erforderlich, und die verarbeitung geometrischer daten stellt gleichzeitig eine große herausforderung dar, da sie standardmodellposen (z. b. eine pose), das material und die aktion unterstützen muss auch die daten müssen detaillierter und standardisierter verarbeitet werden.

die lösung von aiuni besteht darin, durch innovationen in der algorithmusarchitektur eine genauigkeit auf sota-niveau zu erreichen. im vergleich zu früheren methoden wie score distillation sampling (sds) löst aiuni die probleme der modellgenerierung, die eine langfristige optimierung, schlechte geometrische qualität und inkonsistenz erfordern. gleichzeitig optimierte das team auch das problem, dass die auf dem multi-view-diffusionsmodell basierende methode durch lokale inkonsistenz und generierungsauflösung begrenzt ist, was die erzeugung feiner texturen und komplexer geometrischer details zum ersten mal erschwert wurde von 256 auf 2k/8k-niveau erhöht und erfüllt die anforderungen der benutzer an modellgenauigkeit und -qualität.

laut dem unique3d-artikel kann diese lösung durch ein multi-view-diffusionsmodell und ein entsprechendes normaldiffusionsmodell, einen mehrstufigen upgrade-prozess und einen sofortigen und konsistenten netzrekonstruktionsalgorithmus isomer bessere 3d-ergebnisse erzielen. in experimenten wurde das modell von aiuni mit instantmesh, crm und openlrm verglichen und konnte genauere geometrien und detaillierte texturen erzeugen, deutlich besser als andere modelle.

„unique3d ist generativ und generalisierbar und kann tatsächlich in rendering-engines verwendet werden, um inhalte zu erstellen, die für benutzer sehr wertvoll sind.“ hu yating glaubt, dass der vorteil von unique3d im vergleich zu konkurrenzprodukten darin besteht, dass cg-grafiken und ki 3d-rendering ermöglichen gut kombiniert.

im vergleich zu den verallgemeinerten großen modellen großer hersteller ist hu yating der ansicht, dass aiuni mehr modalitäten bietet und vertikaler ist. „tatsächlich verfügen wir über vertikale modelle mit mehreren unterschiedlichen modalitäten, wie z. b. charaktereinstellungsmodelle, 3d-modelle, automatische bindung oder generierung von aktionen.“ wir werden sie vertikal aneinanderreihen, und dabei geht es nicht um reine rechenleistung oder daten, sondern es sind einige innovationen in der algorithmusarchitektur erforderlich.“

die verallgemeinerung großer videomodelle ist relativ stark, es ist jedoch schwierig, die zeichenkonsistenz, die steuerbarkeit der aktionen, die kosten für das generieren und die inferenzeffizienz zu steuern. im vergleich dazu hat aiuni in diesen aspekten größere vorteile.

von 3d zu 4d für globale ip-ersteller

auf der website aiuni.ai gibt es derzeit zwei online-funktionen, mit denen 3d-welten bzw. 3d-modelle generiert werden können. hu yating gab bekannt, dass sich die nächsten funktionen, die aiuni einführen wird, um den animierten videomodus drehen werden – das erzeugen von 3d-charakteren, das erzeugen von charakteranimationen, das ersetzen realer videos durch 3d-charaktere, das synthetisieren von charakteranimationen in real gedrehte videos usw. in diese richtung arbeitet auch das aiuni-team, nämlich dynamische 3d-inhalte (also 4d).

das aiuni-team ist davon überzeugt, dass der entwicklungstrend der aigc-multimodalität von der generierung von 2d- über die generierung von 3d-modellen bis hin zur generierung von 4d-inhalten reicht. die generierung von 2d-bildern aus text ist nur der anfang. durch die räumliche dimensionierung von 2d-bildern entsteht ein 3d-modell, das auch der grundträger zukünftiger räumlicher berechnungen ist. sie hoffen, dass diese funktion in zukunft 3d-modellen eine zeitdimension verleihen und zu hochfrequenten, interaktiven 4d-inhalten werden kann.

„nachdem wir das 3d-charaktermodell generiert haben, können wir es weiter auf 4d erweitern, indem wir beispielsweise die bewegung des modells ändern oder das modell mit dem benutzer interagieren lassen. wir können auch über die funktionen zur videowiedergabe und sprachinteraktion verfügen. beliebig.“ das modell kann weiterhin dynamische inhalte erstellen.“ hu yating er sagte, dass das wichtigste im gesamten workflow die kombination von ki-technologie und grafischer cg-kunst ist, um den prozess von natürlicher sprache über bilder bis hin zu 3d-modellen und dynamischen videos abzuschließen.

basierend auf dieser erwartung startete aiuni im april zunächst eine interne betaversion der 3d-modellgenerierung und verteilte über einige kanäle einladungscodes. im oktober dieses jahres erwartet das unternehmen die veröffentlichung einer neuen öffentlichen betaversion, die sich an ip-ersteller von charakteranimationen richtet.

„ein benutzer hat möglicherweise noch nie zuvor professionelle 3d-tools verwendet, ist aber vielleicht einfach ein acgn-enthusiast von spielen oder animationen. über unsere plattform kann er auch original- oder inhaltskreationen für seine lieblings-ip-charaktere erstellen und auf der plattform animationen exportieren.“ „hu yating sagte, dass die neue öffentliche betaversion die generierung von charakteren und animationen unterstützen wird und für szenen wie mündliche videos und tanzvideos geeignet ist.“

was das geschäftsmodell betrifft, so plant aiuni die einführung verschiedener gebührenmodelle für professionelle kreative und ip-enthusiasten. professionelle 3d-benutzer benötigen 3d-originaldaten, und die plattform kann ihre produktivität steigern, sodass sie eine hohe zahlungsbereitschaft für die ersteller neuer medien-ips haben. die token-gebühren werden hauptsächlich auf der grundlage der generierungszeit und der rendering-genauigkeit erhoben. für andere benutzertypen ist die erstellerökonomie vielfältiger. einige benutzer möchten beispielsweise personalisierte sprachmodelle für charaktere hinzufügen oder 3d-druckmodelle verwenden, um andere ip-derivate zu erstellen.

hu yating sagte, dass aiuni sich in zukunft an neuen medienszenarien orientieren werde, die durch ip geschaffen werden, und nach und nach mehr multimodale algorithmen einführen werde, die ki-technologie mit cg-kunst kombinieren. aiuniais ausländische nutzer machen 70 % aus, und die plattform wird für globale youtuber betrieben. hu yating sagte, dass die 3d/4d-modalität noch eine neue sache sei, die chinesen mehr machten und das unternehmen keine direkten konkurrenzprodukte im ausland habe.

„unsere mission ist es, eine ip-plattform für ki-generierte 4d-animationen zu schaffen, die sich an die ersteller digitaler inhalte neuer medien richtet. die 3d-generierung ist unser erster schritt. wir haben in diesem neuen modus unbegrenzten kreativen raum und glauben auch an aigc, der inhalte kombiniert.“ „die dimensionalität wird der neuen generation der ip-erstellung endlose vitalität verleihen“, sagte hu yating.

die durch die ki-technologie herbeigeführte industrielle paradigmenrevolution hat es vielen jungen unternehmern wie hu yating ermöglicht, ihre träume zu verwirklichen.