notizia

le ragazze dell'università di pechino post-2000 creano una piattaforma di animazione 4d generata dall'intelligenza artificiale

2024-09-18

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

nome completo dell'azienda: beijing yunke technology co., ltd.

turni di finanziamento: angel + round

prodotti/servizi: aiuni: piattaforma di animazione 4d generata dall'intelligenza artificiale

fondatore: hu yating (25° numero di entrepreneurship star camp)

anno di nascita: 2000

percorso formativo: dipartimento di informatica, università di pechino

autore |. ma wenpei

redattore丨liu hengtao

fonte immagine |. fornita da aiuni

hu yating, nato negli anni 2000, ha scelto di avviare un'impresa dopo la laurea. hu yating ha un bell'aspetto e abiti alla moda, che rinfrescano completamente la nostra immaginazione dell'immagine di un imprenditore.

hu yating, laureata al dipartimento di informatica dell'università di pechino, ha lavorato per google, alibaba e bytedance come ingegnere di algoritmi. ha anche partecipato alle olimpiadi dell'informatica e ha vinto la medaglia d'oro nazionale e il premio come miglior atleta donna. durante il suo tirocinio in una grande fabbrica, ha visto che il traffico internet aveva raggiunto il suo picco, ma il 3d comportava un aumento della dimensionalità dei contenuti, quindi ha deciso di avviare un'impresa dopo la laurea.

aiuni, fondata da hu yating, è una piattaforma ip per animazioni 4d generate dall'intelligenza artificiale nel giugno di quest'anno, il modello 3d generato da aiuniai unique3d è stato reso open source su github, huggingface e altre piattaforme ed è entrato rapidamente nelle popolari classifiche dei modelli su huggingface nominato come il "modello più popolare". "generazione di modelli 3d dalle migliori immagini" ha ricevuto elogi da molti sviluppatori.

unique3d è in grado di generare mesh 3d ad alta fedeltà e con texture diverse da un'immagine a visualizzazione singola in circa 30 secondi su una scheda grafica 4090. molti netizen hanno condiviso i risultati della loro generazione sui social media e hanno elogiato il modello per aver raggiunto un livello molto elevato in termini di fedeltà, coerenza ed efficienza. in pochi mesi unique3d ha raggiunto milioni di copie generate.

quest'estate, hu yating ha aderito alla 25a fase dell'entrepreneurship star camp, il programma all'avanguardia di accelerazione delle stelle basato sull'intelligenza artificiale di star camp.

dopo l'accelerazione, sarà sul palco del 2024demo china dal 19 al 20 di questo mese, mostrando i suoi pensieri sui prodotti e sulle applicazioni commerciali a noti investitori, esperti del settore e partner industriali in vari campi in un avanzato maniera.

puntare al mercato 3d

come mezzo chiave per mappare il mondo reale nel mondo di internet, la tecnologia 3d è penetrata in vari campi, dallo sviluppo di giochi, alla produzione cinematografica, alla progettazione del prodotto, al rendering dell'e-commerce e alla pianificazione architettonica. gli scenari applicativi della tecnologia 3d coprono quasi tutto intero settore internet.

a seconda dello scenario applicativo, varia anche il costo della modellazione 3d. quanto più dettagliato è il modello, tanto più macchinoso è il processo di produzione, il ciclo di produzione è lungo e il costo è elevato. il costo di creazione di ciascun modello 3d ne richiede almeno diversi migliaia o addirittura decine di migliaia di yuan.

attualmente, l'animazione, il cinema, la televisione, i giochi e altri settori dell'intrattenimento sono i principali campi di applicazione della modellazione 3d. nell'industria dei giochi, con il continuo sviluppo dei motori 3d, i giochi 3d sono gradualmente diventati la corrente principale del mercato e la domanda di modellazione 3d è estremamente elevata nell'industria cinematografica e televisiva di animazione, utilizzando la tecnologia 3d solo per creare scene grandiose; richiede la tecnologia dello schermo verde e attori importanti. può essere completato, il che riduce il costo del personale del dramma.

secondo i dati rilasciati da toubao, lo spazio di mercato cinese della modellazione 3d raggiungerà i 10,34 miliardi di yuan nel 2021 e si prevede che raggiungerà i 19,57 miliardi di yuan entro il 2026. si stima che la dimensione del mercato globale dell’animazione 3d nel 2021 sarà di circa 164 miliardi di dollari e si prevede che il mercato crescerà a un tasso di crescita annuale composto (cagr) dell’11,5%, raggiungendo circa 310 miliardi di dollari entro il 2026.

il team aiuni punta a questo mercato.

oltre a hu yating, il partner tecnico dell'azienda wu kailu ha incontrato hu yating quando ha partecipato alle olimpiadi dell'informatica. si è laureato alla classe yao dell'università di tsinghua e si è impegnato nella ricerca nella direzione della generazione 3d e del nerf presso l'istituto interdisciplinare di informazione di. tsinghua university. ha pubblicato numerosi articoli durante il suo periodo universitario. l'articolo propone in modo innovativo fsd (distillazione frazionata a flusso testo-3d) e memsr (addestramento efficiente del modello a super-risoluzione). una volta ha partecipato alla squadra nazionale di allenamento delle olimpiadi dell'informatica e si è incontrato durante la competizione. ren jinshan, il partner operativo dell'azienda, è un ex campione di arti liberali. si è laureata alla guanghua school of management dell'università di pechino e ha conseguito un master in teoria dell'arte presso l'università di chicago.

aiuni ha ricevuto con successo tre round di finanziamento, inclusi i round angel+.

creare modelli verticali per ottenere vantaggi tecnici

nel processo di creazione dei prodotti, hu yating ha scoperto che, poiché quasi tutte le animazioni e i giochi ruotano attorno ai personaggi, le risorse 3d più preziose tra tutte sono i personaggi. inoltre, molti utenti ricreano personaggi classici o vogliono realizzare personaggi originali e la richiesta di originalità è relativamente ampia. hu yating ritiene che questa parte sia più adatta a essere generata con aigc.

"questi utenti sperano di generare personaggi 3d in modo conveniente ed economico, ma il costo della modellazione 3d è elevato e nella maggior parte dei casi può essere utilizzato solo negli studi b-side come quelli di animazione, cinema e televisione."

quando l’intelligenza artificiale verrà utilizzata per abbassare all’estremo la soglia della modellazione 3d, gli utenti che in precedenza non erano in grado di creare contenuti 3d avranno la possibilità di creare nuove opere 3d in modo indipendente.

"la maggior parte dei contenuti video che vediamo ora sono girati in tempo reale. in futuro, i contenuti di animazione ed effetti speciali basati su modelli 3d verranno trasformati in brevi video e la quantità di video e creatività sarà notevolmente aumentata." disse.

rispetto ad altre immagini, la generazione dei personaggi è più difficile. hu yating ha dichiarato: "poiché i modelli 3d sono scene relativamente professionali, e aiuni si occuperà successivamente della generazione di personaggi, di animazioni e di sintesi video per fornire servizi ai creatori di contenuti digitali. tutti questi propongono requisiti più elevati per l'accuratezza del modello. poiché implica dimensioni fini come ossa umane e accessori di abbigliamento, sono necessarie una grande quantità di dettagli e dati e l'elaborazione dei dati geometrici è allo stesso tempo una sfida enorme, perché deve supportare le pose del modello standard (ad esempio a pose), il materiale e l'azione inoltre i dati devono essere più dettagliati.

la soluzione di aiuni è raggiungere una precisione di livello sota attraverso l'innovazione dell'architettura dell'algoritmo. rispetto ai metodi precedenti come score distillation sampling (sds), aiuni risolve i problemi di generazione del modello che richiede ottimizzazione a lungo termine, scarsa qualità geometrica e incoerenza. allo stesso tempo, il team ha anche ottimizzato il problema che il metodo basato sul modello di diffusione multi-vista è limitato dall’incoerenza locale e dalla risoluzione di generazione, rendendo difficile per la prima volta produrre texture fini e dettagli geometrici complessi è stato aumentato da 256 a 2k/8k, soddisfacendo i requisiti dell'utente in termini di accuratezza e qualità del modello.

secondo il documento unique3d, questa soluzione può produrre risultati 3d migliori attraverso un modello di diffusione multi-vista e un corrispondente modello di diffusione normale, un processo di aggiornamento multi-livello e un algoritmo di ricostruzione della mesh istantaneo e coerente isomer. negli esperimenti, il modello di aiuni è stato confrontato con instantmesh, crm e openlrm, ed è stato in grado di generare geometrie più accurate e texture dettagliate, significativamente migliori rispetto ad altri modelli.

"unique3d ha una sua capacità generativa e generalizzabile e può effettivamente essere utilizzato nei motori di rendering per creare contenuti di grande valore per gli utenti." hu yating ritiene che, rispetto ai prodotti concorrenti, il vantaggio di unique3d sia che può creare grafica cg e rendering 3d differenziabili tramite intelligenza artificiale. ben combinato.

rispetto ai grandi modelli generalizzati dei grandi produttori, hu yating ritiene che aiuni crei più modalità e sia più verticale “in effetti, abbiamo modelli verticali con molteplici modalità diverse, come modelli di impostazione dei personaggi, modelli 3d, rilegatura automatica o generazione di azioni. dati e rendering di modelli sintetici, ecc., li metteremo insieme verticalmente, e questa non è una questione di pura potenza di calcolo o dati e richiede una certa innovazione nell’architettura degli algoritmi”.

la generalizzazione di modelli video di grandi dimensioni è relativamente forte, ma è difficile controllare la coerenza dei personaggi, la controllabilità dell'azione, i costi di formazione della generazione e l'efficienza dell'inferenza. in confronto, aiuni presenta maggiori vantaggi in questi aspetti.

dal 3d al 4d per i creatori di proprietà intellettuale a livello globale

sul sito aiuni.ai sono attualmente presenti due funzioni online in grado di generare rispettivamente mondi 3d e modelli 3d. hu yating ha rivelato che le prossime funzioni che aiuni lancerà riguarderanno la modalità video animato: generazione di personaggi 3d, generazione di animazioni di personaggi, sostituzione di video di vita reale con personaggi 3d, sintesi di animazioni di personaggi in video riprese reali, ecc. questa è anche la direzione verso cui sta lavorando il team aiuni, ovvero i contenuti dinamici 3d (ovvero 4d).

il team aiuni ritiene che il trend di sviluppo della multimodalità aigc passi dalla generazione 2d, alla generazione di modelli 3d e infine alla generazione di contenuti 4d. la generazione di immagini 2d dal testo è solo l'inizio. dare dimensioni spaziali alle immagini 2d crea un modello 3d, che è anche il vettore di base del futuro calcolo spaziale. sperano che in futuro questa funzione possa dare ai modelli 3d una dimensione temporale e diventare contenuti 4d interattivi ad alta frequenza.

"dopo aver generato il modello del personaggio 3d, possiamo continuare ad estenderlo al 4d, ad esempio modificando il movimento del modello o lasciando che il modello interagisca con l'utente. possiamo anche avere funzionalità di rendering video e interazione vocale. qualsiasi il modello può continuare a creare contenuti dinamici." hu yating ha affermato che per completare il processo dal parlato naturale alle immagini, ai modelli 3d e ai video dinamici, la cosa più importante nell'intero flusso di lavoro è la combinazione di tecnologia ai e arte grafica cg.

sulla base di questa aspettativa, ad aprile aiuni ha lanciato per la prima volta una versione beta interna della generazione di modelli 3d e ha emesso codici di invito attraverso alcuni canali. nell'ottobre di quest'anno, la società prevede di lanciare una nuova versione beta pubblica, rivolta agli utenti creatori di ip di animazione dei personaggi.

"un utente potrebbe non aver mai utilizzato strumenti professionali 3d prima, ma potrebbe essere semplicemente un appassionato di giochi o animazioni acgn. attraverso la nostra piattaforma, può anche creare creazioni originali o di contenuti per i suoi personaggi ip preferiti, e sulla piattaforma può esportare animazioni video e diffonderli sulle comunità di creatori e sulle nuove piattaforme multimediali. "hu yating ha affermato che la nuova versione beta pubblica supporterà la generazione di personaggi e animazioni ed è adatta per scene come video orali e video di danza.

in termini di modello di business, il piano di aiuni è quello di lanciare diversi modelli di tariffazione per creatori professionisti e appassionati di ip. gli utenti professionali 3d hanno bisogno di dati originali 3d e la piattaforma può migliorare la loro produttività, quindi avranno una forte disponibilità a pagare; per i creatori di ip di nuovi media, le tariffe dei token vengono addebitate principalmente in base al tempo di generazione e alla precisione del rendering. per altri tipi di utenti, l’economia dei creatori è più diversificata. ad esempio, alcuni utenti desiderano aggiungere modelli vocali personalizzati per i personaggi o utilizzare modelli di stampa 3d per produrre altri derivati ​​​​della proprietà intellettuale. questi sono potenziali punti di pagamento.

hu yating ha affermato che aiuni si orienterà in futuro verso i nuovi scenari mediatici creati dall'ip e lancerà gradualmente più algoritmi multimodali che combinano la tecnologia ai con l'arte cg. gli utenti esteri di aiuniai rappresentano il 70% e la piattaforma funzionerà per i creatori globali. hu yating ha affermato che la modalità 3d/4d è ancora una novità, che i cinesi stanno facendo di più e che l'azienda non ha prodotti concorrenti diretti all'estero.

"la nostra missione è creare una piattaforma ip per l'animazione 4d generata dall'intelligenza artificiale, orientata ai creatori di contenuti digitali di nuovi media. la generazione 3d è il nostro primo passo. abbiamo uno spazio creativo illimitato in questa nuova modalità e crediamo anche nell'aigc combinando i contenuti con dimensionalità darà vitalità infinita alla nuova generazione di creazione di proprietà intellettuale", ha affermato hu yating.

la rivoluzione del paradigma industriale portata dalla tecnologia dell’intelligenza artificiale ha permesso a molti giovani imprenditori come hu yating di realizzare i propri sogni.