nouvelles

des étudiantes de l'université de pékin d'après 2000 créent une plateforme d'animation 4d générée par l'ia

2024-09-18

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

nom complet de l'entreprise : beijing yunke technology co., ltd.

tours de financement : angel + tour

produits/services : aiuni – plateforme d'animation 4d générée par l'ia

fondateur : hu yating (25e numéro d'entrepreneurship star camp)

année de naissance : 2000

formation : département d'informatique, université de pékin

auteur |

editeur : liu hengtao

source de l'image | fourni par aiuni

hu yating, né dans les années 2000, a choisi de créer une entreprise après avoir obtenu son diplôme universitaire. hu yating a une belle apparence et des vêtements à la mode, ce qui rafraîchit complètement notre imagination de l'image d'un entrepreneur.

hu yating, diplômée du département d'informatique de l'université de pékin, a travaillé pour google, alibaba et bytedance en tant qu'ingénieur en algorithme. elle a également participé à l'olympiade d'informatique et a remporté la médaille d'or nationale et le prix de la meilleure athlète féminine. au cours de son stage dans une grande usine, elle a constaté que le trafic internet avait atteint son apogée, mais que la 3d représentait une augmentation de la dimensionnalité du contenu, elle a donc décidé de démarrer une entreprise après avoir obtenu son diplôme universitaire.

aiuni, fondée par hu yating, est une plate-forme ip pour les animations 4d générées par l'ia. en juin de cette année, le modèle 3d généré par aiuniai, unique3d, était open source sur github, huggingface et d'autres plates-formes. il est rapidement entré dans le classement des modèles populaires sur huggingface et a été intégré. nommé « modèle le plus populaire ». « générer des modèles 3d à partir des meilleures images » a reçu les éloges de nombreux développeurs.

unique3d est capable de générer des maillages 3d haute fidélité et à textures diverses à partir d'une image à vue unique en 30 secondes environ sur une carte graphique 4090. de nombreux internautes ont partagé les résultats de leur génération sur les réseaux sociaux et ont salué le modèle pour avoir atteint un très haut niveau en termes de fidélité, de cohérence et d'efficacité. en quelques mois seulement, unique3d a atteint des millions de copies générées.

cet été, hu yating a rejoint la 25e phase d'entrepreneurship star camp - le programme d'accélération de pointe des étoiles en ia de star camp.

après l'accélération, elle sera sur la scène de 2024demo china du 19 au 20 de ce mois, montrant ses réflexions sur les produits et les applications commerciales à des investisseurs de renom, des experts de l'industrie et des partenaires industriels dans divers domaines dans un contexte avancé. manière.

cibler le marché de la 3d

en tant que moyen clé de cartographie du monde réel dans le monde internet, la technologie 3d a pénétré divers domaines, du développement de jeux à la conception de produits, en passant par la production de films, le rendu du commerce électronique et la planification architecturale. les scénarios d'application de la technologie 3d couvrent presque tous les domaines. l'ensemble de l'industrie internet.

selon le scénario d'application, le coût de la modélisation 3d varie également. plus le modèle est détaillé, plus le processus de production est lourd, le cycle de production est long et le coût est élevé. le coût de création de chaque modèle 3d en nécessite au moins plusieurs. des milliers, voire des dizaines de milliers de yuans.

actuellement, l’animation, le cinéma, la télévision, les jeux et autres industries du divertissement sont les principaux domaines d’application de la modélisation 3d. dans l'industrie du jeu, avec le développement continu des moteurs 3d, les jeux 3d sont progressivement devenus le courant dominant du marché et la demande de modélisation 3d est extrêmement élevée ; dans l'industrie du cinéma d'animation et de la télévision, utilisant la technologie 3d uniquement pour créer de grandes scènes ; cela nécessite une technologie d'écran vert et des acteurs importants. il peut être complété, ce qui réduit les coûts de personnel du drame.

selon les données publiées par toubao, l'espace du marché chinois de la modélisation 3d atteindra 10,34 milliards de yuans en 2021, et on s'attend à ce que la taille du marché atteigne 19,57 milliards de yuans d'ici 2026. la taille du marché mondial de l’animation 3d en 2021 est estimée à environ 164 milliards de dollars américains, et le marché devrait croître à un taux de croissance annuel composé (tcac) de 11,5 %, pour atteindre environ 310 milliards de dollars américains d’ici 2026.

l'équipe aiuni cible ce marché.

outre hu yating, le partenaire technique de l'entreprise, wu kailu, a rencontré hu yating lorsqu'elle participait à l'olympiade d'informatique. il est diplômé de la classe yao de l'université tsinghua et s'est engagé dans des recherches dans le sens de la génération 3d et du nerf à l'institut d'information interdisciplinaire de. université tsinghua. il a publié de nombreux articles au cours de ses études de premier cycle. l'article propose de manière innovante fsd (text-to-3d flow fractional distillation) et memsr (formation efficace d'un modèle de super-résolution). il a déjà participé à l'équipe nationale de formation de l'olympiade d'informatique et s'est rencontré lors de la compétition. ren jinshan, partenaire opérationnel de l'entreprise, est une ancienne championne des arts libéraux. elle est diplômée de la guanghua school of management de l'université de pékin et titulaire d'une maîtrise en théorie de l'art de l'université de chicago.

aiuni a reçu avec succès trois tours de financement, dont des tours angel+.

créer des modèles verticaux pour former des avantages techniques

au cours du processus de création de produits, hu yating a découvert que, puisque presque toutes les animations et tous les jeux tournent autour de personnages, les plus précieux de tous les types d'actifs 3d sont les personnages. de plus, de nombreux utilisateurs recréent des personnages classiques ou souhaitent réaliser des personnages originaux, et la demande d'originalité est relativement importante. hu yating estime que cette partie est plus appropriée pour être générée avec aigc.

"ces utilisateurs espèrent générer des personnages 3d de manière pratique et bon marché, mais le coût de la modélisation 3d est élevé et, dans la plupart des cas, elle ne peut être utilisée que dans les studios côté b tels que l'animation, le cinéma et la télévision."

lorsque l’ia est utilisée pour abaisser à l’extrême le seuil de la modélisation 3d, les utilisateurs qui n’étaient auparavant pas en mesure de créer du contenu 3d auront la possibilité de créer de nouvelles œuvres 3d de manière indépendante.

"la plupart des contenus vidéo que nous voyons actuellement sont tournés en temps réel. à l'avenir, les contenus d'animation et d'effets spéciaux basés sur des modèles 3d seront transformés en courtes vidéos, et la quantité de vidéo et de créativité sera considérablement augmentée." dit.

par rapport à d’autres images, la génération de personnages est plus difficile. hu yating a déclaré : « parce que les modèles 3d sont des scènes relativement professionnelles, et aiuni se chargera ensuite de la génération de personnages, de la génération d'animations et de la synthèse vidéo pour fournir des services aux créateurs de contenu numérique. comme les os humains et les accessoires vestimentaires, une grande quantité de détails et de données sont nécessaires, et le traitement des données géométriques constitue en même temps un énorme défi, car il doit prendre en charge les poses de modèles standard (c'est-à-dire une pose), le matériau et l'action. les données doivent également être plus détaillées. traitement standardisé.

la solution d'aiuni consiste à atteindre une précision de niveau sota grâce à une architecture d'algorithme innovante. par rapport aux méthodes précédentes telles que l'échantillonnage par distillation de score (sds), aiuni résout les problèmes de génération de modèles qui nécessitent une optimisation à long terme, une mauvaise qualité géométrique et des incohérences. dans le même temps, l'équipe a également optimisé le problème selon lequel la méthode basée sur le modèle de diffusion multi-vues est limitée par l'incohérence locale et la résolution de génération, ce qui rend difficile la production de textures fines et de détails géométriques complexes. a été augmenté de 256 au niveau 2k/8k, répondant aux exigences des utilisateurs en matière de précision et de qualité du modèle.

selon l'article unique3d, cette solution peut produire de meilleurs résultats 3d grâce à un modèle de diffusion multi-vues et un modèle de diffusion normale correspondant, un processus de mise à niveau à plusieurs niveaux et un algorithme de reconstruction de maillage instantané et cohérent isomer. lors d'expériences, le modèle d'aiuni a été comparé à instantmesh, crm et openlrm, et a pu générer des géométries plus précises et des textures détaillées, bien meilleures que les autres modèles.

"unique3d est génératif et généralisable et peut en fait être utilisé dans les moteurs de rendu pour créer du contenu très précieux pour les utilisateurs." hu yating estime que par rapport aux produits concurrents, l'avantage d'unique3d est qu'il peut différencier les graphiques cg et l'ia du rendu 3d. bien combiné.

par rapport aux grands modèles généralisés des grands fabricants, hu yating estime qu'aiuni crée plus de modalités et est plus vertical. « en fait, nous avons des modèles verticaux avec plusieurs modalités différentes, telles que des modèles de définition de caractères, des modèles 3d, des liaisons automatiques ou des actions génératrices. données et rendu de modèles synthétiques, etc., nous les enchaînerons verticalement, et ce n'est pas une question de pure puissance de calcul ou de données, et nécessite une certaine innovation dans l'architecture des algorithmes.

la généralisation des grands modèles vidéo est relativement forte, mais il est difficile de contrôler la cohérence des caractères, la contrôlabilité des actions, les coûts de formation de génération et l'efficacité de l'inférence. en comparaison, aiuni présente de plus grands avantages dans ces aspects.

de la 3d à la 4d pour les créateurs mondiaux de propriété intellectuelle

sur le site aiuni.ai, il existe actuellement deux fonctions en ligne permettant de générer respectivement des mondes 3d et des modèles 3d. hu yating a révélé que les prochaines fonctions lancées par aiuni tourneront autour du mode vidéo animé - génération de personnages 3d, génération d'animations de personnages, remplacement de vidéos réelles par des personnages 3d, synthèse d'animations de personnages en vidéos réelles, etc. c’est également la direction vers laquelle travaille l’équipe aiuni, à savoir le contenu 3d dynamique (c’est-à-dire 4d).

l'équipe aiuni estime que la tendance de développement de la multimodalité aigc va de la génération de modèles 2d à la génération de modèles 3d, et enfin à la génération de contenu 4d. la génération d'images 2d à partir de texte n'est qu'un début. donner des dimensions spatiales aux images 2d crée un modèle 3d, qui constitue également le support de base de l'informatique spatiale future. ils espèrent qu’à l’avenir, cette fonction pourra donner aux modèles 3d une dimension temporelle et devenir un contenu 4d interactif à haute fréquence.

"après avoir généré le modèle de personnage 3d, nous pouvons continuer à l'étendre en 4d, par exemple en modifiant le mouvement du modèle ou en laissant le modèle interagir avec l'utilisateur. nous pouvons également disposer de capacités de rendu vidéo et d'interaction vocale. le modèle peut continuer à créer du contenu dynamique. " hu yating he a déclaré que pour compléter le processus de la parole naturelle aux images, en passant par les modèles 3d et les vidéos dynamiques, la chose la plus importante dans l'ensemble du flux de travail est la combinaison de la technologie de l'ia et de l'art graphique.

sur la base de cette attente, aiuni a lancé pour la première fois une version bêta interne de la génération de modèles 3d en avril et a émis des codes d'invitation via certains canaux. en octobre de cette année, la société prévoit de lancer une nouvelle version bêta publique, destinée aux créateurs et utilisateurs ip d'animation de personnages.

" un utilisateur n'a peut-être jamais utilisé d'outils professionnels 3d auparavant, mais peut être simplement un passionné de jeux ou d'animations acgn. grâce à notre plateforme, il peut également créer des créations originales ou de contenu pour ses personnages ip préférés, et sur la plateforme il peut exporter des animations. vidéos et diffusez-les sur les communautés de créateurs et les nouvelles plateformes médiatiques. "hu yating a déclaré que la nouvelle version bêta publique prendra en charge la génération de personnages et la génération d'animations, et convient aux scènes telles que les vidéos orales et les vidéos de danse.

en termes de modèle commercial, le plan d’aiuni est de lancer différents modèles de facturation pour les créateurs professionnels et les passionnés de propriété intellectuelle. les utilisateurs professionnels de la 3d ont besoin de données originales 3d, et la plateforme peut améliorer leur productivité, ils seront donc fortement disposés à payer ; pour les créateurs de nouveaux médias ip, les frais de jetons sont principalement facturés en fonction du temps de génération et de la précision du rendu. pour d'autres types d'utilisateurs, l'économie des créateurs est plus diversifiée. par exemple, certains utilisateurs souhaitent ajouter des modèles vocaux personnalisés pour les personnages, ou utiliser des modèles d'impression 3d pour produire d'autres dérivés ip. ce sont des points de paiement potentiels.

hu yating a déclaré qu'aiuni s'orienterait à l'avenir vers de nouveaux scénarios médiatiques créés par la propriété intellectuelle et lancerait progressivement davantage d'algorithmes multimodaux combinant la technologie de l'ia avec l'art de la synthèse. les utilisateurs étrangers d’aiuniai représentent 70 % et la plateforme fonctionnera pour les créateurs mondiaux. hu yating a déclaré que la modalité 3d/4d est encore une nouveauté, que les chinois en font davantage et que la société n'a pas de produits concurrents directs à l'étranger.

"notre mission est de créer une plateforme ip pour l'animation 4d générée par l'ia, orientée vers les créateurs de contenu numérique de nouveaux médias. la génération 3d est notre première étape. nous disposons d'un espace créatif illimité dans ce nouveau mode, et nous croyons également en la combinaison de contenu aigc. avec la dimensionnalité donnera une vitalité sans fin à la nouvelle génération de création de propriété intellectuelle", a déclaré hu yating.

la révolution du paradigme industriel provoquée par la technologie de l’ia a permis à de nombreux jeunes entrepreneurs comme hu yating de réaliser leurs rêves.