Kunlun Wanwei lance la première plateforme mondiale de courts métrages dramatiques IA, SkyReels
2024-08-19
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Le 19 août, Kunlun Wanwei a lancé SkyReels, la première plate-forme de courts métrages dramatiques IA au monde qui intègre de grands modèles vidéo et de grands modèles 3D. La plateforme SkyReels intègre la génération de scripts, la personnalisation des personnages, les storyboards, l'intrigue, les dialogues/musiques et la synthèse vidéo, permettant aux créateurs de « créer un drame en un seul clic » et de produire facilement des vidéos IA de haute qualité.
Superproductions fantastiques, sadomasochisme poignant, comédies hilarantes... Entrez simplement une idée simple et SkyReels peut compléter l'ensemble du processus de production, du scénario à la courte pièce terminée.
La plate-forme SkyReels intègre le grand modèle de script SkyScript auto-développé par Kunlun Wanwei, le grand modèle de storyboard auto-développé StoryboardGen, le grand modèle 3D auto-développé Sky3DGen et la première plate-forme innovante du secteur, WorldEngine, qui intègre en profondeur les moteurs 3D IA et les grands modèles vidéo.
SkyReels est en avance sur les grands modèles tels que GPT-4o en termes d'évaluation de la qualité du script, de la qualité du storyboard, des performances des personnages et d'autres dimensions.
SkyReels peut générer des scripts complets, des storyboards, des dialogues de personnages et des BGM en un seul clic via l'IA. Il prend en charge les ajustements personnalisés des images, des sons et des storyboards des personnages, et peut automatiquement convertir le contenu en vidéos haute définition 1080P de 60 images et peut générer. vidéos en une seule fois. La durée atteint 180 secondes, ce qui constitue une avancée significative par rapport à Sora, qui peut générer une vidéo de 60 secondes à la fois, et à Keling, qui peut générer une vidéo de 10 secondes à la fois. Intégrez tous les résultats créatifs en un seul clic, améliorant considérablement l'efficacité de la création vidéo, réduisant les coûts de création et accélérant l'ère « une personne, un drame ».
Dans le même temps, WorldEngine combine la contrôlabilité précise du moteur (telle que la simulation d'éclairage, la simulation physique, l'espace 3D, l'interaction en temps réel, etc.) avec la capacité de génération fantastique des grands modèles vidéo IA, offrant une nouvelle vidéo hybride en ligne. mode de création, permettant à la création vidéo de passer d'une génération floue à une génération plus précise et contrôlable.
Les points forts de SkyReels sont les suivants :
Génération de scripts entièrement automatisée : les utilisateurs saisissent des concepts ou des idées, et l'IA générera un script avec une structure complète et des intrigues riches en un seul clic, et prend en charge l'arrangement et le peaufinage automatiques des scripts existants pour améliorer l'efficacité créative.
Conception d'intrigue de haute qualité : le système génère des intrigues de haute qualité, des conflits dramatiques, des points passionnants et des expressions émotionnelles en analysant un grand nombre d'intrigues de scénario pour garantir la richesse et l'attractivité du scénario.
Génération de storyboard intelligente : en fonction du contenu du script, les images du storyboard et les scripts de texte correspondants sont générés en un seul clic. Les utilisateurs peuvent également ajuster librement les paramètres tels que les storyboards, les angles de caméra et les méthodes de mouvement de la caméra pour garantir la réalisation précise de la créativité.
Dialogue émotionnel/BGM : grâce à la technologie de synthèse vocale émotionnelle, les personnages bénéficient de pauses naturelles entre les phrases, d'expressions émotionnelles et de cadences, et l'IA BGM est automatiquement générée en fonction du contenu vidéo pour intégrer parfaitement l'image et la musique.
Personnalisation personnalisée : prend en charge la génération et la personnalisation intelligentes des images, des timbres et des storyboards des personnages pour répondre aux besoins individuels des créateurs, et offre une variété de choix de styles visuels tels que l'animation, les dessins animés et la 3D en direct pour s'adapter aux préférences et préférences des différents créateurs. Le contenu exprime des besoins.
Cohérence et précision du contenu : assurez la cohérence des personnages et des scènes dans différents storyboards et déduisez automatiquement les performances des personnages en fonction des descriptions de l'histoire pour obtenir une coordination des expressions, des actions et des lignes des personnages afin d'améliorer l'expression de l'histoire.
Génération vidéo efficace : convertissez automatiquement les storyboards en vidéos haute définition continues, fournissant une sortie 1080P 60 images pour garantir une expérience visuelle fluide.
Synthèse de post-production pratique : intégrez tous les résultats créatifs en un seul clic et pouvez rapidement exporter et partager. Il prend en charge le téléchargement dans plusieurs formats pour faciliter la post-édition.
La fonction de génération de scripts IA de SkyReels est basée sur le grand modèle de script SkyScript auto-développé par Kunlun Wanwei. Afin que les scripts générés par l'IA aient l'intrigue à haute densité et passionnante des courts métrages dramatiques, Kunlun Wanwei a d'abord construit un ensemble de données structurées de courts métrages de haute qualité de niveau milliard SkyScript-100M. Cet ensemble de données cible le rythme et l'excitation de l'intrigue. de courts drames massifs. Les points et les changements d'émotion sont annotés avec une haute qualité ;
Deuxièmement, l'équipe d'algorithmes a conçu un cadre de génération de scripts généré progressivement, permettant au modèle de produire des scripts hautement structurés et passionnants. Les auteurs novices et les dramaturges expérimentés peuvent l'utiliser pour stimuler la créativité et créer facilement des scripts de pièces de théâtre courts et attrayants.
Une autre étape importante dans la création de courts métrages dramatiques est la génération de storyboards, le grand modèle de génération de storyboards auto-développé par Kunlun Wanwei, StoryboardGen, fournit la technologie sous-jacente. StoryboardGen est le premier modèle de génération de storyboard de Kunlun Wanwei basé sur l'architecture DiT-MoE (architecture experte hybride mixte basée sur la technologie Diffusion Transformer). Il peut réaliser une génération d'informations de storyboard haute densité et améliorer considérablement les capacités d'expression narrative visuelle.
Après avoir saisi le script, le modèle StoryboardGen décomposera le script en deux parties : la partie globale et la partie principale. La partie globale comprend la description globale du storyboard comme les scènes, les scènes, les compositions, etc. La partie principale comprend la personnalisation. d'images de personnages et de figurines d'action, qui sont finalement collectées dans des agents Storyboard, génèrent des storyboards complets. L'architecture multi-agents spécialisée de StoryboardGen peut garantir efficacement la contrôlabilité et la cohérence des personnages et des scènes, et créer des storyboards de haute qualité de qualité industrielle.
Schéma technique du grand modèle de storyboard Kunlun Wanwei StoryboardGen
Dans le processus final de génération d'images, WorldEngine est la première plate-forme innovante du secteur qui intègre profondément le moteur IA 3D et les grands modèles vidéo. Il s’agit d’une innovation technologique historique. WorldEngine utilise la technologie de fusion de couches comme pont pour créer un mode de création hybride sans précédent de 3D et de vidéo.
Lorsque les utilisateurs utilisent SkyReels pour générer des vidéos IA, ils peuvent librement choisir d'utiliser la génération de moteur IA 3D ou la génération de grands modèles vidéo pour n'importe quel élément. Ce modèle innovant résout les problèmes de « rupture de moule » et d'« anti-gravité » qui surviennent souvent. Les grands modèles vidéo IA actuels. Le phénomène de la loi anti-physique réalise dans la plus grande mesure la fusion parfaite de la précision de la simulation physique et de la créativité fantastique des grands modèles vidéo. Depuis lors, les grands modèles de génération vidéo IA passeront de l'ère du « contrôle flou » à l'ère de la « contrôlabilité précise ».
En termes de moteur d'IA 3D, le grand modèle Sky3DGen auto-développé par Kunlun Wanwei peut générer divers éléments et scènes 3D, des paysages naturels aux villes futures, des objets statiques aux personnages dynamiques, et offre des capacités d'interaction de scènes 3D en temps réel, permettant aux utilisateurs de visualisez instantanément les effets des ajustements et des modifications, accélérant ainsi le processus de création. Avec le support de WorldEngine, les utilisateurs peuvent également créer facilement un studio virtuel 3D pour vivre une expérience onirique de prise de vue virtuelle.
La performance des personnages est l’un des maillons essentiels de la présentation de pièces courtes. Par conséquent, en termes de performances des personnages IA, l'équipe Kunlun SkyReels a spécialement développé le modèle de génération de personnages ActorShow, de sorte que les personnages IA générés par SkyReels aient des capacités de génération contrôlables plus fortes d'expressions buccales et de mouvements corporels, et que la présentation des personnages soit plus naturelle. .
En réponse aux différences d'éclairage, aux différences de style et à d'autres besoins rencontrés lors de la post-synthèse des vidéos, l'équipe Kunlun SkyReels a formé séparément un modèle de génération de fusion spécial, afin que la vidéo après fusion des couches présente une bonne cohérence.
Le lancement de la plateforme de courts métrages dramatiques IA de Kunlun Wanwei, SkyReels, marque un saut technologique dans la création mondiale de courts métrages dramatiques IA. Elle bouleversera complètement le processus de création de contenu vidéo, libérant les créateurs du processus de production fastidieux et complexe et se concentrant sur la réalisation créative et l'expression inspirante. le rêve d'« une personne, un drame » devient une réalité.
La plate-forme de courts métrages dramatiques SkyReels AI fournit non seulement de puissants outils de création pour les créateurs de contenu professionnels, mais abaisse également considérablement le seuil de création de courts métrages dramatiques IA, permettant ainsi aux utilisateurs non professionnels de démarrer facilement. Cet outil révolutionnaire devrait provoquer une croissance explosive du contenu généré par les utilisateurs (UGC) et du contenu professionnel généré par les utilisateurs (PUGC), injecter une vitalité sans précédent dans l'écosystème du contenu des dramatiques courtes et promouvoir le développement des dramatiques courtes. marché de la création et de la consommation de contenu. Une ère de création et de consommation de courts métrages dramatiques pilotée par la technologie de l’IA arrive.
Kunlun Technology s'est toujours engagé à fournir des outils plus intelligents, efficaces et personnalisés aux créateurs de contenu mondiaux grâce à la technologie AIGC avancée. Portée par la stratégie « All in AGI et AIGC », Kunlun Technology s'est toujours engagée à « réaliser une intelligence artificielle générale et à permettre à chacun de mieux se façonner et de s'exprimer » comme sa mission. À l'avenir, Kunlun Wanwei continuera d'innover et de fournir aux utilisateurs des produits et services AIGC de haute qualité grâce à une exploration approfondie du marché mondial.
traduire
recherche
copie
