2024-08-19
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Technologie de texte/Tencent Zhou Xiaoyan
Laissez-moi vous dire quelque chose de nouveau : dans les courts drames que vous regarderez à l'avenir, du devant jusqu'aux coulisses, il n'y aura peut-être pas de « personnes » dedans.
Dans le modèle traditionnel, la chaîne de production d'un court métrage dramatique, du développement du scénario à la production en passant par la distribution, est remplie de « personnes ». Mais maintenant, en raison de l'émergence de l'IA, elle ne nécessite peut-être qu'une seule personne capable de passer la souris. devant l’écran. Le réalisateur peut terminer tous les processus.
Le 19 août, Kunlun Wanwei a lancé SkyReels, la première plate-forme de courts métrages dramatiques IA au monde qui intègre de grands modèles vidéo et de grands modèles 3D. La plateforme SkyReels intègre la génération de scripts, la personnalisation des personnages, les storyboards, l'intrigue, les dialogues/musiques et la synthèse vidéo, permettant aux créateurs de « créer un drame en un seul clic » et de produire facilement des vidéos IA de haute qualité. Le lancement de la plateforme de courts métrages dramatiques IA de Kunlun Wanwei, SkyReels, marque une avancée technologique majeure dans la création mondiale de courts métrages dramatiques IA.
En d'autres termes, il n'est pas nécessaire d'embaucher des acteurs ou de trouver un lieu. Vous pouvez utiliser la puissance de l'IA pour créer une courte pièce en ouvrant SkyReels et en actionnant le clavier.
AI réalise des sketches et commence à entrer dans le « no man's land ».
Aller à l’étranger pour tourner de courtes pièces n’est pas une nouveauté.
En 2022, ReelShort, le produit dramatique court de Chinese Online, a été lancé et, un an plus tard, il s'est classé n°1 sur la liste des divertissements gratuits sur iOS aux États-Unis. Peu de temps après, des étoiles montantes telles que ShortTV et DramaBox ont également continué à produire des courts métrages dramatiques à succès. Leurs thèmes sont principalement les patrons, l'amour et les loups-garous. Le court métrage dramatique à succès de ReelShort "La double vie de mon mari milliardaire" comprend "des héros sauvant des beautés", des "combats de propriété" et d'autres segments.
Ce type de courts métrages dramatiques sont généralement des originaux locaux, c'est-à-dire que les équipes étrangères doivent combiner la culture locale et les intérêts des utilisateurs pour créer des scénarios qui répondent aux goûts esthétiques des utilisateurs locaux. Elles peuvent capturer avec précision les points de l'intrigue qui rendent la population locale « attrayante ».
Le principal problème de ces courtes pièces est qu'elles nécessitent une compréhension et une étude suffisantes de la culture locale, que le cycle de production est long et qu'un certain montant est consacré à la recherche d'acteurs locaux.
En fait, le modèle initial des courts métrages étrangers est très simple et rudimentaire. Ils sous-titrent généralement directement les drames locaux chinois, puis les diffusent localement. Afin de réduire le sentiment de dissonance, certaines équipes étrangères utilisent l'IA pour parler aux acteurs. le modèle a été optimisé pour ressembler à "un acteur avec un visage chinois parlant en anglais", mais certains téléspectateurs le trouvent encore raide, tout comme lorsque nous regardons des films et des séries télévisées européens et américains en Chine, nous voir des acteurs européens et américains aux yeux bleus et aux cheveux verts, c'est comme si des gens parlaient chinois sur un ton étrange, ce qui rend difficile pour le public d'avoir un réel sentiment d'implication.
En conséquence, certaines équipes étrangères utiliseront l'IA pour « changer le visage » des acteurs dans des pièces courtes, afin qu'elles soient mieux acceptées par la population locale.
On peut voir que dans le passé, afin de réaliser un court métrage dramatique populaire, les équipes étrangères inventaient diverses « astuces » et brûlaient beaucoup de ressources cérébrales.
Alors, à l’ère des grands modèles, existe-t-il un produit dramatique court qui puisse briser les différences culturelles, être indépendant des restrictions linguistiques et utiliser l’IA pour résoudre tous les aspects ?
C'était la même année où ReelShort prenait la mer, Kunlun Wanwei en a pris note.AIGCopportunités systématiques. En passant en revue les modèles à succès à l'ère de l'Internet mobile, nous avons constaté que le mot de passe réside dans le modèle « free + To C ». Et si nous observons les entreprises « géantes » qui sont encore bien vivantes, nous constaterons cela. beaucoup d'entre eux le feront. Une certaine espèce a atteint l'ultime. Sur la base de ce jugement, Fang Han, président-directeur général de Kunlun Wanwei, peut suivre cet ensemble de logique pour attaquer le marché de l'AIGC.
Kunlun Wanwei a pensé à « l'IA CGU"Stratégie, commencez par des scénarios à haute fréquence du côté C, comme l'exploration de portraits de licorne en pistes subdivisées telles que des articles en ligne, des pièces de théâtre courtes, des animations, de la musique, etc. Parmi eux, les pièces de théâtre courtes sont également devenues une option importante pour Kunlun Wanwei. Ils espèrent créer une nouvelle espèce qui bouleversera le modèle original de production de courts métrages dramatiques.
La plate-forme de courts métrages dramatiques d'IA SkyReels est également née dans cette logique. Il s'agit d'une plate-forme unique de création de courts métrages dramatiques pilotée par l'IA. De la génération de scripts, de la génération de personnages, de la fusion de plans à la génération finale de courts métrages dramatiques, elle est gérée par l'IA. généré.
Dans l’ensemble, SkyReels fonctionne comme l’agent IA d’un réalisateur, transformant une idée simple en une courte pièce de théâtre.
parSoraAprès l'émergence du modèle de génération vidéo IA représenté par , de nombreux acteurs nationaux et étrangers ont successivement lancé de grands modèles de génération vidéo, tels que Pixverse,Rapide et facile, Zhiying Qingyuan, et il existe également un certain nombre de réalisateurs émergents qui utilisent ces grands modèles pour produire des œuvres cinématographiques et télévisuelles. Bien que l'utilisation de ces modèles puisse obtenir de bons effets de génération vidéo, si vous souhaitez réaliser un film mature, il existe toujours certaines exigences quant aux capacités professionnelles de l'utilisateur. Ils doivent avoir des capacités d'écriture de scénario et des capacités esthétiques artistiques élevées.
Par exemple, les utilisateurs doivent composer le plan à l'avance, imaginer le plan souhaité, puis utiliser des invites contenant des termes professionnels pourÀ mi-parcoursAprès avoir débogué une image satisfaisante sur le produit, importez-la dans le produit de génération vidéo pour effectuer les réglages de l'objectif, et enfin exportez le travail.
Même si ces outils ont également considérablement raccourci la chaîne de production des œuvres cinématographiques et télévisuelles, ils sont davantage orientés versPUGCLes groupes et SkyReels ont un seuil d'utilisation plus bas. L'ensemble du processus de fonctionnement est simple et intelligent. Entrez une idée et le reste peut être laissé à l'IA.En comparaison, SkyReels, en tant que première plate-forme mondiale de courts métrages dramatiques IA, est un produit UGC avec un public plus large.
(Démonstration du produit SkyReels)
SkyReels est la première plateforme de création vidéo au monde qui mélange moteurs 3D et IA générative. Le processus d'utilisation est également très simple. Après avoir choisi de créer un court métrage, entrez vos idées créatives et choisissez le style vidéo que vous souhaitez, comme le style anime, le réalisme. , et style Ghibli Attendez, vous pouvez générer un script en un seul clic. Le système générera automatiquement des personnages en fonction des besoins du script et de l'histoire. Ensuite, l'utilisateur pourra visualiser le script de storyboard généré automatiquement, le convertir en vidéo en un seul clic et convertir automatiquement le contenu en vidéo.1080P 60 imagesVidéo HD ;La durée de la vidéo peut être générée jusqu'à 180 secondes à la fois, par rapport à Sora, qui peut générer une vidéo de 60 secondes à la fois, et à Keling, qui peut générer une vidéo de 10 secondes à la fois, une avancée significative.
Dans l'ensemble, la chaîne de production complète d'un court drame couvre la génération du scénario, la personnalisation des personnages, la génération du storyboard, le tournage des épisodes et la post-production, et SkyReels peut améliorer l'efficacité de cette chaîne de production avec trois grands modèles auto-développés.
Dans le processus de développement de contenu, la méthode traditionnelle de production de courts métrages dramatiques,Il sélectionne certains chapitres de romans en ligne prêts à l'emploi, puis les adapte en fonction des caractéristiques du court métrage dramatique. Le scénariste doit être capable de combiner les intérêts du public et de définir intelligemment les tournants de l'intrigue, de manière à augmenter. la volonté de l'utilisateur de payer pour le chapitre suivant.
SkyReels utilise de grands modèles de scripts auto-développés dans ce lienSkyScript, remplaçant le développement manuel du contenu des courtes pièces traditionnelles. Kunlun Wanwei a d'abord construit SkyScript-100M, un ensemble de données structurées de courts métrages de haute qualité de 100 millions de niveaux. Cet ensemble de données contient des annotations de haute qualité pour le rythme de l'intrigue, les points passionnants et les changements émotionnels d'un grand nombre de merveilleux courts métrages ; en outre, l'équipe d'algorithmes a conçu le cadre de génération de scripts généré progressivement permet au modèle de produire des scripts hautement structurés et passionnants. Les scénaristes débutants et expérimentés peuvent créer des scripts de jeu courts attrayants grâce à ce modèle.
Après avoir créé une histoire émouvante, l'étape suivante consiste à convertir ces histoires en scénarios de tournage. Dans le modèle de production traditionnel, ce lien nécessite d'inviter des acteurs et de mettre en place des scènes hors ligne. Le réalisateur doit communiquer avec les acteurs sur l'essentiel avant le tournage. implique de la main d’œuvre et des coûts fixes. Mais ceux-ci peuvent tous être remplacés par de grands modèles d'IA. SkyReels utilise Kunlun Wanwei dans ce lien.Grand modèle de storyboard auto-développé StoryboardGen,Ce modèle effectue un traitement inverse des données d'animation cinématographique et télévisuelle pour obtenir un ensemble de données de storyboard de qualité industrielle de haute qualité, et conçoit un cadre multi-agent de storyboard pour obtenir une génération de scènes, de plans, de personnages et d'actions de haute qualité. En termes d'effets de génération d'images, Kunlun Wanwei utilise le modèle DiT-Moe auto-développé pour améliorer la qualité de l'image.
Tout comme dans le processus de tournage formel, les plans doivent être intégrés de manière organique pour obtenir un système d'histoire complet.SkyReels utilise WorldEngine, qui est la première plate-forme innovante du secteur qui intègre profondément les moteurs IA 3D et les grands modèles vidéo pour réaliser la génération 3D, la génération vidéo et la création hybride 3D et vidéo.。
La plateforme d'innovation WorldEngine se compose de plusieurs sous-liens, chacun utilisant un modèle différent.
Dans le module de génération 3D,Le grand modèle Sky3DGen auto-développé est utilisé, qui peut générer une variété d'éléments et de scènes 3D, des paysages naturels aux villes futures, des objets statiques aux personnages dynamiques, et fournit des capacités d'interaction de scène 3D en temps réel afin que les utilisateurs puissent visualiser instantanément. Ajustez et modifiez les effets pour accélérer le processus de création. Avec le support de WorldEngine, les utilisateurs peuvent créer un studio virtuel 3D pour vivre une expérience de prise de vue virtuelle.
(Génération intelligente de scènes 3D)
Dans le module de création hybride 3D et vidéo, Kunlun Wanwei utilise la technologie de fusion de couches comme noyau pour créer un modèle de création hybride 3D et vidéo. N'importe quel élément de la vidéo peut être librement choisi pour être généré à l'aide d'un moteur d'IA 3D ou d'un grand modèle vidéo. De plus, Kunlun Wanwei a entraîné séparément le modèle de génération de fusion pour les détails des différences d'éclairage et de style rencontrés lors du mixage, afin que la vidéo après la fusion des couches présente une meilleure cohérence.
(Mélangé pour générer de la vidéo)
Grâce à l'utilisation du moteur, WorldEngine a réalisé une réduction des coûts par rapport à la génération vidéo traditionnelle, et en même temps, la vitesse de génération a également augmenté de plusieurs ordres de grandeur.
Bien qu'une courte vidéo ait été essentiellement générée ici, les personnes qui regardent souvent des drames auront également le sentiment que de bonnes compétences en ligne et la présentation de l'intrigue par BGM ont pour effet d'obtenir le double du résultat avec la moitié de l'effort.
En termes de lignes, la technologie de compréhension de texte IA de SkyReels, après un apprentissage approfondi de dizaines de milliers de romans, peut identifier automatiquement les dialogues des personnages et les expressions émotionnelles du texte, et prédire des pauses raisonnables entre les phrases. En termes de narration, SkyReels utilise la technologie de synthèse vocale émotionnelle pour aider la narration à utiliser des rythmes de hauts et de bas afin de rendre le dialogue des personnages plein d'émotions riches.
Kunlun Wanwei a révélé que l'agent intelligent de SkyReels peut non seulement comprendre le texte, mais également analyser intelligemment l'atmosphère de la scène dans le script. « Sur la base de capacités avancées de récupération multimodale et de génération de musique de fond (BGM), nous pouvons faire correspondre l'intelligence vidéo avec un arrière-plan raisonnable. la musique rend chaque image parfaitement mélangée à la musique.
SkyReels, la plateforme de courts métrages dramatiques d'IA de Kunlun Wanwei, est un outil révolutionnaire qui devrait apporter une croissance explosive du contenu généré par les utilisateurs (UGC) et du contenu professionnel généré par les utilisateurs (PUGC), injectant une vitalité sans précédent dans l'écologie du contenu dramatique court Promouvoir. la croissance encore plus rapide de la création de contenus dramatiques courts et du marché de consommation. Une ère de création et de consommation de courts métrages dramatiques pilotée par la technologie de l’IA arrive.
Le rapport de recherche de Guohai Securities mentionne que l'IA devrait augmenter la capacité de production de courtes dramatiques et réduire les coûts. Selon les prévisions prudentes, l'espace de marché pour les courtes dramatiques étrangères s'élèverait à environ 36 milliards de dollars américains.
SkyReels est un exemple de la stratégie de mise en page à l'étranger de Kunlun Wanwei, derrière laquelle se cache leur réflexion stratégique All in AIGC.
En 2020, le fondateur de Kunlun Wanwei, Zhou Yahui, a vu le potentiel de l'AIGC et a prédit que le système d'IA inaugurerait un âge d'or du nouveau contenu.
Fang Han, président-directeur général de Kunlun Wanwei, a passé en revue les opportunités offertes par l'ère de l'Internet mobile, a résumé les règles des produits de contenu populaires et a constaté que la plupart d'entre eux sont des modèles « gratuits + To C », car la base du groupe est suffisamment grande, à condition que le produit peut toucher les utilisateurs En identifiant les points de demande, nous pouvons atteindre une croissance exponentielle du nombre d'utilisateurs. Construire une plate-forme « AI UGC » est devenue la stratégie principale de Kunlun Worldwide, qui consiste à fournir des services à 1 % des créateurs de contenu et à permettre à 99 % des utilisateurs de le faire. consommer du contenu.
Alors, quelles sont les images des produits qui sont devenus populaires à l’ère AIGC ?
Fang Han estime que lorsque de nouveaux matériels côté terminal et de nouveaux téléphones mobiles adaptés à l'IA seront nés, l'AIGC pourrait obtenir des résultats perturbateurs, mais ce processus prendra encore 3 à 5 ans, et la tâche principale actuelle est d'identifier les opportunités et de faire des prédictions. profitez de l’AIGC.
Selon les règles de l’ère de l’Internet mobile, chaque pays peut avoir sa propre super application, ou une super application peut diviser le territoire de plusieurs pays en même temps. Après réflexion, Fang Han a estimé qu'il devrait d'abord occuper les pays où les coûts d'utilisation et l'acceptation sont élevés, comme l'Europe, les États-Unis, le Japon, la Corée du Sud et la Chine, puis s'étendre progressivement au Moyen-Orient, en Asie du Sud-Est et en Amérique du Sud. et d'autres régions.
Après avoir délimité les pays, la direction de Kunlun Wanwei a commencé à réfléchir aux catégories verticales qui pourraient donner naissance à des super applications. Ils n'ont cessé de se demander : « Comment pouvons-nous devenir un géant ? Les géants du contenu qui étaient encore en vie à l'époque précédente sont fondamentalement profondément ancrés. impliqués dans une certaine industrie verticale du divertissement, telles que les articles en ligne, les courtes pièces de théâtre et les animations, la même logique se répétera sur AIGC.
À l'heure actuelle, Kunlun Wanwei a réalisé une mise en page systématique en Chine en réponse à la stratégie « AI UGC » et a construit une matrice de produits dans les grands modèles, la recherche IA, la musique IA et d'autres secteurs.
Parmi eux, le grand modèle de Kunlun Wanwei a connu de nombreuses itérations :
Nouvelle version lancée en févrierMinistère de l'ÉducationLe grand modèle de langage « Tiangong 2.0 » et la nouvelle version de l'application « Tiangong AI Intelligent Assistant » ;
En avril, le modèle de base « Tiangong 3.0 » et le modèle musical « Tiangong SkyMusic » ont été officiellement lancés pour des tests publics ;
En juin, Kunlun Wanwei a ouvert le grand modèle Skywork-MoE de 200 milliards de dollars, qui fait partie de « Tiangong 3.0 ».OpenAIEn prétendant bloquer le trafic API en provenance de pays et de régions non pris en charge, Tiangong Open Platform a lancé un « plan de relocalisation en un clic » pour les utilisateurs de l'API OpenAl et a fourni des ressources d'appel API de 150 millions de jetons, dont Tiangong 2.0 et le modèle Tiangong 3.0.
Tout en itérant de grands modèles, la recherche par IA est également devenue l'objectif principal de Fang Han. Kunlun Wanwei a présenté la recherche par IA un an plus tôt que SearchGPT d'OpenAI et a mis à niveau le produit de recherche cette année pour prendre en charge la recherche de texte, d'images, de vidéos, etc. peut présenter les résultats sous forme de cartes mentales, de tableaux, de plans, etc., et peut enregistrer des plans et des cartes mentales pour générer directement des PPT.
En plus du niveau produit, Kunlun Wanweiya s'est associé à des universités internationales pour développer la boîte à outils open source de R&D pour agents numériques AgentStudio afin de fournir aux chercheurs et aux développeurs une plate-forme complète couvrant l'ensemble du processus de développement des agents.
Qu'il soit national ou étranger, chaque système linguistique a besoin de son propre ensemble de produits. Kunlun Wanwei estime que la période de dividende mondial de la plateforme AIGC est sur le point d'arriver.
Collectez et organisez les dernières informations d'actualité et rendez-les gratuites pour que tout le monde puisse les consulter.
