noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Texto/Tecnología Tencent Zhou Xiaoyan

Déjame decirte algo nuevo: en los dramas cortos que veas en el futuro, desde el frente hasta el backstage, es posible que no haya "personas" en ellos.

En el modelo tradicional, la cadena de producción de un drama corto, desde el desarrollo del guión, la producción hasta la distribución, está llena de "personas". Pero ahora, debido a la aparición de la IA, es posible que solo requiera una persona que pueda mover el mouse. frente a la pantalla. El director puede completar todos los procesos.

El 19 de agosto, Kunlun Wanwei lanzó SkyReels, la primera plataforma de dramas cortos de IA del mundo que integra modelos grandes de video y modelos grandes 3D. La plataforma SkyReels integra generación de guiones, personalización de personajes, guiones gráficos, trama, diálogo/BGM y síntesis de vídeo, lo que permite a los creadores "hacer un drama con un solo clic" y producir fácilmente vídeos de IA de alta calidad. El lanzamiento de la plataforma de dramas cortos con IA Kunlun Wanwei, SkyReels, marca un importante salto tecnológico en la creación global de dramas cortos con IA.

En otras palabras, no es necesario contratar actores ni encontrar un lugar. Puedes usar el poder de la IA para crear una obra corta abriendo SkyReels y operando el teclado.

La IA realiza parodias y comienza a adentrarse en la "tierra de nadie".

La ambición de Kunlun Wanwei en el drama corto de IA: crear una nueva especie que subvierta el modelo de producción original

Ir al extranjero para hacer obras cortas no es algo nuevo.

En 2022, se lanzó el producto de dramas cortos de Chinese Online, ReelShort, y un año después ocupó el puesto número 1 en la lista de entretenimiento gratuito de iOS de EE. UU. Poco después, estrellas en ascenso como ShortTV y DramaBox también continuaron produciendo dramas cortos de éxito. Sus temas son principalmente jefes, amor y hombres lobo. El exitoso drama corto de ReelShort "La doble vida de mi marido multimillonario" incluye "héroes salvando bellezas", "peleas de propiedad" y otros segmentos.

Este tipo de dramas cortos suelen ser originales locales, es decir, los equipos extranjeros necesitan combinar la cultura local y los intereses de los usuarios para crear guiones que satisfagan los gustos estéticos de los usuarios locales y puedan capturar con precisión los puntos de la trama que hacen que la gente local sea "atractiva".

El problema central de estas obras cortas es que requieren suficiente comprensión y estudio de la cultura local, el ciclo de producción es largo y se gasta una cierta cantidad de costos en encontrar actores locales.

De hecho, el modelo inicial de drama corto en el extranjero es muy simple y tosco. Por lo general, subtitulan directamente los dramas locales chinos y luego los transmiten localmente. Para reducir la sensación de disonancia, algunos equipos extranjeros utilizarán IA para hablar con los actores. El modelo de dramas cortos se ha optimizado para que parezca "un actor con cara china hablando en inglés", pero algunos espectadores todavía lo encuentran rígido, al igual que cuando vemos películas y series de televisión europeas y estadounidenses en China. Ver actores europeos y americanos con ojos azules y cabello verde es como si la gente hablara chino en un tono extraño, lo que dificulta que el público tenga una sensación real de participación.

Como resultado, algunos equipos extranjeros utilizarán la IA para "cambiar las caras" de los actores en obras cortas, para que puedan ser más aceptados por los locales.

Se puede ver que en el pasado, para hacer un drama corto popular, los equipos extranjeros ideaban varios "trucos" y quemaban una gran cantidad de CPU cerebral.

Entonces, en la era de los grandes modelos, ¿existe un producto dramático corto que pueda romper las diferencias culturales, ser independiente de las restricciones de idioma y utilizar la inteligencia artificial para resolver todos los aspectos?

Resultó ser el mismo año en que ReelShort se hizo a la mar, Kunlun Wanwei se dio cuenta.GCIAoportunidades sistemáticas Al revisar los modelos exitosos en la era de Internet móvil, descubrimos que la contraseña está en el modelo "gratis + To C" y si observamos las empresas "gigantes" que todavía están vivas y coleando, encontraremos que. muchos de ellos lo harán. Una determinada especie ha alcanzado lo último. Con base en este juicio, Fang Han, presidente y director ejecutivo de Kunlun Wanwei, puede seguir este conjunto de lógica para atacar el mercado AIGC.

Kunlun Wanwei pensó en "IA Contenido generado por el usuario"Estrategia, comience con escenarios de alta frecuencia en el lado C, como explorar retratos de unicornios en pistas subdivididas, como artículos en línea, obras de teatro cortas, animación, música, etc. Entre ellas, las obras de teatro cortas también se han convertido en una opción importante para Kunlun Wanwei. Los ejecutivos esperan crear una nueva especie que subvierta el modelo original de producción de dramas cortos.

La plataforma de dramas cortos de IA SkyReels también nació bajo esta lógica. Es una plataforma integral de creación de videos de dramas cortos impulsada por IA, desde la generación de guiones, la generación de personajes, la fusión de tomas hasta la generación de dramas cortos finales, está a cargo de la IA. generado.

En general, SkyReels funciona como el agente de inteligencia artificial de un director, convirtiendo una idea simple en una obra corta.

Agente de principio a fin

porSoraDespués del surgimiento del modelo de generación de video AI representado por, muchos jugadores nacionales y extranjeros han lanzado sucesivamente grandes modelos de generación de video, como Pixverse,Rápido y fácil, Zhiying Qingyuan, y también hay varios directores emergentes que utilizan estos grandes modelos para producir obras de cine y televisión. Aunque el uso de estos modelos puede lograr buenos efectos de generación de video, si desea hacer una película para adultos, todavía existen ciertos requisitos para las habilidades profesionales del usuario: deben tener altas capacidades de escritura de guiones y habilidades estéticas artísticas.

Por ejemplo, los usuarios deben componer la toma con anticipación, imaginar la toma deseada y luego usar indicaciones que contengan términos profesionales paraA mitad de caminoDespués de depurar una imagen satisfactoria en el producto, impórtela al producto de generación de video para realizar ajustes de lente y finalmente exporte el trabajo.

Aunque estas herramientas también han acortado mucho la cadena de producción de obras cinematográficas y televisivas, están más orientadas aPUGCGroups y SkyReels tienen un umbral de uso más bajo. Todo el proceso operativo es simple e inteligente. Ingrese una idea y el resto se puede dejar en manos de la IA.En comparación, SkyReels, como la primera plataforma de dramas cortos de IA del mundo, es un producto UGC con una audiencia más amplia.

(Demostración del producto SkyReels)

SkyReels es la primera plataforma de creación de videos del mundo que combina motores 3D e IA generativa. El proceso de uso también es muy simple. Después de elegir crear un cortometraje, ingrese sus ideas creativas y elija el estilo de video que desee, como estilo anime o realismo. y estilo Ghibli. Espera, puedes generar un script con un solo clic. El sistema generará automáticamente personajes de acuerdo con las necesidades del guión y la historia. Luego, el usuario puede ver el guión del guión gráfico generado automáticamente, convertirlo en un video con un clic y convertir automáticamente el contenido en.1080P 60 fotogramasvídeo de alta definición;La duración del vídeo se puede generar hasta 180 segundos a la vez., en comparación con Sora, que puede generar un video de 60 segundos a la vez, y Keling, que puede generar un video de 10 segundos a la vez, es un avance significativo.

En general, la cadena de producción completa de un drama corto cubre la generación de guiones, la personalización de personajes, la generación de guiones gráficos, el rodaje y la posproducción de episodios, y SkyReels puede mejorar la eficiencia de esta cadena de producción con tres grandes modelos de desarrollo propio.

En el proceso de desarrollo de contenidos, el método tradicional de producción de dramas cortos,Selecciona algunos capítulos de novelas en línea ya preparadas y luego los adapta de acuerdo con las características del drama corto. El guionista debe poder combinar los intereses de la audiencia y establecer inteligentemente los puntos de inflexión de la trama para aumentar. la disposición del usuario a pagar por el siguiente capítulo.

SkyReels utiliza modelos grandes de script de desarrollo propio en este enlaceEscritura del cielo, sustituyendo el desarrollo manual de contenidos de las tradicionales obras cortas. Kunlun Wanwei construyó por primera vez SkyScript-100M, un conjunto de datos estructurados de dramas cortos de alta calidad de 100 millones de niveles. Este conjunto de datos tiene anotaciones de alta calidad para el ritmo de la trama, puntos emocionantes y cambios emocionales de una gran cantidad de dramas cortos maravillosos; Además, el equipo de algoritmos diseñó el marco de generación de guiones generado progresivamente permite que el modelo genere guiones altamente estructurados y emocionantes. Tanto los guionistas novatos como los experimentados pueden crear guiones atractivos de obras cortas a través de este modelo.

Después de tener una historia conmovedora, el siguiente paso es convertir estas historias en guiones filmados. En el modelo de producción tradicional, este vínculo requiere invitar a los actores y configurar escenas fuera de línea. El director necesita comunicarse con los actores sobre lo esencial antes de filmar. Implica mano de obra y costes fijos. Pero todos estos pueden ser reemplazados por grandes modelos de IA. SkyReels usa Kunlun Wanwei en este enlace.Modelo de guión gráfico grande de desarrollo propio StoryboardGen,Este modelo procesa de forma inversa los datos de animación de películas y televisión para obtener un conjunto de datos de guiones gráficos de grado industrial de alta calidad y diseña un marco de guiones gráficos de múltiples agentes para lograr una generación de escenas, tomas, personajes y acciones de alta calidad. En términos de efectos de generación de imágenes, Kunlun Wanwei utiliza el modelo DiT-Moe de desarrollo propio para mejorar la calidad de la imagen.

Al igual que en el proceso de rodaje formal, las tomas deben integrarse orgánicamente para obtener un sistema narrativo completo.SkyReels utiliza WorldEngine, que es la primera plataforma innovadora de la industria que integra profundamente motores 3D de IA y grandes modelos de video para lograr generación 3D, generación de video y creación híbrida de video y 3D.。

La plataforma de innovación WorldEngine consta de múltiples subenlaces, cada uno de los cuales utiliza un modelo diferente.

En el módulo de generación 3D,Se utiliza el modelo grande Sky3DGen de desarrollo propio, que puede generar una variedad de elementos y escenas 3D, desde paisajes naturales hasta ciudades futuras, desde objetos estáticos hasta personajes dinámicos, y proporciona capacidades de interacción de escenas 3D en tiempo real para que los usuarios puedan ver instantáneamente. Ajuste y edite efectos para acelerar el proceso creativo. Con el apoyo de WorldEngine, los usuarios pueden crear un estudio virtual 3D para lograr una experiencia de disparo virtual.

(Generación inteligente de escenas 3D)

En el módulo de creación híbrida de video y 3D, Kunlun Wanwei utiliza la tecnología de fusión de capas como núcleo para crear un modelo de creación híbrida de video y 3D. Cualquier elemento del vídeo se puede elegir libremente para generarlo utilizando un motor de IA 3D o un modelo de vídeo de gran tamaño. Además, Kunlun Wanwei entrenó por separado el modelo de generación de fusión para los detalles de iluminación y diferencias de estilo encontradas en la mezcla, de modo que el video después de la fusión de capas presente una mejor consistencia.

(Mezclado para generar video)

Gracias al uso del motor, WorldEngine ha logrado una reducción de costos en comparación con la generación de video tradicional y, al mismo tiempo, la velocidad de generación también ha aumentado en varios órdenes de magnitud.

Aunque aquí básicamente se ha generado un video corto, las personas que ven dramas con frecuencia también sentirán que las buenas habilidades de línea y la presentación de la trama por parte de BGM tienen el efecto de obtener el doble de resultado con la mitad del esfuerzo.

En términos de líneas, la tecnología de comprensión de textos mediante IA de SkyReels, después de un aprendizaje profundo de decenas de miles de novelas, puede identificar automáticamente el diálogo de los personajes y las expresiones emocionales del texto, y predecir pausas razonables entre oraciones. En términos de narración, SkyReels utiliza tecnología de síntesis de voz emocional para ayudar a la narración a utilizar ritmos de altibajos para hacer que el diálogo del personaje esté lleno de ricas emociones.

Kunlun Wanwei reveló que el agente inteligente de SkyReels no solo puede comprender el texto, sino también analizar de manera inteligente la atmósfera de la escena en el guión. “Basado en capacidades avanzadas de recuperación multimodal y generación de música de fondo (BGM), podemos combinar la inteligencia de video con un fondo razonable. La música hace que cada fotograma se mezcle perfectamente con la música”.

SkyReels, la plataforma de dramas cortos de IA de Kunlun Wanwei, es una herramienta revolucionaria que se espera que genere un crecimiento explosivo del contenido generado por el usuario (UGC) de dramas cortos de AI y del contenido generado por usuarios profesionales (PUGC), inyectando una vitalidad sin precedentes en la ecología del contenido de dramas cortos. el rápido crecimiento de la creación de contenidos dramáticos cortos y del mercado de consumo. Se acerca una era de creación y consumo de dramas cortos impulsados ​​por la tecnología de inteligencia artificial.

Diseño global de Kunlun Wanwei AI UGC

El informe de investigación de Guohai Securities mencionó que se espera que la IA aumente la capacidad de producción de dramas cortos y reduzca los costos. Se pronostica conservadoramente que el espacio de mercado para los dramas cortos extranjeros será de aproximadamente 36 mil millones de dólares.

SkyReels es un epítome de la estrategia de diseño en el extranjero de Kunlun Wanwei, detrás de la cual se encuentra su pensamiento estratégico All in AIGC.

En 2020, el fundador de Kunlun Wanwei, Zhou Yahui, vio el potencial de AIGC y predijo que el sistema de inteligencia artificial marcaría el comienzo de una era dorada de contenido nuevo.

El presidente y director ejecutivo de Kunlun Wanwei, Fang Han, revisó las oportunidades en la era de Internet móvil, resumió las reglas de los productos de contenido populares y descubrió que la mayoría de ellos son el modelo "gratis + To C", porque la base del grupo es lo suficientemente grande, siempre que el producto puede llegar a los usuarios Al identificar los puntos de demanda, podemos lograr un crecimiento exponencial de usuarios. La construcción de una plataforma "AI UGC" se ha convertido en la estrategia central de Kunlun Worldwide, que es brindar servicios al 1% de los creadores de contenido y permitir que el 99% de los usuarios. consumir contenido.

Entonces, ¿cuáles son las imágenes de los productos que se hicieron populares en la era AIGC?

Fang Han cree que cuando nazcan nuevos hardware de terminal y nuevos teléfonos móviles adaptados a la IA, AIGC puede lograr resultados disruptivos, pero este proceso aún llevará de 3 a 5 años y la tarea principal actual es identificar oportunidades y hacer predicciones. Aprovecha AIGC.

De acuerdo con las reglas de la era de Internet móvil, cada país puede tener su propia súper aplicación, o una súper aplicación puede dividir el territorio en varios países al mismo tiempo. Después de pensarlo un poco, Fang Han creyó que primero debería ocupar países con alto rendimiento y aceptación de costos para el usuario, como Europa, Estados Unidos, Japón, Corea del Sur y China, y luego extenderse gradualmente a Medio Oriente, Sudeste Asiático y América del Sur. y otras regiones.

Después de delinear los países, la gerencia de Kunlun Wanwei comenzó a pensar en categorías verticales que podrían dar origen a súper aplicaciones. Seguían preguntándose: "¿Cómo podemos convertirnos en un gigante del contenido que todavía está vivo en la era anterior?" involucrados en una determinada industria del entretenimiento vertical, como artículos en línea, obras cortas y animaciones, la misma lógica se repetirá en AIGC.

En la actualidad, Kunlun Wanwei ha llevado a cabo un diseño sistemático en China en respuesta a la estrategia "AI UGC" y ha creado una matriz de productos en modelos grandes, búsqueda de IA, música de IA y otros sectores.

Entre ellos, el gran modelo de Kunlun Wanwei ha pasado por muchas iteraciones:

Nueva versión lanzada en febrero.Ministerio de EducaciónEl modelo de lenguaje grande "Tiangong 2.0" y la nueva versión de la APLICACIÓN "Tiangong AI Intelligent Assistant";

En abril, el modelo base "Tiangong 3.0" y el modelo musical "Tiangong SkyMusic" se lanzaron oficialmente para pruebas públicas;

En junio, Kunlun Wanwei abrió el modelo grande y disperso Skywork-MoE de 200 mil millones, que forma parte de "Tiangong 3.0".IA abiertaAl afirmar que bloqueaba el tráfico API de países y regiones no admitidos, Tiangong Open Platform lanzó un "plan de reubicación con un solo clic" para los usuarios de API OpenAl y proporcionó recursos de llamadas API de 150 millones de tokens, incluidos Tiangong 2.0 y el modelo Tiangong 3.0.

Al iterar modelos grandes, la búsqueda de IA también ha entrado en el enfoque clave de Fang Han. Kunlun Wanwei presentó la búsqueda de IA un año antes que SearchGPT de OpenAI y actualizó el producto de búsqueda este año para admitir la búsqueda de texto, imágenes, videos, etc. puede presentar resultados en forma de mapas mentales, tablas, esquemas, etc., y puede guardar esquemas y mapas mentales para generar PPT directamente.

Además del nivel de producto, Kunlun Wanweiya se ha asociado con universidades internacionales para desarrollar el kit de herramientas de investigación y desarrollo de agentes digitales de código abierto AgentStudio para proporcionar a investigadores y desarrolladores una plataforma integral que cubra el proceso completo de desarrollo de agentes.

Ya sea nacional o extranjero, cada sistema lingüístico necesita su propio conjunto de productos. Kunlun Wanwei cree que el período de dividendo global de la plataforma AIGC está por llegar.