noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Máquina Corazón Original

Autor: Wu Xin

El 19 de agosto, Kunlun Wanwei lanzó SkyReels, la primera plataforma de dramas cortos de IA del mundo que integra modelos grandes de video y modelos grandes 3D. La plataforma SkyReels integra generación de guiones, personalización de personajes, guiones gráficos, trama, diálogo/BGM y síntesis de vídeo, lo que permite a los creadores crear dramas con un solo clic y producir fácilmente vídeos de IA de alta calidad. Se trata de una obra corta de 2 minutos y medio.

Enlace del vídeo: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

"Deberíamos dejar de lado nuestro pensamiento rígido y resistente y abrazar esta era de la información fragmentada". A principios de diciembre de 2023, el director Huang Jianxin se lamentó en el Salón de Conferencias de la Academia de Cine de Beijing que, en comparación con las películas, el auge de los cortometrajes en pantalla vertical realmente ha formado un gran avance. producción mundial.

Con episodios únicos que duran desde unos pocos minutos hasta más de diez minutos, un gran entretenimiento y tramas trepidantes, los usuarios con frecuencia "disfrutan". En solo tres años (para 2023), el mercado de dramas cortos de China ha alcanzado el nivel anual de películas teatrales. El 70% de la taquilla.

Al mismo tiempo, se han lanzado a nivel mundial una gran cantidad de aplicaciones independientes de dramas cortos. El software chino de dramas cortos en línea ReelShort ha tenido un buen desempeño en las clasificaciones de iOS de EE. UU., superando incluso a TikTok, que ha dominado las clasificaciones durante mucho tiempo, y logró un gran avance.

Los dramas cortos se han convertido en una de las áreas del cine y la televisión de más rápido crecimiento en los últimos años, y también se han convertido en un campo de pruebas para las nuevas tecnologías. La "traducción con un clic" y el "cambio de rostro mediante IA" son comunes. Muchas empresas de redacción en línea también han lanzado grandes modelos de generación de contenido que pueden ayudar a los autores a escribir. Con la ayuda de las capacidades de generación de videos de modelos grandes de IA, el corto tiempo de producción de dramas que solía tomar tres meses ahora solo toma medio mes.

Los videoclips cortos creados por IA pueden recibir millones de visitas una vez publicados, pero la producción de un drama corto con IA de proceso completo todavía enfrenta muchos desafíos. Los creadores necesitan "saltar" repetidamente entre múltiples herramientas de inteligencia artificial como ChatGPT, Midjourney, Runway, Eleven Labs, ComfyUi, Adobe y Cutting, pero los resultados de su trabajo aún son insatisfactorios.

En este contexto, Kunlun Wanwei, una empresa china de tecnología de inteligencia artificial con más de diez años de experiencia en el extranjero, lanzó la primera plataforma de dramas cortos de IA del mundo, SkyReels, una plataforma de dramas cortos de IA que integra modelos grandes de video y modelos grandes 3D. Esta no es sólo la implementación exitosa de modelos nacionales a gran escala en el campo de los dramas cortos, sino que también presagia el advenimiento de la era del "drama de un clic" y "una persona, un drama".

Al mismo tiempo, se espera que esta herramienta revolucionaria genere un crecimiento explosivo del contenido generado por el usuario (UGC) de dramas cortos de IA y del contenido generado por usuarios profesionales (PUGC), y promueva un crecimiento más rápido de la creación y el desarrollo de contenido de dramas cortos. mercado de consumo.

1. Conozca SkyReels, la primera plataforma de dramas cortos con IA del mundo

Demostración de funcionamiento del producto SkyReels

Enlace del vídeo: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Cuando abro la página web de SkyReels, inmediatamente siento que el diseño de "AI Short Drama" es muy diferente al de otras plataformas "AI Creative".

Ambos están impulsados ​​por IA, pero la plataforma "AI Creative" se centra en la generación de imágenes y videos, mientras que SkyReels integra generación de guiones, personalización de personajes, diseño de guiones gráficos, grabación y síntesis de videos, replicando completamente el proceso de industrialización de las obras cortas.

SkyReels integra creatividad de historias, generación de guiones, personalización de personajes, diseño de guiones gráficos, grabación y síntesis de videos, replicando completamente el proceso de industrialización de los dramas cortos.

Lo más importante es tener una buena idea y convertirla en un guión interesante.

Aunque la creación de texto es la zona de confort del modelo de lenguaje grande LLM, la diferencia entre SkyReels es que el modelo grande responsable de la creación de texto ha recibido capacitación profesional y sabe cómo escribir guiones "geniales" y basados ​​en el flujo.

Simplemente ingrese un concepto o idea de historia y haga clic en "Tipo de creación", como drama emocional, y el sistema generará automáticamente un guión que cumpla con los requisitos, con una estructura completa y una trama rica.

Los usuarios también pueden cargar scripts ya preparados y dejar que la IA los ayude a pulirlos y optimizarlos para hacerlos más profesionales y legibles.

El sistema generará automáticamente un guión que cumpla con los requisitos basándose en indicaciones creativas y también resumirá las biografías de los personajes involucrados para prepararse para el diseño de personajes posterior.

Una vez que el guión está listo, el siguiente paso es “buscar actores”. En SkyReels, este paso se llama diseño de personajes.

Por lo general, primero dejaremos que LLM escriba el texto del diseño y luego lo enviaremos a una herramienta gráfica como Midjourney para generar la imagen del personaje. Para añadir voces en off a los personajes, se siguen recurriendo a herramientas de audio como Elevenlabs.

Ahora, simplemente ingrese a la página e ingrese los requisitos correspondientes (incluido el doblaje de personajes), y podrá "generar" el personaje con un solo clic, lo que mejora enormemente la eficiencia de producción.

Simplemente ingrese a la página e ingrese los requisitos correspondientes (incluido el doblaje de personajes), y el personaje se podrá generar con un solo clic.

Antes de comenzar el rodaje, además de buscar actores, el director también necesita crear guiones gráficos.El llamado guión gráfico divide principalmente la historia completa en una serie de imágenes consecutivas, cada imagen representa una escena o acción específica.

Guión gráfico de "El viaje de Chihiro" de Studio Ghibli.

Es muy problemático para un director sin experiencia artística completar el diseño del guión gráfico con la ayuda de un pintor. Ahora, pueden dejar que LLM genere el guión de texto de la toma y luego usar herramientas como Midjourney para dibujar el guión gráfico.

Sin embargo, las desventajas de este método también son obvias: es difícil garantizar la coherencia de los personajes y las escenas. Por ejemplo, en la miniserie de IA de proceso completo "Nuwa" lanzada en el canal AI de CCTV, Nuwa se ve diferente cada vez que aparece, como si hubiera varios Nuwa.

En SkyReels, la IA generará imágenes de guiones gráficos y guiones de texto correspondientes con un solo clic según el contenido del guión. Solo necesita esperar de 1 a 2 minutos para ver el efecto de cada toma. Si no está satisfecho, también puede ajustar el efecto del guión gráfico modificando el texto (como escenas o acciones de los personajes).

Más importante aún, con el apoyo de tecnología de desarrollo propio, las imágenes del guión gráfico no solo son de alta definición y ricas en detalles, sino que los personajes y las escenas pueden mantener coherencia y continuidad en diferentes guiones gráficos.

La IA generará imágenes de guiones gráficos y guiones de texto correspondientes con un solo clic en función del contenido del guión.

Una vez que se diseñan los guiones gráficos y los actores están en su lugar, es hora de pasar a la etapa de “filmación real”.En la actualidad, el mayor obstáculo en el desarrollo del cine y la televisión con IA también está aquí, porque hay muy pocas "cámaras" buenas que se puedan utilizar.

Un enfoque común es utilizar Pika y Runway para generar efectos dinámicos, pero existen muchos inconvenientes. Por ejemplo, la calidad de la imagen es mala, los movimientos del personaje son pequeños o incluso irrazonables (problema al comer fideos) y las escenas son propensas a tener inconsistencias. A veces el vehículo se mueve pero las ruedas no giran y el agua está parada. la superficie del agua en movimiento durante el flujo de agua. Las formas de la boca de los personajes no coinciden cuando hablan y sus expresiones son rígidas.

Mediante la combinación de un motor AI 3D y un modelo de video de gran tamaño, SkyReels puede convertir automáticamente guiones gráficos en videos continuos, haciendo que las escenas y los personajes generados sean más vívidos y consistentes. También admite salida de video de 1080P de 60 cuadros, lo que garantiza una experiencia de visualización de dramas.

Además, la duración del vídeo que se puede generar a la vez es de hasta 180 segundos, lo que supone un avance significativo en comparación con Sora, que puede generar un vídeo de 60 segundos a la vez, y Keling, que puede generar un vídeo de 10 segundos. vídeo a la vez.

SkyReels puede convertir automáticamente guiones gráficos en videos continuos.

Finalmente, todos los resultados del proceso se pueden integrar con un clic para generar rápidamente la jugada corta final. La IA también generará y recomendará música de fondo y efectos de sonido adecuados según el tema del guión y escenas específicas, y los usuarios pueden agregarlos con un solo clic.

También se pueden agregar música de fondo y efectos de sonido con un solo clic.

Admite la exportación de videos con un solo clic y se puede publicar en plataformas de redes sociales como Douyin con un solo clic.

Admite compartir diseños de personajes con un solo clic.

2. Detrás del "drama de un clic", hay tres capas de innovación tecnológica

Tres capas de innovación tecnológica, como tres pilares, respaldan el “drama de un clic” de SkyReels:

Modelo grande de guión de desarrollo propio SkyScript, modelo grande de guión gráfico de desarrollo propio StoryboardGen y la primera plataforma innovadora de la industria, WorldEngine, que integra profundamente motores 3D de IA y modelos de video de gran tamaño.

SkyScript, un modelo de guión de gran tamaño, es responsable de dominar el "alma" de la obra corta: el guión.De hecho, no sólo el guión, sino también el modelo de texto respaldan todo el proceso creativo.

Algunos escritores de dramas de microcortos intentaron usar ChatGPT para generar guiones, pero descubrieron que el resultado final carecía de tensión emocional y cambios en la trama, y ​​era solo un montón de texto plano. Kunlun Wanwei ha construido SkyScript-100M, un conjunto de datos estructurados de dramas cortos de alta calidad de 100 millones de niveles. Este conjunto de datos tiene anotaciones de alta calidad para el ritmo de la trama, puntos emocionantes y cambios emocionales de una gran cantidad de dramas cortos maravillosos. y está especialmente diseñado para la creación de guiones.

Diagrama esquemático técnico del modelo grande del script SkyScript

Principio de generación de guiones gráficos del modelo grande de guiones SkyScript.

Por ejemplo, además de aprender los principios básicos y los patrones comunes de creación a partir de datos masivos, si quieres convertirte en un éxito, también necesitas descubrir algunas "rutinas" probadas y verdaderas. El público suele tener una clara preferencia por diseños de trama con ritmo rápido, conflictos fuertes, suspenso repetido y múltiples reveses; temas como contraataques para cambiar el destino, esposa dominante, peleas familiares adineradas, viajes en el tiempo y renacimiento, vampiros, hombres lobo, etc. También son temas de los que nunca se cansan.

El popular drama corto de ReelShort "La doble vida de mi marido multimillonario" trata sobre el matrimonio primero y el amor después. El episodio único dura aproximadamente 1 minuto y 30 segundos. Aproximadamente en el episodio 12, los protagonistas masculinos y femeninos completaron rápidamente el calentamiento de la relación. arriba en la intensa intersección de la trama, y ​​cubierto Contiene tramas como un papel secundario femenino vicioso, un matrimonio contractual, un héroe que salva a una belleza y una lucha por la propiedad. Un informe en profundidad sobre la expansión en el extranjero de los dramas cortos chinos de Guohai Securities.

Al anotar cuidadosamente los "puntos interesantes" de la historia que despiertan un gran interés en la audiencia, como la apariencia del protagonista, la composición de la toma y las emociones expresadas por los personajes, SkyScript aprende a prestar atención y generarlos. detalles.

En términos de arquitectura modelo, para garantizar la profesionalidad y controlabilidad del contenido generado, SkyScript también adopta un marco multiagente. Mediante la colaboración de "personas creativas", "directores de casting", "guionistas", "escritores de novelas", "directores" y otros agentes inteligentes, se imita el proceso de producción industrial para completar la creación del guión.

Evaluación de la calidad del guión modelo grande SkyScript.

En última instancia, una obra corta es la presentación de un lenguaje visual. Por lo tanto, las otras dos capas de innovación, StoryboardGen y WorldEngine, se centran en la "carne y la sangre" de la obra corta, que es el rodaje.

Al igual que SkyScript, StoryboardGen, un modelo de guión gráfico a gran escala de desarrollo propio, también ha sido entrenado con ejemplos de guión gráfico profesionales de alta calidad en el mundo real. Está especialmente diseñado para el diseño de guiones gráficos y está lejos de los modelos de generación de imágenes de uso general. .

De manera similar, según el marco de múltiples agentes, diferentes elementos del guión gráfico (escenas, tomas, personajes, acciones, etc.) se descomponen en múltiples agentes para su procesamiento, lo que mejora en gran medida la controlabilidad y la coherencia en el proceso de producción del guión gráfico.

Diagrama esquemático técnico de StoryboardGen, un modelo de guión gráfico de gran tamaño. De manera similar al rodaje de películas y la producción de animación, StoryboardGen, basado en el marco de múltiples agentes, descompone el proceso general en múltiples agentes, cada agente es responsable de una capacidad específica, lo que mejora la controlabilidad y la coherencia en el proceso de producción del guión gráfico.

Supongamos que hay un guión que describe una escena, como una persona caminando por el parque.

El LLM Planner primero dividirá el guión en dos partes.

Entre ellos, la descripción global (mensaje global): "Una persona camina en un parque soleado";

Descripción local (mensaje local): "Esta persona es un hombre de mediana edad, viste ropa informal, sostiene una taza de café en la mano y camina tranquilamente".

En el proceso de generación, diferentes agentes realizan sus propias tareas. Por ejemplo, el agente de escena genera el fondo y el diseño del parque basándose en la descripción global; el agente de personajes genera la imagen y las acciones del personaje masculino basándose en la descripción local.

Finalmente, el agente Storyboard integra estos contenidos generados y genera el guión gráfico final basado en toda la información y condiciones de descripción.

Estado de evaluación de calidad de StoryboardGen del modelo de guión gráfico grande.

Además de la controlabilidad y la coherencia, para hacer que las imágenes del guión gráfico sean más expresivas, StoryboardGen también ha mejorado en gran medida la complejidad y la precisión de los detalles de las imágenes.

Por ejemplo, StoryboardGen utiliza un marco de generación progresiva basado en DiT para crear la imagen final mediante múltiples modificaciones y mejoras. En comparación con los modelos tradicionales de generación única, este marco puede aprovechar al máximo la información generada en el proceso intermedio para generar guiones gráficos con mayor calidad y efectos visuales más ricos.

La tercera capa de innovación tecnológica es una plataforma innovadora World Engine, que es la primera en la industria que conecta sin problemas la tecnología de generación 3D y la tecnología de generación de video a través de la fusión de capas y otros métodos, lo que equivale a proporcionar a los creadores una "cámara" poderosa. o incluso “estudio”.

cosechadoras WorldEngineLa controlabilidad precisa del motor (como simulación de iluminación, simulación física, espacio 3D, interacción en tiempo real, etc.) y la capacidad de generación de fantasía del modelo grande de video AI., proporciona un nuevo modo de creación de video híbrido en línea, que permite que la creación de video pase de una generación difusa a una más precisa y controlable.

Suponga que está creando una escena en la que un Pikachu se divierte debajo de una fuente. Puede dejar que Sky3DGen cree una escena de fuente precisa al mismo tiempo y dejar que el modelo de video genere un Pikachu realista.

Caso de video generado híbrido

Enlace del vídeo: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Sabemos que los grandes modelos de vídeo como Sora pueden generar fácilmente efectos casi realistas que los motores de juegos no pueden igualar y que están llenos de imaginación, pero no comprenden el mundo físico y no pueden simular con precisión algunas de las interacciones físicas más básicas, como el vidrio. romper y comer.

La ventaja del motor del juego radica en su simulación precisa de las leyes físicas de la vida real. A través de modelos matemáticos complejos, puede crear un entorno virtual que sea coherente en el espacio y el tiempo y se ajuste a leyes objetivas. No solo garantiza la coherencia y previsibilidad de los resultados de representación, sino que también demuestra una comprensión profunda del espacio tridimensional.

Como una de las empresas de operación y desarrollo de juegos más grandes de China, no sorprende que Kunlun Wanwei haya desarrollado su propio modelo grande Sky3DGen y "complemente sus ventajas" con el modelo grande de video, brindando a los creadores un nuevo modelo de creación híbrido.

En SkyReels, puedes cambiar varias escenas y formas 3D, e incluso actuaciones de personajes.

Caso de generación de vídeo de utilería 3D.

Enlace del vídeo: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Caso de generación de video de escena 3D.

Enlace del vídeo: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

La interpretación de los personajes es uno de los elementos centrales de las obras cortas. Kunlun Wanwei ha desarrollado de forma independiente el modelo de generación de interpretación de personajes ActorShow, que tiene capacidades de generación controlables más fuertes de expresiones bucales y movimientos corporales.

Enlace del vídeo: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Evaluación de la calidad de los modelos de generación de desempeño de personajes.

Durante el proceso de creación, los usuarios también pueden definir libremente el estudio de grabación virtual 3D.

¿Quieres rodar una historia en el desierto hoy? Con unos pocos clics, toda la escena se transforma en un vasto desierto. ¿Vas a rodar en la estación espacial mañana? Con unos pocos clics más, el entorno se transformó en el interior de una estación espacial de alta tecnología.

Incluso puedes colocar y mover cámaras virtuales en el estudio virtual para probar varios ángulos de disparo. Ajusta la luz y agrega efectos especiales para obtener un efecto de disparo muy profesional.

Gracias al uso del motor, WorldEngine ha logrado una reducción revolucionaria de costos en comparación con la generación de video tradicional y, al mismo tiempo, la velocidad de generación y la capacidad de control se han mejorado en varios órdenes de magnitud.

3. Apuesta en AI UGC y luego ve a la mesa de póquer.

SkyReels, la plataforma de dramas cortos de IA, es el último miembro de la matriz de productos de capa de aplicación de IA de Kunlun Wanwei.

Antes de esto, crearon con éxito una gama diversa de productos que incluyen búsqueda de IA, música de IA, videos de IA, redes sociales de IA, juegos de IA, etc., y algunos de sus negocios se han comercializado.

Como una de las primeras empresas chinas en explorar el mercado global, con más de diez años de experiencia en la industria del contenido y el entretenimiento, Kunlun Wanwei se ha dado cuenta de que la plataforma UGC (contenido generado por el usuario) ha mantenido una tendencia duradera en el También se prevé que la intervención de AIGC no sólo diversificará los métodos de creación de propiedad intelectual para artículos web, obras cortas, animaciones y juegos, sino que, lo que es más importante, reducirá significativamente el umbral para la creación de contenidos.

Como dice la industria, "Cada vez que se duplica el umbral para producir contenido, el número de personas que crean contenido se multiplicará por diez, lo que indica enormes oportunidades de mercado".

Por lo tanto, Kunlun se compromete a construir una plataforma UGC integral con IP como núcleo, de modo que todos los usuarios que utilizan AI para crear puedan completar el ciclo cerrado completo de IP. Saben muy bien que una herramienta que puede ocultar todos los detalles técnicos y lograr la generación de contenido de un extremo a otro tiene un valor comercial real. Ésta es también la lógica profunda de los productos de "generación con un solo clic" como SkyReels.

Además de construir una plataforma AI UGC en el nivel superior, Kunlun Wanwei también se compromete a desarrollar la base para modelos grandes de uso general en el nivel inferior. Esto surge de una idea simple pero profunda: desde una perspectiva técnica, la sabiduría humana se precipita en forma de texto, y todos los modelos exclusivos para redes sociales, juegos, música y videos son inseparables del soporte de modelos de texto de gran tamaño.

El modelo Tiangong desarrollado por Kunlun Wanwei se ha actualizado a la versión 3.0. "Tiangong 3.0" adopta una arquitectura MoE de 400 mil millones de parámetros y actualmente es uno de los modelos MoE de código abierto con los parámetros de modelo más grandes y el rendimiento más sólido del mundo. En muchos resultados de evaluación multimodal autorizados, como MMBench, "Tiangong 3.0" superó a GPT-4V y muchos indicadores de evaluación alcanzaron el nivel líder mundial.

Con una base sólida de modelos grandes de uso general, Kunlun Wanwei ha avanzado paso a paso hacia los campos de contenido y entretenimiento, ampliando sus capacidades de modelo horizontalmente, desde música, diagramas literarios, generación de videos hasta generación de dramas cortos, y lanzó sucesivamente SkyMusic AI music big. modelo, modelo grande multimodal Skywork -MM, modelo grande de script SkyScript, modelo grande de guión gráfico StoryboardGen, modelo grande 3D Sky3DGen, etc.

Fang Han, presidente y director ejecutivo de Kunlun Wanwei, predijo una vez que así como las cámaras provocaron una revolución en los métodos de filmación y generaron una gran cantidad de plataformas de videos cortos como Douyin y Kuaishou, la IA también generará una gran cantidad de nuevos UGC de IA. plataformas. Él cree firmemente que sólo el modelo "free + to C" puede generar verdaderas empresas gigantes en la era de la IA.

Para Kunlun Technology, que tiene genes 2C profundos, el surgimiento de AIGC es sin duda una oportunidad única. Esta empresa, que siempre ha soñado con convertirse en una empresa líder en tecnología de inteligencia artificial, originalmente pensó que había perdido la oportunidad de subirse a la mesa de póquer, pero no esperaba que AIGC les abriera una nueva puerta. Están trabajando duro, están dando todo. ‍

Dirección interna de la aplicación beta: https://skyreels.ai/beta