Kunlun Wanwei lanza la primera plataforma de dramas cortos con inteligencia artificial del mundo, SkyReels
2024-08-19
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
El 19 de agosto, Kunlun Wanwei lanzó SkyReels, la primera plataforma de dramas cortos de IA del mundo que integra modelos grandes de video y modelos grandes 3D. La plataforma SkyReels integra generación de guiones, personalización de personajes, guiones gráficos, trama, diálogo/BGM y síntesis de vídeo, lo que permite a los creadores "hacer un drama con un solo clic" y producir fácilmente vídeos de IA de alta calidad.
Éxitos de taquilla de fantasía, sadomasoquismo conmovedor, comedias hilarantes... Simplemente ingrese una idea simple y SkyReels podrá completar todo el proceso de producción, desde el guión hasta la obra corta terminada.
La plataforma SkyReels integra el modelo grande de guión de desarrollo propio SkyScript de Kunlun Wanwei, el modelo grande de guión gráfico de desarrollo propio StoryboardGen, el modelo grande generado en 3D de desarrollo propio Sky3DGen y la primera plataforma innovadora de la industria, WorldEngine, que integra profundamente motores AI 3D y modelos grandes de video.
SkyReels está por delante de modelos grandes como GPT-4o en la evaluación de la calidad del guión, la calidad del guión gráfico, el desempeño de los personajes y otras dimensiones.
SkyReels puede generar guiones completos, guiones gráficos, diálogos de personajes y música de fondo con un solo clic a través de IA. Admite ajustes personalizados en imágenes, sonidos y guiones gráficos de personajes, y puede convertir automáticamente contenido en videos de alta definición de 1080P y 60 cuadros, y puede generar. videos de una sola vez La duración alcanza los 180 segundos, lo cual es un avance significativo en comparación con Sora, que puede generar un video de 60 segundos a la vez, y Keling, que puede generar un video de 10 segundos a la vez. Integre todos los resultados creativos con un solo clic, mejorando enormemente la eficiencia de la creación de videos, reduciendo los costos de creación y acelerando la era de "una persona, un drama".
Al mismo tiempo, WorldEngine combina la controlabilidad precisa del motor (como simulación de iluminación, simulación física, espacio 3D, interacción en tiempo real, etc.) con la capacidad de generación de fantasía de los grandes modelos de video AI, proporcionando un nuevo video híbrido en línea. modo de creación, que permite la creación de videos Pasar de una generación difusa a una más precisa y controlable.
Los aspectos más destacados de SkyReels son los siguientes:
Generación de guiones totalmente automatizada: los usuarios ingresan conceptos o ideas, y la IA generará un guión con una estructura completa y tramas ricas con un solo clic, y admite la disposición y el pulido automáticos de los guiones existentes para mejorar la eficiencia creativa.
Diseño de trama de alta calidad: el sistema genera historias de alta calidad, conflictos dramáticos, puntos emocionantes y expresiones emocionales mediante el análisis de una gran cantidad de tramas de guiones para garantizar la riqueza y el atractivo del guión.
Generación inteligente de guiones gráficos: según el contenido del guión, las imágenes del guión gráfico y los guiones de texto correspondientes se generan con un solo clic. Los usuarios también pueden ajustar libremente parámetros como guiones gráficos, ángulos de cámara y métodos de movimiento de la cámara para garantizar la realización precisa de la creatividad.
Diálogo emocional/BGM: a través de la tecnología de síntesis de voz emocional, los personajes reciben pausas naturales entre oraciones, expresiones emocionales y cadencias, y AI BGM se genera automáticamente en función del contenido del video para integrar perfectamente la imagen y la música.
Personalización personalizada: admite la generación inteligente y personalización de imágenes de personajes, timbres y guiones gráficos para satisfacer las necesidades individuales de los creadores, y proporciona una variedad de opciones de estilos visuales como animación, dibujos animados y 3D de acción en vivo para adaptarse a las preferencias y preferencias de diferentes creadores. El contenido expresa necesidades.
Consistencia y precisión del contenido: garantice la coherencia de los personajes y escenas en diferentes guiones gráficos y deduzca automáticamente las actuaciones de los personajes basándose en las descripciones de la historia para lograr la coordinación de las expresiones, acciones y líneas de los personajes para mejorar la expresión de la historia.
Generación de video eficiente: convierta automáticamente guiones gráficos en videos continuos de alta definición, proporcionando una salida de 60 fotogramas de 1080P para garantizar una experiencia de visualización fluida.
Cómoda síntesis de posproducción: integre todos los resultados creativos con un solo clic y pueda exportarlos y compartirlos rápidamente. Admite la descarga en múltiples formatos para facilitar la posedición.
La función de generación de guiones de IA de SkyReels se basa en el modelo de guión grande desarrollado por Kunlun Wanwei, SkyScript. Para que los guiones generados por IA tengan la trama emocionante y de alta densidad de los dramas cortos, Kunlun Wanwei primero construyó un conjunto de datos estructurados de dramas cortos de alta calidad y mil millones de niveles SkyScript-100M. Este conjunto de datos apunta al ritmo y la emoción de la trama. de dramas cortos masivos, los puntos y los cambios de emociones están anotados con alta calidad;
En segundo lugar, el equipo de algoritmos diseñó un marco de generación de guiones generado progresivamente, lo que permite que el modelo genere guiones emocionantes y altamente estructurados. Tanto los autores novatos como los dramaturgos experimentados pueden usarlo para estimular la creatividad y crear fácilmente guiones de obras breves atractivos.
Otro paso importante en la creación de dramas cortos: la generación de guiones gráficos. El modelo grande de generación de guiones gráficos desarrollado por Kunlun Wanwei, StoryboardGen, proporciona la tecnología subyacente. StoryboardGen es el primer modelo de generación de guiones gráficos de Kunlun Wanwei basado en la arquitectura DiT-MoE (arquitectura experta híbrida mixta de expertos basada en la tecnología Diffusion Transformer). Puede lograr una generación de información de guiones gráficos de alta densidad y mejorar en gran medida las capacidades de expresión narrativa visual.
Después de ingresar el guión, el modelo StoryboardGen descompondrá el guión en dos partes: la parte global y la parte principal. La parte global incluye la descripción general del guión gráfico, como escenas, escenas, composiciones, etc. La parte principal incluye la personalización. de imágenes de personajes y figuras de acción, que finalmente se recopilan en los agentes de Storyboard, generan guiones gráficos completos. La arquitectura multiagente especializada de StoryboardGen puede garantizar eficazmente la controlabilidad y coherencia de personajes y escenas, y crear guiones gráficos de alta calidad y grado industrial.
Diagrama esquemático técnico del modelo de guión gráfico grande Kunlun Wanwei StoryboardGen
En el proceso final de generación de imágenes, WorldEngine es la primera plataforma innovadora de la industria que integra profundamente el motor AI 3D y modelos de video de gran tamaño. Se trata de una innovación tecnológica que hace época. WorldEngine utiliza la tecnología de fusión de capas como puente para crear un modo de creación híbrido sin precedentes de 3D y vídeo.
Cuando los usuarios usan SkyReels para generar videos de IA, pueden elegir libremente usar la generación de motores de IA 3D o la generación de modelos de video de gran tamaño para cualquier elemento. Este modelo innovador supera los problemas de "rotura de moldes" y "antigravedad" que a menudo ocurren en. Modelos grandes de video de IA actuales. El fenómeno de la ley antifísica logra en la mayor medida la fusión perfecta de la precisión de la simulación física y la creatividad de fantasía de los modelos grandes de video. Desde entonces, los grandes modelos de generación de vídeo con IA pasarán de la era del "control difuso" a la era de la "controlabilidad precisa".
En términos de motor de IA 3D, el modelo grande Sky3DGen desarrollado por Kunlun Wanwei puede generar diversos elementos y escenas 3D, desde paisajes naturales hasta ciudades futuras, desde objetos estáticos hasta personajes dinámicos, y proporciona capacidades de interacción de escenas 3D en tiempo real, lo que hace que los usuarios puedan Vea instantáneamente los efectos de los ajustes y ediciones, acelerando el proceso creativo. Con el apoyo de WorldEngine, los usuarios también pueden crear fácilmente un estudio virtual 3D para lograr una experiencia de ensueño de filmación virtual.
La interpretación de los personajes es uno de los eslabones centrales en la presentación de obras cortas. Por lo tanto, en términos de rendimiento de personajes de IA, el equipo de Kunlun SkyReels ha desarrollado especialmente el modelo de generación de personajes ActorShow, de modo que los personajes de IA generados por SkyReels tengan capacidades de generación controlables más fuertes de expresiones bucales y movimientos corporales, y la presentación del personaje sea más natural. .
En respuesta a las diferencias de iluminación, diferencias de estilo y otras necesidades encontradas en la post-síntesis de videos, el equipo de Kunlun SkyReels entrenó por separado un modelo de generación de fusión especial, de modo que el video después de la fusión de capas presente una buena consistencia.
El lanzamiento de la plataforma de dramas cortos con IA Kunlun Wanwei, SkyReels, marca un salto tecnológico en la creación global de dramas cortos con IA. Subvertirá por completo el proceso de creación de contenido de video, liberando a los creadores del tedioso y complejo proceso de producción y enfocándose en la realización creativa y la expresión inspiradora. El sueño de "una persona, un drama" se hace realidad.
La plataforma de dramas cortos con IA de SkyReels no solo proporciona poderosas herramientas creativas para creadores de contenido profesionales, sino que también reduce en gran medida el umbral para la creación de dramas cortos con IA, lo que facilita el comienzo para los usuarios no profesionales. Se espera que esta herramienta revolucionaria genere un crecimiento explosivo del contenido generado por el usuario (UGC) de dramas cortos de IA y del contenido generado por usuarios profesionales (PUGC), inyecte una vitalidad sin precedentes en el ecosistema de contenido de dramas cortos y promueva el desarrollo del drama corto. mercado de creación y consumo de contenidos. Se acerca una era de creación y consumo de dramas cortos impulsados por la tecnología de inteligencia artificial.
Kunlun Technology siempre se ha comprometido a proporcionar herramientas más inteligentes, eficientes y personalizadas a los creadores de contenido global a través de tecnología AIGC avanzada. Impulsada por la estrategia "Todo en AGI y AIGC", Kunlun Technology siempre se ha comprometido a "realizar la inteligencia artificial general y permitir que todos se formen y se expresen mejor" como su misión. En el futuro, Kunlun Wanwei continuará innovando y brindando a los usuarios productos y servicios AIGC de alta calidad mediante una exploración en profundidad del mercado global.
traducir
buscar
Copiar
