Kunlun Wanwei lança a primeira plataforma de curtas-metragens de IA do mundo, SkyReels
2024-08-19
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Em 19 de agosto, Kunlun Wanwei lançou SkyReels, a primeira plataforma de curtas-metragens de IA do mundo que integra grandes modelos de vídeo e grandes modelos 3D. A plataforma SkyReels integra geração de roteiro, personalização de personagens, storyboards, enredo, diálogo/BGM e síntese de vídeo, permitindo aos criadores “fazer um drama com um clique” e produzir facilmente vídeos de IA de alta qualidade.
Sucessos de bilheteria de fantasia, sadomasoquismo comovente, comédias hilariantes... Basta inserir uma ideia simples e SkyReels pode completar todo o processo de produção, desde o roteiro até a curta peça finalizada.
A plataforma SkyReels integra o modelo grande de script autodesenvolvido por Kunlun Wanwei SkyScript, o modelo grande de storyboard autodesenvolvido StoryboardGen, o modelo grande gerado em 3D autodesenvolvido Sky3DGen e a primeira plataforma inovadora do setor WorldEngine que integra profundamente mecanismos AI 3D e grandes modelos de vídeo.
SkyReels está à frente de grandes modelos como GPT-4o em avaliação de qualidade de roteiro, qualidade de storyboard, desempenho de personagem e outras dimensões.
SkyReels pode gerar scripts completos, storyboards, diálogos de personagens e BGM com um clique por meio de IA. Ele suporta ajustes personalizados para imagens, sons e storyboards de personagens e pode converter automaticamente o conteúdo em vídeos de alta definição de 60 quadros em 1080P e pode gerar. vídeos de uma só vez, a duração chega a 180 segundos, o que é um avanço significativo em comparação com Sora, que pode gerar um vídeo de 60 segundos por vez, e Keling, que pode gerar um vídeo de 10 segundos por vez. Integre todos os resultados criativos com um clique, melhorando significativamente a eficiência da criação de vídeos, reduzindo os custos de criação e acelerando a era de “uma pessoa, um drama”.
Ao mesmo tempo, o WorldEngine combina a controlabilidade precisa do mecanismo (como simulação de iluminação, simulação física, espaço 3D, interação em tempo real, etc.) com a capacidade de geração de fantasia de grandes modelos de vídeo AI, fornecendo um novo vídeo híbrido online modo de criação, permitindo que a criação de vídeo passe da geração difusa para uma geração mais precisa e controlável.
Os destaques do SkyReels são os seguintes:
Geração de script totalmente automatizada: os usuários inserem conceitos ou ideias, e a IA gerará um script com uma estrutura completa e enredos ricos com um clique, e oferece suporte ao arranjo e polimento automático de scripts existentes para melhorar a eficiência criativa.
Design de enredo de alta qualidade: O sistema gera enredos de alta qualidade, conflitos dramáticos, pontos emocionantes e expressões emocionais analisando um grande número de enredos de roteiro para garantir a riqueza e atratividade do roteiro.
Geração inteligente de storyboard: com base no conteúdo do roteiro, as imagens do storyboard e os scripts de texto correspondentes são gerados com um clique. Os usuários também podem ajustar livremente parâmetros como storyboards, ângulos de câmera e métodos de movimento da câmera para garantir a realização precisa da criatividade.
Diálogo emocional/BGM: por meio da tecnologia de síntese de fala emocional, os personagens recebem pausas naturais entre frases, expressões emocionais e cadências, e AI BGM é gerado automaticamente com base no conteúdo do vídeo para integrar perfeitamente a imagem e a música.
Personalização personalizada: suporta a geração inteligente e ajuste personalizado de imagens de personagens, timbres e storyboards para atender às necessidades individuais dos criadores e fornece uma variedade de opções de estilo visual, como animação, desenhos animados e 3D de ação ao vivo para se adaptar às preferências e preferências de diferentes criadores O conteúdo expressa necessidades.
Consistência e precisão do conteúdo: Garanta a consistência dos personagens e cenas em diferentes storyboards e deduza automaticamente o desempenho dos personagens com base nas descrições da história para obter a coordenação das expressões, ações e falas dos personagens para melhorar a expressão da história.
Geração de vídeo eficiente: converta automaticamente storyboards em vídeos contínuos de alta definição, fornecendo saída 1080P de 60 quadros para garantir uma experiência de visualização suave.
Síntese de pós-produção conveniente: integre todos os resultados criativos com um clique e pode exportar e compartilhar rapidamente. Suporta download em vários formatos para facilitar a pós-edição.
A função de geração de script de IA do SkyReels é baseada no grande modelo de script SkyScript desenvolvido por Kunlun Wanwei. Para fazer com que os roteiros gerados pela IA tenham um enredo emocionante e de alta densidade de dramas curtos, Kunlun Wanwei primeiro construiu um conjunto de dados estruturados de dramas curtos de alta qualidade e de bilhões de níveis, SkyScript-100M. de dramas curtos massivos. Pontos e mudanças emocionais são anotados com alta qualidade;
Em segundo lugar, a equipe de algoritmos projetou uma estrutura de geração de roteiros gerada progressivamente, permitindo que o modelo produzisse roteiros altamente estruturados e emocionantes. Tanto autores novatos quanto dramaturgos experientes podem usá-lo para estimular a criatividade e criar facilmente roteiros de peças curtas envolventes.
Outro passo importante na criação de dramas curtos - geração de storyboard, o grande modelo de geração de storyboard desenvolvido por Kunlun Wanwei, StoryboardGen, fornece a tecnologia subjacente. StoryboardGen é o primeiro modelo de geração de storyboard de Kunlun Wanwei baseado na arquitetura DiT-MoE (arquitetura especializada híbrida mista de especialistas baseada na tecnologia Diffusion Transformer). Ele pode obter geração de informações de storyboard de alta densidade e aprimorar significativamente as capacidades de expressão narrativa visual.
Após inserir o roteiro, o modelo StoryboardGen irá decompor o roteiro em duas partes: a parte global e a parte principal. A parte global inclui a descrição geral do storyboard como cenas, cenas, composições, etc. de imagens de personagens e figuras de ação, que são finalmente coletadas em agentes de Storyboard, gerando storyboards completos. A arquitetura multiagente especializada do StoryboardGen pode efetivamente garantir a controlabilidade e consistência de personagens e cenas e criar storyboards de nível industrial de alta qualidade.
Kunlun Wanwei StoryboardGen diagrama esquemático técnico do modelo de storyboard grande
No processo final de geração de imagens, o WorldEngine é a primeira plataforma inovadora da indústria que integra profundamente o mecanismo AI 3D e grandes modelos de vídeo. Esta é uma inovação tecnológica que marcou época. A WorldEngine usa a tecnologia de fusão de camadas como uma ponte para criar um modo de criação híbrido sem precedentes de 3D e vídeo.
Quando os usuários usam SkyReels para gerar vídeos de IA, eles podem escolher livremente usar a geração de mecanismo de IA 3D ou a geração de grandes modelos de vídeo para qualquer elemento. Este modelo inovador rompe os problemas de "quebra de molde" e "antigravidade" que freqüentemente ocorrem em. atuais modelos grandes de vídeo de IA O fenômeno da lei anti-física atinge ao máximo a fusão perfeita da precisão da simulação física e da criatividade fantasiosa dos grandes modelos de vídeo. Desde então, os grandes modelos de geração de vídeo AI passarão da era do "controle difuso" para a era da "controlabilidade precisa".
Em termos de mecanismo de IA 3D, o grande modelo Sky3DGen desenvolvido por Kunlun Wanwei pode gerar diversos elementos e cenas 3D, de paisagens naturais a cidades futuras, de objetos estáticos a personagens dinâmicos, e fornece recursos de interação de cena 3D em tempo real, fazendo com que os usuários possam veja instantaneamente os efeitos dos ajustes e edições, acelerando o processo criativo. Com o suporte do WorldEngine, os usuários também podem construir facilmente um estúdio virtual 3D para obter uma experiência onírica de filmagem virtual.
A atuação dos personagens é um dos principais elos na apresentação de peças curtas. Portanto, em termos de desempenho de personagens de IA, a equipe Kunlun SkyReels desenvolveu especialmente o modelo de geração de personagens ActorShow, para que os personagens de IA gerados por SkyReels tenham capacidades de geração controláveis mais fortes de expressões bucais e movimentos corporais, e a apresentação do personagem seja mais natural.
Em resposta às diferenças de iluminação, diferenças de estilo e outras necessidades encontradas na pós-síntese de vídeos, a equipe Kunlun SkyReels treinou separadamente um modelo especial de geração de fusão, para que o vídeo após a fusão de camadas apresentasse boa consistência.
O lançamento da plataforma de curtas-metragens Kunlun Wanwei AI, SkyReels, marca um salto tecnológico na criação global de curtas-metragens de IA. Ele subverterá completamente o processo de criação de conteúdo de vídeo, libertando os criadores do tedioso e complexo processo de produção para se concentrarem na realização criativa e na expressão inspiradora. sonho de "uma pessoa, um drama" uma realidade.
A plataforma de dramas curtos SkyReels AI não apenas fornece ferramentas criativas poderosas para criadores de conteúdo profissional, mas também reduz muito o limite para a criação de dramas curtos de IA, facilitando o início para usuários não profissionais. Espera-se que esta ferramenta revolucionária provoque o crescimento explosivo do conteúdo gerado pelo usuário (UGC) de dramas curtos de IA e do conteúdo gerado pelo usuário profissional (PUGC), injete vitalidade sem precedentes no ecossistema de conteúdo de dramas curtos e promova o desenvolvimento do drama curto. mercado de criação e consumo de conteúdo ainda mais rápido. Uma era de criação e consumo de pequenos dramas impulsionada pela tecnologia de IA está chegando.
A Kunlun Technology sempre esteve comprometida em fornecer ferramentas mais inteligentes, eficientes e personalizadas para criadores de conteúdo globais por meio de tecnologia AIGC avançada. Impulsionada pela estratégia "All in AGI e AIGC", a Kunlun Technology sempre esteve comprometida em "realizar a inteligência artificial geral e permitir que todos se formassem e se expressassem melhor" como sua missão. No futuro, Kunlun Wanwei continuará a inovar e fornecer aos usuários produtos e serviços AIGC de alta qualidade por meio da exploração aprofundada do mercado global.
traduzir
procurar
cópia
