notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Máquina Coração Original

Autor: Wu Xin

Em 19 de agosto, Kunlun Wanwei lançou SkyReels, a primeira plataforma de curtas-metragens de IA do mundo que integra grandes modelos de vídeo e grandes modelos 3D. A plataforma SkyReels integra geração de roteiro, personalização de personagens, storyboards, enredo, diálogo/BGM e síntese de vídeo, permitindo aos criadores criar dramas com um clique e produzir facilmente vídeos de IA de alta qualidade. Esta é uma peça curta de 2 minutos e meio.

Link do vídeo: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

"Devíamos abandonar o nosso pensamento rígido e resistente e abraçar esta era da informação fragmentada." produção mundial.

Com episódios únicos que duram de alguns minutos a mais de dez minutos, entretenimento forte e tramas de ritmo acelerado, os usuários são frequentemente "apreciados". Em apenas três anos (em 2023), o mercado de curtas-metragens da China atingiu o nível anual de filmes teatrais. 70% da bilheteria.

Ao mesmo tempo, um grande número de aplicativos de curtas-metragens independentes foram lançados globalmente. O software chinês de curtas-metragens on-line ReelShort teve um bom desempenho nas classificações do iOS dos EUA, superando até mesmo o TikTok, que há muito domina as classificações, e alcançou um avanço.

Os curtas-metragens tornaram-se uma das áreas do cinema e da televisão que mais cresce nos últimos anos e também se tornaram um campo de testes para novas tecnologias. "Tradução com um clique" e "mudança de face de IA" são comuns. Muitas empresas de redação on-line também lançaram grandes modelos de geração de conteúdo que podem ajudar os autores na escrita. Com a ajuda dos recursos de geração de vídeo de grandes modelos de IA, o curto tempo de produção do drama que costumava levar três meses agora leva apenas meio mês.

Vídeos curtos criados por IA podem receber milhões de visualizações depois de lançados, mas a produção de um curta-drama de IA de processo completo ainda enfrenta muitos desafios. Os criadores precisam "saltar" repetidamente entre várias ferramentas de IA, como ChatGPT, Midjourney, Runway, Eleven Labs, ComfyUi, Adobe e Cutting, mas os resultados de seus trabalhos ainda são insatisfatórios.

Neste contexto, Kunlun Wanwei, uma empresa chinesa de tecnologia de inteligência artificial com mais de dez anos de experiência no exterior, lançou a primeira plataforma de dramas curtos de IA do mundo, SkyReels - uma plataforma de dramas curtos de IA que integra grandes modelos de vídeo e grandes modelos 3D. Esta não é apenas a implementação bem-sucedida de modelos domésticos de grande escala no campo de dramas curtos, mas também anuncia o advento da era do “drama de um clique” e “uma pessoa, um drama”.

Ao mesmo tempo, espera-se que esta ferramenta revolucionária provoque o crescimento explosivo do conteúdo gerado pelo usuário (UGC) de curtas-metragens de IA e do conteúdo profissional gerado pelo usuário (PUGC), e promova o crescimento ainda mais rápido da criação de conteúdo de curtas-metragens e mercado de consumo.

1. Conheça SkyReels – a primeira plataforma de curtas-metragens de IA do mundo

Demonstração de operação do produto SkyReels

Link do vídeo: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Quando abro a página SkyReels, sinto imediatamente que o design de "AI Short Drama" é muito diferente de outras plataformas "AI Creative".

Ambos são movidos por IA, mas a plataforma "AI Creative" concentra-se na geração de imagens e vídeos, enquanto SkyReels integra geração de roteiro, customização de personagens, design de storyboard, gravação e síntese de vídeo, replicando completamente o processo de industrialização de peças curtas.

SkyReels integra criatividade de história, geração de roteiro, customização de personagens, design de storyboard, gravação e síntese de vídeo, replicando completamente o processo de industrialização de dramas curtos.

O mais importante é ter uma boa ideia e transformá-la em um roteiro legal.

Embora a criação de texto seja a zona de conforto do grande modelo de linguagem LLM, a diferença entre o SkyReels é que o grande modelo responsável pela criação de texto recebeu treinamento profissional e sabe escrever scripts "legais" e baseados em fluxo.

Basta inserir um conceito ou ideia de história e clicar em “Tipo de Criação”, como drama emocional, e o sistema irá gerar automaticamente um roteiro que atenda aos requisitos, com estrutura completa e enredo rico.

Os usuários também podem fazer upload de scripts prontos e permitir que a IA ajude a aperfeiçoá-los e otimizá-los para torná-los mais profissionais e legíveis.

O sistema gerará automaticamente um roteiro que atenda aos requisitos com base em sugestões criativas e também resumirá as biografias dos personagens envolvidos para se preparar para o design de personagens subsequente.

Assim que o roteiro estiver pronto, a próxima etapa é “encontrar atores”. No SkyReels, esta etapa é chamada de design de personagens.

Normalmente, primeiro deixaremos o LLM escrever o texto do design e, em seguida, jogá-lo em uma ferramenta gráfica como o Midjourney para gerar a imagem do personagem. Para adicionar dublagens aos personagens, ferramentas de áudio como o Elevenlabs continuam sendo utilizadas.

Agora, basta entrar na página e inserir os requisitos correspondentes (incluindo dublagem de personagens), e você pode “gerar” o personagem com um clique, o que melhora muito a eficiência da produção.

Basta entrar na página e inserir os requisitos correspondentes (incluindo dublagem de personagem), e o personagem pode ser gerado com um clique.

Antes do início das filmagens, além de procurar atores, o diretor também precisa criar storyboards.O chamado storyboard divide principalmente a história inteira em uma série de imagens consecutivas, cada imagem representa uma cena ou ação específica.

Storyboard de "Spirited Away" do Studio Ghibli.

É muito problemático para um diretor sem formação artística concluir o design do storyboard com a ajuda de um pintor. Agora, eles podem deixar o LLM gerar o roteiro de texto da cena e, em seguida, usar ferramentas como Midjourney para desenhar o storyboard.

No entanto, as desvantagens deste método também são óbvias. É difícil garantir a consistência dos personagens e das cenas. Por exemplo, na minissérie de IA de processo completo "Nuwa" lançada no canal de IA da CCTV, Nuwa parece diferente cada vez que aparece, como se houvesse vários Nuwa.

No SkyReels, a IA gerará imagens de storyboard e scripts de texto correspondentes com um clique, com base no conteúdo do script. Você só precisa esperar de 1 a 2 minutos para ver o efeito de cada cena. Se não estiver satisfeito, você também pode ajustar o efeito do storyboard modificando o texto (como cenas ou ações dos personagens).

Mais importante ainda, com o apoio de tecnologia autodesenvolvida, as imagens do storyboard não são apenas de alta definição e ricas em detalhes, mas os personagens e cenas podem manter consistência e continuidade em diferentes storyboards.

A IA irá gerar imagens de storyboard e scripts de texto correspondentes com um clique com base no conteúdo do script.

Depois que os storyboards forem desenhados e os atores posicionados, é hora de entrar na fase de “filmagem real”.Atualmente, o maior gargalo no desenvolvimento do cinema e da televisão com IA também está aqui, porque há muito poucas “câmeras” boas que podem ser usadas.

Uma abordagem comum é usar Pika e Runway para gerar efeitos dinâmicos, mas há muitas desvantagens. Por exemplo, a qualidade da imagem é ruim, os movimentos do personagem são pequenos ou até irracionais (problema de comer macarrão) e as cenas são propensas a inconsistências. Às vezes, o veículo está em movimento, mas as rodas não giram e o respingo de água está parado. a superfície da água em movimento durante o fluxo de água. O formato da boca dos personagens não combina quando falam e suas expressões são rígidas.

Através da combinação do mecanismo AI 3D e do modelo de vídeo grande, SkyReels pode converter automaticamente storyboards em vídeos contínuos, tornando as cenas e personagens gerados mais vívidos e consistentes. Ele também suporta saída de vídeo 1080P de 60 quadros, garantindo uma experiência de assistir drama.

Além disso, a duração do vídeo que pode ser gerado por vez é de até 180 segundos, o que é um avanço significativo em comparação com Sora, que pode gerar um vídeo de 60 segundos por vez, e Keling, que pode gerar um vídeo de 10 segundos. vídeo por vez.

SkyReels pode converter automaticamente storyboards em vídeos contínuos.

Finalmente, todos os resultados do processo podem ser integrados com um clique para gerar rapidamente a peça final curta. A IA também irá gerar e recomendar música de fundo e efeitos sonoros adequados com base no tema do roteiro e cenas específicas, e os usuários podem adicioná-los com apenas um clique.

Música de fundo e efeitos sonoros também podem ser adicionados com um clique.

Ele suporta exportação para vídeos com um clique e pode ser publicado em plataformas de mídia social como Douyin com um clique.

Suporta compartilhamento de designs de personagens com um clique.

2. Por trás do “drama de um clique”, existem três camadas de inovação tecnológica

Três camadas de inovação tecnológica, como três pilares, sustentam o “drama de um clique” do SkyReels:

Modelo grande de script autodesenvolvido SkyScript, modelo grande de storyboard autodesenvolvido StoryboardGen e a primeira plataforma inovadora do setor, WorldEngine, que integra profundamente mecanismos AI 3D e grandes modelos de vídeo.

SkyScript, um grande modelo de roteiro, é responsável por dominar a “alma” da peça curta – o roteiro.Na verdade, não só o roteiro, mas também o modelo de texto sustenta todo o processo criativo.

Alguns escritores de microcurtas dramáticas tentaram usar o ChatGPT para gerar roteiros, mas descobriram que o resultado final carecia de tensão emocional e mudanças de enredo, e era apenas uma pilha de texto plano. Kunlun Wanwei construiu SkyScript-100M, um conjunto de dados estruturados para dramas curtos de alta qualidade e 100 milhões de níveis. Este conjunto de dados tem anotações de alta qualidade para o ritmo da trama, pontos emocionantes e mudanças emocionais de um grande número de dramas curtos maravilhosos. , e é especialmente projetado para criação de scripts.

Diagrama esquemático técnico de modelo grande do script SkyScript

Princípio de geração de script de storyboard do modelo grande de script SkyScript.

Por exemplo, além de aprender os princípios básicos e os padrões comuns de criação a partir de dados massivos, se você quiser se tornar um sucesso, também precisará descobrir algumas “rotinas” testadas e comprovadas. O público muitas vezes tem uma clara preferência por enredos com ritmo acelerado, conflitos fortes, suspense repetido e múltiplas reversões, como contra-ataque para mudar o destino, esposa dominadora, brigas familiares ricas, viagem no tempo e renascimento, vampiros, lobisomens, etc. também são temas dos quais eles nunca se cansam.

O popular curta-drama de ReelShort, "A vida dupla do meu marido bilionário", é sobre o casamento primeiro e o amor depois. O episódio único dura cerca de 1 minuto e 30 segundos. A partir do 12º episódio, os protagonistas masculinos e femininos rapidamente completaram o aquecimento do relacionamento. na intensa interseção da trama e coberto. Contém tramas como um papel coadjuvante feminino cruel, casamento contratual, um herói salvando uma beleza e uma luta por propriedade. Um relatório detalhado sobre a expansão internacional dos dramas curtos chineses da Guohai Securities.

Ao anotar cuidadosamente os “pontos interessantes” da história que despertam grande interesse do público, como a aparência do protagonista, a composição da cena e as emoções expressadas pelos personagens, o SkyScript aprende a prestar atenção e gerar esses detalhes.

Em termos de arquitetura de modelo, para garantir o profissionalismo e controlabilidade do conteúdo gerado, o SkyScript também adota uma estrutura multiagente. Através da colaboração de “pessoas criativas”, “diretores de elenco”, “roteiristas”, “escritores de romances”, “diretores” e outros agentes inteligentes, o processo de produção industrial é imitado para completar a criação do roteiro.

Avaliação da qualidade do script grande modelo SkyScript.

Em última análise, uma peça curta é a apresentação de uma linguagem visual. Portanto, as outras duas camadas de inovação – StoryboardGen e WorldEngine – focam na “carne e sangue” da peça curta, que é a filmagem.

Assim como o SkyScript, o StoryboardGen, um modelo de storyboard em grande escala autodesenvolvido, também foi treinado com exemplos de storyboard profissionais de alta qualidade no mundo real. Ele é especialmente projetado para design de storyboard e está longe dos modelos de geração de imagens de uso geral. .

Da mesma forma, com base na estrutura multiagente, diferentes elementos do storyboard (cenas, tomadas, personagens, ações, etc.) são decompostos em múltiplos agentes para processamento, o que aumenta muito a controlabilidade e consistência no processo de produção do storyboard.

Diagrama esquemático técnico do StoryboardGen, um grande modelo de storyboard. Semelhante à filmagem de filmes e produção de animação, o StoryboardGen baseado na estrutura multiagente decompõe o processo geral em vários agentes, cada agente é responsável por uma capacidade específica, melhorando a controlabilidade e a consistência no processo de produção do storyboard.

Suponha que haja um roteiro que descreva uma cena, como uma pessoa caminhando no parque.

O LLM Planner primeiro dividirá o roteiro em duas partes.

Entre eles, a descrição global (prompt global): “Uma pessoa está caminhando em um parque ensolarado”;

Descrição local (instrução local): "Esta pessoa é um homem de meia-idade, vestindo roupas casuais, segurando uma xícara de café na mão e caminhando lentamente."

No processo de geração, diferentes agentes desempenham suas próprias funções. Por exemplo, o agente de cena gera o cenário e o layout do parque com base na descrição global; o agente do personagem gera a imagem e as ações do personagem masculino com base na descrição local;

Por fim, o agente Storyboard integra esses conteúdos gerados e gera o storyboard final com base em todas as informações e condições de descrição.

Status de avaliação de qualidade do StoryboardGen do grande modelo de storyboard.

Além da controlabilidade e consistência, para tornar as imagens do storyboard mais expressivas, o StoryboardGen também melhorou bastante a complexidade e a precisão dos detalhes das imagens.

Por exemplo, StoryboardGen usa uma estrutura de geração progressiva baseada em DiT para criar a imagem final por meio de múltiplas modificações e melhorias. Em comparação com os modelos tradicionais de geração única, esta estrutura pode aproveitar ao máximo as informações geradas no processo intermediário para gerar storyboards com maior qualidade e efeitos visuais mais ricos.

A terceira camada de inovação tecnológica é uma plataforma inovadora World Engine, que é a primeira na indústria a conectar perfeitamente tecnologia de geração 3D e tecnologia de geração de vídeo por meio de fusão de camadas e outros métodos, o que equivale a fornecer aos criadores uma poderosa "câmera" ” ou mesmo “estúdio”.

WorldEngine combinaA controlabilidade precisa do mecanismo (como simulação de iluminação, simulação física, espaço 3D, interação em tempo real, etc.) e a capacidade de geração de fantasia do grande modelo de vídeo AI, fornece um novo modo de criação de vídeo híbrido online, permitindo que a criação de vídeo passe da geração difusa para uma geração mais precisa e controlável.

Suponha que você esteja fazendo uma cena onde um Pikachu está se divertindo sob uma fonte. Você pode deixar o Sky3DGen criar uma cena de fonte precisa ao mesmo tempo, deixar o modelo de vídeo gerar um Pikachu realista.

Caso de vídeo gerado híbrido

Link do vídeo: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Sabemos que grandes modelos de vídeo como Sora podem facilmente gerar efeitos quase realistas incomparáveis ​​​​aos motores de jogo e cheios de imaginação, mas não entendem o mundo físico e não conseguem simular com precisão algumas das interações físicas mais básicas, como vidro quebrando e comendo.

A vantagem do motor de jogo reside na simulação precisa das leis físicas da vida real. Através de modelos matemáticos complexos, pode criar um ambiente virtual que seja coerente no espaço e no tempo e esteja em conformidade com leis objetivas. Não só garante a consistência e previsibilidade da renderização dos resultados, mas também demonstra uma compreensão profunda do espaço tridimensional.

Como uma das maiores empresas de desenvolvimento e operação de jogos na China, não é surpreendente que Kunlun Wanwei tenha desenvolvido seu próprio modelo grande Sky3DGen e “complementa suas vantagens” com o modelo grande de vídeo, proporcionando aos criadores um novo modelo de criação híbrido.

No SkyReels, você pode alterar várias cenas e formas 3D e até mesmo performances de personagens.

Caso de geração de vídeo 3D

Link do vídeo: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Caso de geração de vídeo de cena 3D

Link do vídeo: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

O desempenho do personagem é um dos elementos centrais das peças curtas. Kunlun Wanwei desenvolveu de forma independente o modelo de geração de desempenho do personagem ActorShow, que possui capacidades de geração controláveis ​​​​mais fortes de expressões bucais e movimentos corporais.

Link do vídeo: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Avaliação da qualidade de modelos de geração de desempenho de personagens.

Durante o processo de criação, os usuários também podem definir livremente o estúdio de filmagem virtual 3D.

Quer filmar uma história no deserto hoje? Com alguns cliques, todo o cenário se transforma em um vasto deserto. Você vai filmar na estação espacial amanhã? Com mais alguns cliques, o ambiente se transformou no interior de uma estação espacial de alta tecnologia.

Você pode até posicionar e mover câmeras virtuais no estúdio virtual para experimentar vários ângulos de filmagem. Ajuste a luz e adicione efeitos especiais para obter um efeito fotográfico muito profissional.

Devido ao uso do motor, o WorldEngine alcançou uma redução revolucionária no custo em comparação com a geração de vídeo tradicional e, ao mesmo tempo, a velocidade de geração e a controlabilidade foram melhoradas em várias ordens de grandeza.

3. Aposte no AI UGC e depois vá para a mesa de pôquer

SkyReels, a plataforma de curtas-metragens de IA, é o mais recente membro da matriz de produtos da camada de aplicação de IA de Kunlun Wanwei.

Antes disso, eles construíram com sucesso uma gama diversificada de produtos, incluindo pesquisa de IA, música de IA, vídeo de IA, redes sociais de IA, jogos de IA, etc., e alguns de seus negócios foram comercializados.

Como uma das primeiras empresas chinesas a explorar o mercado global, com mais de dez anos de experiência na indústria de conteúdo e entretenimento, Kunlun Wanwei percebeu que a plataforma UGC (conteúdo gerado pelo usuário) manteve uma tendência duradoura no Prevê-se também que a intervenção da AIGC não só diversificará os métodos de criação de propriedade intelectual para artigos da Web, peças curtas, animações e jogos, mas, mais importante ainda, reduzirá significativamente o limiar para a criação de conteúdos.

Como diz a indústria: “Cada vez que o limite para a produção de conteúdo duplica, o número de pessoas que criam conteúdo aumenta dez vezes, o que indica enormes oportunidades de mercado”.

Portanto, Kunlun está comprometido em construir uma plataforma UGC abrangente com IP como núcleo, para que todos os usuários que usam IA para criar possam completar o ciclo fechado completo de IP. Eles sabem muito bem que uma ferramenta que pode ocultar todos os detalhes técnicos e gerar conteúdo de ponta a ponta tem valor comercial real. Essa também é a lógica profunda de produtos de “geração com um clique”, como o SkyReels.

Além de construir uma plataforma AI UGC no nível superior, no nível inferior, Kunlun Wanwei também está empenhado em desenvolver a base para grandes modelos de uso geral. Isto decorre de uma visão simples, mas profunda: de uma perspectiva técnica, a sabedoria humana é precipitada na forma de texto, e todos os modelos exclusivos para redes sociais, jogos, música e vídeos são inseparáveis ​​do suporte de grandes modelos de texto.

O modelo Tiangong desenvolvido por Kunlun Wanwei foi iterado para a versão 3.0. "Tiangong 3.0" adota uma arquitetura MoE de 400 bilhões de parâmetros e é atualmente um dos modelos MoE de código aberto com os maiores parâmetros de modelo e o desempenho mais forte do mundo. Em muitos resultados de avaliação multimodais confiáveis, como o MMBench, o "Tiangong 3.0" ultrapassou o GPT-4V e muitos indicadores de avaliação atingiram o nível de liderança mundial.

Com uma sólida base de modelos de uso geral, Kunlun Wanwei avançou passo a passo em direção aos campos de conteúdo e entretenimento, estendendo seus recursos de modelo horizontalmente - de música, diagramas literários, geração de vídeo a geração de dramas curtos, e lançou sucessivamente SkyMusic AI grande música modelo, modelo grande multimodal Skywork -MM, modelo grande de script SkyScript, modelo grande de storyboard StoryboardGen, modelo grande Sky3DGen 3D, etc.

Fang Han, presidente e CEO da Kunlun Wanwei, previu certa vez que, assim como as câmeras revolucionaram os métodos de filmagem e geraram um grande número de plataformas de vídeos curtos, como Douyin e Kuaishou, a IA também gerará um grande número de novos UGC de IA. plataformas. Ele acredita firmemente que apenas o modelo “gratuito + para C” pode criar empresas verdadeiramente gigantescas na era da IA.

Para a Kunlun Technology, que possui genes 2C profundos, a ascensão do AIGC é sem dúvida uma oportunidade rara. Esta empresa, que sempre sonhou em crescer e se tornar uma empresa líder em tecnologia de inteligência artificial, inicialmente pensou que tinha perdido a oportunidade de entrar na mesa de pôquer, mas não esperava que a AIGC abrisse uma nova porta para eles. Eles estão trabalhando duro, estão dando tudo de si. ‍

Endereço interno do aplicativo beta: https://skyreels.ai/beta