notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Texto/Tecnologia Tencent Zhou Xiaoyan

Deixe-me contar uma coisa nova: nos pequenos dramas que você assistirá no futuro, da frente aos bastidores, pode não haver “pessoas” neles.

No modelo tradicional, a cadeia de produção de um pequeno drama, desde o desenvolvimento do roteiro, produção até distribuição, está cheia de “pessoas”. Mas agora, devido ao surgimento da IA, pode ser necessária apenas uma pessoa que possa girar o mouse. na frente da tela. O diretor pode concluir todos os processos.

Em 19 de agosto, Kunlun Wanwei lançou SkyReels, a primeira plataforma de curtas-metragens de IA do mundo que integra grandes modelos de vídeo e grandes modelos 3D. A plataforma SkyReels integra geração de roteiro, personalização de personagens, storyboards, enredo, diálogo/BGM e síntese de vídeo, permitindo aos criadores “fazer um drama com um clique” e produzir facilmente vídeos de IA de alta qualidade. O lançamento da plataforma de curtas-metragens Kunlun Wanwei AI, SkyReels, marca um grande salto tecnológico na criação global de curtas-metragens de IA.

Em outras palavras, não há necessidade de contratar atores ou encontrar um local. Você pode usar o poder da IA ​​para criar uma peça curta abrindo SkyReels e operando o teclado.

AI faz esquetes e começa a entrar na “terra de ninguém”.

A ambição de Kunlun Wanwei no curta-metragem sobre IA: criar uma nova espécie que subverta o modelo de produção original

Ir ao exterior para fazer peças curtas não é novidade.

Em 2022, o curta-metragem dramático ReelShort da Chinese Online foi lançado e, um ano depois, ficou em primeiro lugar na lista de entretenimento iOS dos EUA gratuitamente. Logo depois, estrelas em ascensão como ShortTV e DramaBox também continuaram a produzir curtas-metragens de sucesso. Seus temas são principalmente chefes, amor e lobisomens. O curta-metragem dramático de ReelShort, "A vida dupla de meu marido bilionário", inclui "heróis salvando belezas", "brigas de propriedade" e outros segmentos.

Este tipo de dramas curtos são geralmente originais locais, ou seja, as equipes estrangeiras precisam combinar a cultura local e os interesses dos usuários para criar roteiros que atendam aos gostos estéticos dos usuários locais. Eles podem capturar com precisão os pontos da trama que tornam a população local "atraente".

O problema central destas peças curtas é que requerem compreensão e estudo suficientes da cultura local, o ciclo de produção é longo e uma certa quantia de custos é gasta na procura de actores locais.

Na verdade, o modelo inicial de dramas curtos no exterior é muito simples e rudimentar. Eles geralmente legendam diretamente os dramas locais chineses e depois os transmitem localmente. Para reduzir a sensação de dissonância, algumas equipes estrangeiras usarão a IA para falar com os atores. dramas curtos. O modelo foi otimizado para parecer "um ator com rosto chinês falando falas em inglês", mas alguns espectadores ainda acham isso rígido, assim como quando assistimos filmes e séries de TV europeus e americanos na China, nós. ver atores europeus e americanos com olhos azuis e cabelos verdes. É como se pessoas falassem chinês em um tom estranho, dificultando o envolvimento real do público.

Como resultado, algumas equipes estrangeiras usarão a IA para “mudar os rostos” dos atores em peças curtas, para que possam ser mais aceitos pelos locais.

Pode-se ver que, no passado, para fazer um curta-drama popular, as equipes estrangeiras inventavam vários “truques” e queimavam muito CPU cerebral.

Então, na era dos grandes modelos, existe um pequeno drama que possa quebrar as diferenças culturais, ser independente das restrições linguísticas e usar a IA para resolver todos os aspectos?

Aconteceu que foi no mesmo ano em que ReelShort foi para o mar, Kunlun Wanwei percebeu isso.AIGCoportunidades sistemáticas. Ao revisar os modelos de sucesso na era da Internet móvel, descobrimos que a senha está no modelo "grátis + Para C" E se observarmos as empresas "gigantes" que ainda estão vivas e bem, descobriremos isso. muitos deles irão. Uma certa espécie alcançou o máximo. Com base neste julgamento, Fang Han, presidente e CEO da Kunlun Wanwei, pode seguir este conjunto de lógica para atacar o mercado AIGC.

Kunlun Wanwei pensou em “IA UGC“Estratégia, comece com cenários de alta frequência no lado C, como explorar retratos de unicórnios em faixas subdivididas, como artigos online, peças curtas, animação, música, etc. Entre elas, peças curtas também se tornaram uma opção importante para Kunlun Wanwei executivos. Eles esperam criar uma nova espécie que subverta o modelo original de produção de curtas-metragens.

A plataforma de curtas-metragens de IA SkyReels também nasceu sob essa lógica. É uma plataforma completa de criação de vídeos de curtas-metragens conduzida por IA, desde a geração de roteiro, geração de personagens, fusão de cenas até a geração final de curtas-metragens. gerado.

No geral, SkyReels funciona como um agente de IA do diretor, transformando uma ideia simples em uma peça curta.

Agente do começo ao fim

porSoraApós o surgimento do modelo de geração de vídeo AI representado por , muitos players nacionais e estrangeiros lançaram sucessivamente grandes modelos de geração de vídeo, como Pixverse,Rápido e fácil, Zhiying Qingyuan, e também há vários diretores emergentes que usam esses grandes modelos para produzir obras de cinema e televisão. Embora o uso desses modelos possa obter bons efeitos de geração de vídeo, se você quiser fazer um filme maduro, ainda existem certos requisitos para as habilidades profissionais do próprio usuário. Eles precisam ter altas capacidades de roteiro e habilidades estéticas artísticas.

Por exemplo, os usuários precisam compor a cena com antecedência, imaginar a cena desejada e, em seguida, usar instruções contendo termos profissionais paraNo meio da jornadaApós depurar uma imagem satisfatória no produto, importe-a para o produto de geração de vídeo para fazer ajustes de lente e, por fim, exporte o trabalho.

Embora estas ferramentas também tenham encurtado enormemente a cadeia de produção de obras cinematográficas e televisivas, elas estão mais orientadas paraPUGCGrupos e SkyReels têm um limite inferior de uso. Todo o processo de operação é simples e inteligente. Insira uma ideia e o resto pode ser deixado para a IA.Em comparação, SkyReels, como a primeira plataforma de curtas-metragens de IA do mundo, é um produto UGC com um público maior.

(Demonstração do produto SkyReels)

SkyReels é a primeira plataforma de criação de vídeo do mundo que mistura motores 3D e IA generativa. O processo de utilização também é muito simples. Depois de escolher criar um curta-metragem, insira suas ideias criativas e escolha o estilo de vídeo que deseja, como estilo anime, realismo. , e estilo Ghibli Espere, você pode gerar um script com um clique. O sistema irá gerar personagens automaticamente de acordo com as necessidades do roteiro e da história. Em seguida, o usuário poderá visualizar o roteiro do storyboard gerado automaticamente, convertê-lo em um vídeo com um clique e converter automaticamente o conteúdo em.1080P 60 quadrosVídeo HD;A duração do vídeo pode ser gerada em até 180 segundos por vez, em comparação com Sora, que pode gerar um vídeo de 60 segundos por vez, e Keling, que pode gerar um vídeo de 10 segundos por vez, um avanço significativo.

No geral, a cadeia de produção completa de um pequeno drama cobre a geração de roteiro, customização de personagens, geração de storyboard, filmagem de episódios e pós-produção, e SkyReels pode melhorar a eficiência desta cadeia de produção com três grandes modelos autodesenvolvidos.

No processo de desenvolvimento de conteúdo, o método tradicional de produção de curtas-metragens,Ele seleciona alguns capítulos de romances online prontos e depois os adapta de acordo com as características do curta-metragem. O roteirista precisa ser capaz de combinar os interesses do público e definir de forma inteligente os pontos de virada da trama, de modo a aumentar. a disposição do usuário em pagar pelo próximo capítulo.

SkyReels usa grandes modelos de script autodesenvolvidos neste linkSkyScript, substituindo o desenvolvimento manual de conteúdo das tradicionais peças curtas. Kunlun Wanwei construiu pela primeira vez o SkyScript-100M, um conjunto de dados estruturados de dramas curtos de alta qualidade com 100 milhões de níveis. Este conjunto de dados tem anotações de alta qualidade para o ritmo do enredo, pontos emocionantes e mudanças emocionais de um grande número de dramas curtos maravilhosos; além disso, a equipe de algoritmos projetou a estrutura de geração de scripts gerada progressivamente, permitindo que o modelo produza roteiros altamente estruturados e emocionantes. Tanto roteiristas novatos quanto experientes podem criar roteiros atraentes de peças curtas por meio desse modelo.

Depois de ter uma história comovente, o próximo passo é converter essas histórias em roteiros de filmagem. No modelo de produção tradicional, esse vínculo exige o convite dos atores e a montagem das cenas offline. O diretor precisa se comunicar com os atores sobre o essencial antes da filmagem. envolve mão de obra e custos definidos. Mas todos eles podem ser substituídos por grandes modelos de IA que o SkyReels usa Kunlun Wanwei neste link.Modelo de storyboard grande autodesenvolvido StoryboardGen,Este modelo processa reversamente dados de animação de cinema e televisão para obter um conjunto de dados de storyboard de nível industrial de alta qualidade e projeta uma estrutura multiagente de storyboard para obter geração de cenas, tomadas, personagens e ações de alta qualidade. Em termos de efeitos de geração de imagem, Kunlun Wanwei usa o modelo DiT-Moe desenvolvido por ele mesmo para melhorar a qualidade da imagem.

Assim como no processo formal de filmagem, as tomadas precisam ser integradas organicamente para obter um sistema de história completo.SkyReels usa WorldEngine, que é a primeira plataforma inovadora do setor que integra profundamente mecanismos 3D de IA e grandes modelos de vídeo para alcançar geração 3D, geração de vídeo e criação híbrida de vídeo e 3D.。

A plataforma de inovação WorldEngine consiste em vários sublinks, cada um dos quais utiliza um modelo diferente.

No módulo de geração 3D,É usado o grande modelo Sky3DGen autodesenvolvido, que pode gerar uma variedade de elementos e cenas 3D, de paisagens naturais a cidades futuras, de objetos estáticos a personagens dinâmicos, e fornece recursos de interação de cena 3D em tempo real para que os usuários possam visualizar instantaneamente Ajuste e edite efeitos para acelerar o processo criativo. Com o suporte do WorldEngine, os usuários podem construir um estúdio virtual 3D para obter uma experiência de filmagem virtual.

(Geração inteligente de cenas 3D)

No módulo de criação híbrida de vídeo e 3D, Kunlun Wanwei usa a tecnologia de fusão de camadas como núcleo para criar um modelo de criação híbrida de vídeo e 3D. Qualquer elemento do vídeo pode ser escolhido livremente para ser gerado usando um mecanismo de IA 3D ou um grande modelo de vídeo. Além disso, Kunlun Wanwei treinou separadamente o modelo de geração de fusão para os detalhes de iluminação e diferenças de estilo encontradas na mixagem, para que o vídeo após a fusão das camadas apresente melhor consistência.

(Mixado para gerar vídeo)

Devido ao uso do motor, o WorldEngine conseguiu uma redução de custos em comparação com a geração de vídeo tradicional e, ao mesmo tempo, a velocidade de geração também aumentou em várias ordens de grandeza.

Embora um pequeno vídeo tenha sido basicamente gerado aqui, as pessoas que assistem dramas com frequência também sentirão que boas habilidades de fala e a apresentação do enredo pelo BGM têm o efeito de obter o dobro do resultado com metade do esforço.

Em termos de falas, a tecnologia de compreensão de texto AI do SkyReels, após aprendizado profundo de dezenas de milhares de romances, pode identificar automaticamente o diálogo dos personagens e as expressões emocionais do texto e prever pausas razoáveis ​​​​entre as frases. Em termos de narração, SkyReels usa tecnologia de síntese de fala emocional para ajudar a narração a usar ritmos de altos e baixos para tornar o diálogo do personagem cheio de emoções ricas.

Kunlun Wanwei revelou que o agente inteligente do SkyReels pode não apenas entender o texto, mas também analisar de forma inteligente a atmosfera da cena no roteiro “Com base em recursos avançados de recuperação multimodal e geração de música de fundo (BGM), podemos combinar inteligência de vídeo com fundo razoável. a música faz com que cada quadro se misture perfeitamente com a música.”

A plataforma de curta-metragem de IA de Kunlun Wanwei, SkyReels, é uma ferramenta revolucionária que deverá trazer um crescimento explosivo de conteúdo gerado pelo usuário (UGC) de curta-metragem de IA e conteúdo profissional gerado pelo usuário (PUGC), injetando vitalidade sem precedentes na ecologia do conteúdo de curta-metragem. o rápido crescimento da criação de conteúdo de curta duração e do mercado consumidor. Uma era de criação e consumo de pequenos dramas impulsionada pela tecnologia de IA está chegando.

Layout global de Kunlun Wanwei AI UGC

O relatório de pesquisa da Guohai Securities mencionou que se espera que a IA aumente a capacidade de produção de dramas curtos e reduza custos. O espaço de mercado para curtas-metragens no exterior está previsto de forma conservadora em aproximadamente US$ 36 bilhões.

SkyReels é um epítome da estratégia de layout internacional de Kunlun Wanwei, por trás da qual está seu pensamento estratégico All in AIGC.

Em 2020, o fundador da Kunlun Wanwei, Zhou Yahui, viu o potencial do AIGC e previu que o sistema de IA inauguraria uma era de ouro de novos conteúdos.

O presidente e CEO da Kunlun Wanwei, Fang Han, revisou as oportunidades na era da Internet móvel, resumiu as regras dos produtos de conteúdo populares e descobriu que a maioria deles é do modelo "gratuito + To C", porque a base do grupo é grande o suficiente, desde que o produto pode atingir os usuários Ao identificar os pontos de demanda, podemos alcançar um crescimento exponencial de usuários. Construir uma plataforma "AI UGC" tornou-se a estratégia central da Kunlun Worldwide, que é fornecer serviços a 1% dos criadores de conteúdo e permitir que 99% dos usuários o façam. consumir conteúdo.

Então, quais são as imagens dos produtos que se popularizaram na era AIGC?

Fang Han acredita que quando nascerem novos hardwares terminais e novos telefones celulares adaptados à IA, o AIGC poderá alcançar resultados disruptivos, mas esse processo ainda levará de 3 a 5 anos, e a tarefa principal atual é identificar oportunidades e fazer previsões. aproveite o AIGC.

De acordo com as regras da era da Internet móvel, cada país pode ter seu próprio super App, ou um super App pode dividir território em vários países ao mesmo tempo. Depois de pensar um pouco, Fang Han acreditava que deveria primeiro ocupar países com desempenho e aceitação de alto custo para o usuário, como Europa, Estados Unidos, Japão, Coreia do Sul e China, e então gradualmente se espalhar para o Oriente Médio, Sudeste Asiático, América do Sul e outras regiões.

Depois de delinear os países, a administração de Kunlun Wanwei começou a pensar em categorias verticais que poderiam dar origem a superaplicativos. Eles ficavam se perguntando: “Como podemos nos tornar gigantes do conteúdo que ainda estão vivos na era anterior?” envolvidos em uma determinada indústria vertical de entretenimento, como artigos online, peças curtas e animações, a mesma lógica se repetirá no AIGC.

Atualmente, Kunlun Wanwei realizou um layout sistemático na China em resposta à estratégia "AI UGC" e construiu uma matriz de produtos em grandes modelos, pesquisa de IA, música de IA e outros setores.

Entre eles, o grande modelo de Kunlun Wanwei passou por muitas iterações:

Nova versão lançada em fevereiroMoEO grande modelo de linguagem "Tiangong 2.0" e a nova versão do APP "Tiangong AI Intelligent Assistant";

Em abril, o modelo básico "Tiangong 3.0" e o modelo musical "Tiangong SkyMusic" foram lançados oficialmente para testes públicos;

Em junho, Kunlun Wanwei abriu o código-fonte do grande modelo esparso Skywork-MoE de 200 bilhões, que faz parte do "Tiangong 3.0".IA abertaAo alegar bloquear o tráfego de API de países e regiões não suportados, a Tiangong Open Platform lançou um "plano de realocação de um clique" para usuários da API OpenAl e forneceu recursos de chamada de API de 150 milhões de tokens, incluindo os modelos Tiangong 2.0 e Tiangong 3.0.

Ao iterar modelos grandes, a pesquisa de IA também entrou no foco principal de Fang Han, Kunlun Wanwei, apresentou a pesquisa de IA um ano antes do SearchGPT da OpenAI e atualizou o produto de pesquisa este ano para oferecer suporte à pesquisa de texto, imagens, vídeos, etc. pode apresentar resultados na forma de mapas mentais, tabelas, esboços, etc., e pode salvar esboços e mapas mentais para gerar PPT diretamente.

Além do nível do produto, Kunlun Wanweiya se uniu a universidades internacionais para desenvolver o kit de ferramentas de P&D de agente digital de código aberto AgentStudio para fornecer aos pesquisadores e desenvolvedores uma plataforma abrangente que cobre todo o processo de desenvolvimento de agentes.

Quer seja nacional ou estrangeiro, cada sistema linguístico precisa do seu próprio conjunto de produtos. Kunlun Wanwei acredita que o período de dividendos globais da plataforma AIGC está prestes a chegar.