notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Texto | Yu Jinglin

Editora|Anita Tang

O súbito surgimento de Sora chocou o mundo com seus impressionantes efeitos de vídeo, mas também expôs algumas limitações.

Um problema importante é que o Sora pode gerar até 60 segundos de vídeo por vez. A desvantagem é que ele não pode garantir a coerência entre vários clipes gerados.

Tomemos como exemplo o trabalho "air head" de Shy Kids exibido no site oficial da OpenAI. Em primeiro lugar, a cena específica contém alguns elementos desnecessários, como o padrão inesperado do rosto no balão.

Em segundo lugar, os atributos do mesmo objeto (como a cor e o tipo de balão) mudam de forma inconsistente entre os diferentes clipes, afetando a coerência e a suavidade narrativa do vídeo. O modelo também pode gerar algumas informações redundantes, como a geração de cordas adicionais na amarração do balão.

Fonte: Mudança de Estúdio

Esses problemas indicam que Sora possui deficiências na controlabilidade do conteúdo gerado, o que afeta a lógica narrativa e a coerência do vídeo.

"Change Studio" espera resolver esses problemas. O fundador acredita que ferramentas de geração de vídeo como o Sora expandem os limites da criação e demonstram a possibilidade de produzir grandes quantidades de conteúdo de alta qualidade, impulsionando assim a transformação das ferramentas da indústria downstream. Em outras palavras, o modelo semelhante ao Sora remodelou a indústria ecológica de conteúdo de vídeo, e a cadeia de produção será redefinida como os dois estágios principais da produção inteligente de materiais originais e do pós-processamento refinado. A produção de materiais é concluída por ferramentas de geração como Sora, e o pós-processamento detalhado é concluído pelo Changing Environment Studio.

Fonte: Mudança de Estúdio

Falando sobre os antecedentes da criação do "Change Studio", o fundador disse a 36 Krypton: "Atualmente, a maioria dos produtos de edição de vídeo no mercado tem altos limites operacionais. Embora os tutoriais oficiais sejam fornecidos, eles são relativamente simples e os criadores ainda precisam seja proficiente em usá-los. Você precisa explorá-lo sozinho.

No início de 2023, a equipe começou a conceber o lançamento de um software de produção de efeitos especiais de vídeo simples e fácil de usar e, meio ano depois, concluiu o planejamento da rota de produção da tecnologia. Em outubro do mesmo ano, recebeu uma semente. rodada de 3 milhões de yuans investidos pelo Cloud Angel Fund.

Tomando a substituição de personagens como exemplo, o Scenery Changing Studio primeiro analisa os materiais enviados pelos usuários e extrai os movimentos dos personagens, trajetórias de câmera e reconstrução de cena 3D, conseguindo assim uma separação em camadas dos elementos de vídeo.

Este tipo de controle é diferente da tecnologia geral de geração de vídeo, mas realiza o controle em nível de parâmetro dos elementos do vídeo no espaço 3D para garantir o conteúdo e a coerência lógica dos videoclipes.

Fonte: Mudança de Estúdio

Em termos de classificação de cores, o "Change Studio" implementa a correspondência automática da luz ambiente. Por meio do editor do "Change Studio", os usuários podem selecionar facilmente qualquer caractere no vídeo e usar a tecnologia de IA para realizar reconhecimento automático, rastreamento, remoção e preenchimento de fundo. de personagens, eliminando muitas operações manuais repetitivas, melhorando a eficiência da criação de vídeo secundário, permitindo que as pessoas se concentrem mais no trabalho criativo.

Os criadores de vídeo são o principal grupo alvo do Changjing Studio. A equipe disse que os usuários-alvo típicos do Changjing Studio serão aqueles usuários finais C com certas capacidades criativas e experiência em plataformas como YouTube, Douyin e Bilibili, bem como pequenos clientes finais B.