notícias

para resolver o problema de consistência do modelo de geração de vídeo, a versão chinesa do "sora" vidu libera a capacidade de "travar o assunto com uma imagem"

2024-09-11

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

em 11 de setembro, a shengshu technology realizou um evento de dia aberto à mídia e lançou a função "consistência de assunto", que pode alcançar a geração consistente de qualquer assunto, tornando a geração de vídeo mais estável e controlável. entende-se que esta função está atualmente aberta aos usuários gratuitamente.

anteriormente, no final de abril, o vidu, um modelo de vídeo original em grande escala desenvolvido em conjunto pela shengshu technology e pela universidade tsinghua, foi lançado ao mundo. foi lançado oficialmente no final de julho e está totalmente aberto para uso.

tang jiayu, ceo da shengshu technology, disse aos repórteres da mídia, incluindo repórteres do "daily economic news", no dia aberto, que a função de "referência de assunto" se destina a resolver as limitações "incontroláveis" do modelo de vídeo. atualmente, os modelos de vídeo apresentam limitações como continuidade fraca e saída aleatória. a fraca continuidade significa que a consistência do tema, cena, estilo, etc. não pode ser garantida sempre que um vídeo é gerado, especialmente quando estão envolvidas interações complexas. a saída aleatória significa que os resultados de saída são relativamente aleatórios e exigem tentativas contínuas de geração. o controle preciso e preciso de detalhes, como movimento do espelho e efeitos de luz, não pode ser alcançado.

fonte da foto de tang jiayu, ceo da shengshu technology: foto do repórter diário li shaoting

anteriormente, a indústria tentou adotar o método de "primeiro a ia gera imagens, depois as imagens geram vídeo", usando ferramentas de desenho de ia para gerar imagens divididas, primeiro mantendo o assunto consistente no nível da imagem e depois convertendo as imagens em vídeo clipes e editá-los e sintetizá-los.

na função "referência de assunto", os usuários podem fazer upload de uma imagem de qualquer assunto para bloquear a imagem do assunto, alternar cenas arbitrariamente por meio de descritores e gerar um vídeo com o mesmo assunto. esta função não se limita a um único objeto, mas está aberta a “qualquer assunto”, incluindo personagens, animais, mercadorias, personagens de animação, temas de ficção, etc.

notícias econômicas diárias

relatório/comentários