a mesma imagem pode aparecer em cenas diferentes! grande modelo de vídeo vidu recebe grande atualização
2024-09-15
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
em 11 de setembro, vidu, um modelo de vídeo original desenvolvido em conjunto pela shengshu technology e pela universidade tsinghua, recebeu uma grande atualização com a função "consistência de assunto". esta função pode alcançar a geração consistente de qualquer assunto, tornando o vídeo a geração é. mais estável e controlável. este recurso está atualmente aberto aos usuários gratuitamente.
a função de referência de assunto é lançada online para resolver o problema de consistência de função
atualmente, seja a função de imagem de vincent ou a função de vídeo de vincent, um problema amplamente criticado é a consistência da imagem na imagem ou no vídeo. as mesmas palavras de alerta e o mesmo modelo grande são gerados duas vezes, e o conteúdo gerado é diferente nas obras artísticas, isso fará com que a imagem do protagonista seja inconsistente, e também se tornou uma das maiores diferenças entre os gerados pela ia. obras e seres humanos um.
para resolver este problema, a indústria tem tentado adotar o método de "primeiro a ia gera imagens, depois as imagens geram vídeos", usando ferramentas de desenho de ia como midjourney para gerar imagens divididas, primeiro mantendo o assunto consistente na imagem nível e, em seguida, converter essas imagens em clipes e editá-los.
mas o problema é que a consistência do desenho da ia não é perfeita e muitas vezes precisa ser resolvida através de modificações repetidas e redesenho parcial. mais importante ainda, o processo real de produção de vídeo envolve muitas cenas e lentes. quando esse método lida com cenas de lentes multicomponentes, a carga de trabalho de desenho é enorme, o que pode representar mais da metade de todo o processo, e o conteúdo final do vídeo também. falta criatividade e flexibilidade devido à dependência excessiva de tomadas divididas.
no evento de dia aberto à mídia realizado pela shengshu technology em 11 de setembro, a shengshu technology demonstrou a função "referência de assunto". esta função permite aos usuários fazer upload de uma imagem de qualquer assunto, e o vidu pode bloquear a imagem do assunto e descrevê-la através de você. pode mudar de cena arbitrariamente e gerar um vídeo com o mesmo assunto.
esta função não se limita a um único objeto, mas está orientada para “qualquer assunto”. seja uma pessoa, um animal, uma mercadoria, um personagem de animação ou um assunto fictício, pode garantir sua consistência e controlabilidade na geração de vídeo. video uma grande inovação no campo da geração. o vidu também é o primeiro grande modelo de vídeo do mundo a suportar esse recurso.
por exemplo, ao usar “referência de assunto” para personagens, sejam eles pessoas reais ou personagens fictícios, o vidu pode manter suas imagens consistentes em diferentes ambientes e sob diferentes lentes. tang jiayu, presidente e ceo da rushengshu technology, mostrou no local que ao fornecer a imagem de lin daiyu interpretado por chen xiaoxu, em diferentes cenas e roupas diferentes, a cena de "lin daiyu tomando café" pode ser vista como "o mesmo lin daiyu".
tang jiayu, presidente e ceo da shengshu technology, demonstrou a função de “referência de assunto” no local. foto do repórter da beijing news shell finance, luo yidan
a coerência da criação de vídeos de ia melhorará muito a era da narrativa completa de ia.
com base nesta função, o diretor da estação central de rádio e televisão da china e artista da aigc, shi yuxiang (senhai fluorescência), criou um curta-metragem de animação "summer gift". ao compartilhar o processo criativo, ele disse que, em comparação com a função básica de vídeo de tusheng, "o". a função "referência do assunto" elimina as restrições das imagens estáticas, e as imagens geradas são mais atraentes e livres, melhorando muito a coerência da criação. ao mesmo tempo, ajudou-o a poupar cerca de 70% da carga de trabalho de produção de imagens e melhorou significativamente a eficiência, permitindo-lhe concentrar-se mais no polimento do conteúdo da história em vez de gerar materiais fotográficos. ao mesmo tempo, a consistência facilita a pós-edição.
shi yuxiang, diretor da estação central de rádio e televisão da china e artista da aigc, demonstrou a animação criada através da função "referência de assunto" no local. pode-se observar que a imagem do protagonista na animação permanece estável. foto do repórter da beijing news shell finance, luo yidan
tang jiayu disse que o lançamento da nova função de "referência de assunto" representa o início de uma narrativa completa de ia, e a criação de vídeos de ia também avançará para um estágio mais eficiente e flexível. quer você esteja fazendo pequenos vídeos, animações ou comerciais, na arte da narrativa, um sistema narrativo completo é uma combinação orgânica de elementos como “assunto consistente, cena consistente, estilo consistente”.
portanto, para que um modelo de vídeo alcance integridade narrativa, ele deve ser totalmente controlável nesses elementos centrais. o recurso “body reference” é um passo importante em direção à consistência do vidu, mas é apenas o começo. no futuro, a vidu continuará a explorar como controlar com precisão elementos complexos, como interação multi-assuntos, estilo unificado e alternância estável de cenas em mudança para atender às necessidades narrativas de nível superior.
ele disse que, de uma perspectiva de longo prazo, uma vez alcançada a controlabilidade abrangente, a indústria de criação de vídeo passará por uma mudança disruptiva. até então, personagens, cenas, estilos e até mesmo elementos como uso de lentes, efeitos de luz e sombra serão transformados em parâmetros flexíveis e ajustáveis. os usuários só precisam mover os dedos e ajustar os parâmetros para concluir a criação de uma obra de imagem, e por trás de cada obra estará a visão de mundo e a autoexpressão únicas do usuário baseadas em ia.
beijing news shell finance repórter luo yidan editor wang jinyu revisando yang li
