nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

La rubrique AIxiv est une rubrique dans laquelle Machine Heart publie du contenu académique et technique. Au cours des dernières années, la rubrique Heart of the Machine AIxiv a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : [email protected] ; [email protected] ;

Aucune formation ni réglage fin n'est requis, et le mouvement de la vidéo de référence peut être cloné dans la nouvelle scène spécifiée par le mot d'invite. Qu'il s'agisse d'un mouvement global de la caméra ou d'un mouvement local du corps, cela peut être effectué en un seul clic.

Article : https://arxiv.org/abs/2406.05338

Page d'accueil : https://bujiazi.github.io/motionclone.github.io/

Code : https://github.com/Bujiazi/MotionClone

Cet article propose un nouveau cadre appelé MotionClone. Étant donné n'importe quelle vidéo de référence, les informations de mouvement correspondantes peuvent être extraites sans formation ni réglage précis du modèle ; ces informations de mouvement peuvent directement guider la génération de nouvelles vidéos avec des invites textuelles. avec un mouvement personnalisé (text2video).

Par rapport aux recherches précédentes, MotionClone présente les avantages suivants :

Aucune formation ou réglage précis n'est requis : les approches précédentes nécessitaient souvent des modèles de formation pour encoder les signaux de mouvement ou pour affiner les modèles de diffusion vidéo pour s'adapter à des modèles de mouvement spécifiques. Les modèles d'entraînement pour coder les signaux de mouvement ont une faible capacité de généralisation pour se déplacer en dehors du domaine d'entraînement, et le réglage fin des modèles de génération vidéo existants peut endommager la qualité de génération vidéo sous-jacente du modèle de base. MotionClone ne nécessite l'introduction d'aucune formation supplémentaire ou réglage fin, améliorant les capacités de généralisation du mouvement tout en conservant au maximum la qualité de génération du modèle de base.

Qualité de mouvement supérieure : il est difficile pour les modèles vidéo Wensheng open source existants de générer des mouvements importants et raisonnables. MotionClone introduit le guidage de mouvement d'attention temporelle du composant principal pour améliorer considérablement l'amplitude de mouvement des vidéos générées tout en garantissant efficacement la rationalité des mouvements.

Meilleure relation de position spatiale : afin d'éviter l'inadéquation sémantique spatiale qui peut être causée par le clonage de mouvement direct, MotionClone propose un guidage des informations sémantiques spatiales basé sur des masques d'attention croisée pour aider au couplage correct des informations sémantiques spatiales et des informations de mouvement spatio-temporelles.

Informations de mouvement dans le module d'attention temporelle

Dans le travail vidéo généré par du texte, le module d'attention temporelle (Temporal Attention) est largement utilisé pour modéliser la corrélation inter-images des vidéos. Étant donné que le score de la carte d'attention dans le module d'attention temporelle représente la corrélation entre les images, une idée intuitive est de savoir s'il est possible de reproduire les connexions inter-images en contraignant les scores d'attention pour réaliser le clonage de mouvement.

Cependant, des expériences ont montré que la copie directe de la carte d'attention complète (contrôle simple) ne peut obtenir qu'un transfert de mouvement très approximatif. En effet, la plupart des poids de l'attention correspondent à du bruit ou à des informations de mouvement très subtiles, difficiles à combiner avec le mouvement. d’une part, la combinaison de nouveaux scénarios prescrits, d’autre part, masque un guidage des mouvements potentiellement efficace.

Afin de résoudre ce problème, MotionClone introduit le mécanisme de guidage de l'attention temporelle des composants principaux (Guidage de l'attention temporelle primaire), qui utilise uniquement les composants principaux de l'attention temporelle pour guider de manière éparse la génération vidéo, filtrant ainsi le bruit et les informations de mouvement subtiles. , réalisant un clonage efficace du mouvement dans de nouveaux scénarios spécifiés par le texte.

correction sémantique spatiale

Le guidage de mouvement de l'attention temporelle du composant principal peut réaliser le clonage de mouvement de la vidéo de référence, mais il ne peut pas garantir que le sujet en mouvement est cohérent avec l'intention de l'utilisateur, ce qui réduira la qualité de la génération vidéo et entraînera même un désalignement du sujet en mouvement dans certains cas. cas.

Afin de résoudre les problèmes ci-dessus, MotionClone introduit un mécanisme de guidage sémantique spatial (guidage sémantique basé sur la localisation), divise les zones d'arrière-plan avant et arrière de la vidéo via un masque d'attention croisée et assure la sémantique spatiale en contraignant respectivement les informations sémantiques de l'arrière-plan avant et arrière de la vidéo. La disposition rationnelle favorise le couplage correct du mouvement temporel et de la sémantique spatiale.

Détails de la mise en œuvre de MotionClone

Inversion DDIM : MotionClone utilise l'inversion DDIM pour inverser la vidéo de référence d'entrée dans l'espace latent afin d'obtenir l'extraction de la composante principale de l'attention temporelle de la vidéo de référence.

Étape de guidage : au cours de chaque débruitage, MotionClone introduit simultanément le guidage de mouvement d'attention temporel des composants principaux et le guidage d'informations sémantiques spatiales, qui fonctionnent ensemble pour fournir un guidage complet de mouvement et sémantique pour la génération vidéo contrôlable.

Masque gaussien : dans le mécanisme de guidage sémantique spatial, la fonction du noyau gaussien est utilisée pour brouiller le masque d'attention croisée afin d'éliminer l'influence des informations structurelles potentielles.

30 vidéos de l'ensemble de données DAVIS ont été utilisées pour les tests. Les résultats expérimentaux montrent que MotionClone a obtenu des améliorations significatives en termes d'ajustement du texte, de cohérence temporelle et d'indicateurs d'enquête auprès de plusieurs utilisateurs, surpassant les méthodes de transfert de mouvement précédentes. Les résultats spécifiques sont présentés dans le tableau ci-dessous.

La comparaison des résultats de génération de MotionClone et des méthodes de transfert de mouvement existantes est présentée dans la figure ci-dessous. On peut voir que MotionClone a des performances de pointe.

Pour résumer, MotionClone est un nouveau cadre de transfert de mouvement qui peut cloner efficacement le mouvement de la vidéo de référence vers la nouvelle scène spécifiée par le mot d'invite donné par l'utilisateur sans avoir besoin de formation ou de réglage fin. Les modèles vidéo sont plug-and-play. personnalisation sportive.

MotionClone introduit un guidage efficace des informations de mouvement des composants principaux et un guidage sémantique spatial sur la base du maintien de la qualité de génération du modèle de base existant. Tout en garantissant la capacité d'alignement sémantique avec le texte, il améliore considérablement la cohérence du mouvement avec la vidéo de référence et atteint une qualité élevée. -génération vidéo contrôlable.

De plus, MotionClone peut s'adapter directement à des modèles de communauté riches pour réaliser une génération vidéo diversifiée et présente une évolutivité extrêmement élevée.