nuntium

MotionClone: ​​Nulla disciplina requiritur, unum-click exquisitis motibus video

2024-07-15

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

AIxiv columna columna est ubi Machina Cordis contenta academica et technica publicat. Praeteritis his annis, Cor Machinae AIxiv columnam plus quam 2.000 reportavit, tecta laboratatoria a maioribus universitatibus et societatibus circum orbem terrarum, efficaciter promovens permutationes academicas et disseminationem. Si egregium opus habes quod communicare vis, libenter senties nos conferendi vel nuntiandi contactum. Submissio inscriptio: [email protected];

Nulla disciplina vel bene-tunsio requiritur, et motus relationis video ligari potest in nova scena, quam prompto verbo definitur.



Paper: https://arxiv.org/abs/2406.05338

Pagina: https://bujiazi.github.io/motionclone.github.io/

Code: https://github.com/Bujiazi/MotionClone

Haec charta novam compagem, quae MotionClone vocatur. Proponit, posito quovis referente video, motus congruens informationes extrahi potest sine exemplari disciplinae vel bene-tunicae; with nativus motus (text2video).



MotionClone comparatus cum praecedente inquisitione haec commoda habet:

Nulla rudimenta vel cinematographica requiritur: Previous accedit saepe formationem exemplorum ad encode motus cues seu cinematographicae diffusionis exempla ut apta exemplaria motus specifici. Exercitatio exempla ad motum affirmationum enodandi pauperem generalem facultatem habet ad movendum extra dominium disciplinae, et exempla generationis video bonae exsistentes, potest laedere subiectam video generationis qualitatem basis exemplaris. MotionClone inductionem non requirit ullius disciplinae vel bene-tunicae accessionis, augens motum facultatum generalizationum, servata generationis qualitate basis exemplaris quam maxime.

Motus altioris qualitatis: Difficile est fontem videre Wensheng aperta exempla motus magnos et rationabiles generare.

Melior situs localis relatio: Ad vitandum spatii semantici mismatch, qui per motum directum perstringendi causari possunt, MotionClone proponit informationem spatii semanticam ductionem in larvis crucis attentionis adiuvandi ut in recta coitu notitiarum spatiorum semanticarum et spatiotemporali notitiarum motuum.

Motus informationes in temporali attentione moduli



In opere video generato, attentio temporalis moduli (Attentionis temporalis) late adhibetur ad exemplar inter machinas reciproci videos. Cum intentio geographica score in temporali attentione moduli rationem inter tabulas repraesentat, idea intuitiva est num iungi possit nexus inter artus replicare, cogente intentione ustrorum ad motum perstringendum.

Attamen experimenta inventa sunt, quae exscribenda recta tabula integram attentionem (platem continentem) nonnisi valde asperam motum translationis consequi possunt. Hoc est, quia pleraque gravia in attentione respondeant sono vel notitiae motuum subtilissimorum, quae difficulter coniunguntur cum thea textus ex altera parte.

Ad solvendam hanc quaestionem, MotionClone ducit mechanismum principalem attentum temporale moderamen (praecipua moderatio-attentionis temporalis), quae tantum principales partes in temporalibus attentionem adhibet ut sparsim ductus video generationis, percolando strepitum et subtilem motum informationem negativam , efficax pervestigatio motus in novis missionibus a textu determinatis assequendis.



locus semantic correptio

Motus regimen principale componentium temporalium attentionem consequi potest motum exquisitum relationis video, sed non potest efficere ut subiectum movens consentaneum sit cum intentioni utentis, quae qualitatem video generationis reducere atque etiam ad misalignationem alicuius subiecti moventis. capp.

Ad solvendas quaestiones praedictas, MotionClone ducit mechanismum spatialem semanticum (adspectus locus-semanticus ducatus) anteriorem et posticam condicionem imaginis per Crucis Operam Mask dividit, et semanticam spatialem efficit ut semanticam informationem respective constringat Ante et posticum in rerum prospectu video.

MotionClone implementation details



DDIM Inversio: MotionClone utitur DDIM Inversio ad invertendum initus relationis video in spatium latens ad attentum temporalem obtinendam principalem partem extractionem relationis relationis.

Ductus scaenicus: Dum singula deprimunt, MotionClone simul inducit attentum motum principalem componentem temporalem directionem et semanticam informationem spatii localem, quae simul ad motum comprehensivum et semanticam gubernationem praebent ad gubernationem video generationis.

Persona Gaussiana: In ductu locali mechanismo, munus nuclei Gaussiani adhibetur larva crucis attentionis ad tollendam influxum informationis structurae potentialis.

30 videos e DAVIS dataset ad probationem adhibebantur. Experimentales eventus ostendunt MotionClone significantes emendationes in textu aptae, timidae constantiae consecutos esse, et plures indices usorum perlustrandos, praecedentes motus translationis methodos.



Comparatio generationis eventus MotionClone et motus existentis modi translationis in figura infra ostenditur.



Ad summam, MotionClone novus motus translationis compages est, qui efficaciter occludere potest motum in relationis video ad novam scenam quae a verbo prompti usoris datam sine necessitate formandi vel bene-tuning praebent ludis css.

MotionClone inducit motum efficientem principalem informationem directionem et regimen semanticum spatii in ratione retinendi generationis qualitatem exsistentis basis exemplar. -controllable video generationem.

Praeterea MotionClone protinus aptare potest ad exempla opulenta communitatis ad varias species generationis consequendas, et perquam altam scalabilitatem habet.