uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Jin Lei tulee Aofein temppelistä
Qubits |. Julkinen tili QbitAI

Soran kotimainen versio on todella hullu.

Juuri nyt,Viisauden spektrin AIsuoraankirkas varjoSuuri malli videoiden sukupolven takana antaaAvoin lähdekoodi。

Ja onEnsimmäinen kaupallisesti saatavilla olevaSellainen juttu!

Tämän mallin nimi onCogVideoX, julkaistu vain GitHubissa5 tuntia, joten hän otti sen villisti3,7 000 tähteä️。

Katsotaanpa suoraan vaikutusta.

Kehotus 1,Lähikuva ihmisistä：

Sodan runteleman kaupungin kummittelevassa taustassa, jossa rauniot ja murentuneet seinät kertovat tarinan tuhosta, koskettava lähikuva kehystää nuoren tytön. Hänen kasvonsa tahraavat tuhkaa, mikä on hiljainen todistus häntä ympäröivästä kaaoksesta. Hänen silmänsä kimaltelevat sekoituksesta surua ja joustavuutta, vangiten raakoja tunteita maailmassa, joka on menettänyt syyttömyytensä konfliktien tuholle.

Videon osoite: https://mp.weixin.qq.com/s/IXRQ6PJ7NteZGXLi2x228g

Voidaan nähdä, että yksityiskohdat, kuten hahmojen silmät, eivät ole erittäin teräviä, vaan jatkuvuus ennen ja jälkeen räpyttelyn myös säilyy.

Palaa kehotteeseen 2,Yksi laukaus loppuun：

Kamera seuraa valkoisen vintage-maastoauton takana mustalla kattotelineellä, kun se kiihdyttää jyrkkää hiekkatietä mäntyjen ympäröimänä jyrkällä vuorenrinteellä, sen renkaista nousee pölyä, auringonvalo paistaa maastoautoon, kun se kiihdyttää likaa pitkin tie loi lämpimän hehkun kohtauksen yli. Hiekkatie kaartaa loivasti kaukaisuuteen, eikä muita autoja tai ajoneuvoja ole näkyvissä. Tien kummallakin puolella olevat puut ovat punapuita, joiden viheralueita on hajallaan. Autoa nähdään takaapäin helposti mutkassa, mikä saa sen näyttämään siltä kuin se olisi ajettavassa karussa maastossa. Itse hiekkatietä ympäröivät jyrkät kukkulat ja vuoret, ja yläpuolella on kirkas sininen taivas ja ohuita pilviä.

Videon osoite: https://mp.weixin.qq.com/s/IXRQ6PJ7NteZGXLi2x228g

Valo ja varjot, kaukaiset näkymät, lähikuvat ja ajoneuvon ajoprosessi tallentuvat.

Ja nämä tehosteet eivät ole vain virallisia julkaisutoimintoja, niitä voivat pelata verkossa kaikki~

Yksi kortti A100, voidaan luoda 90 sekunnissa

On syytä mainita, että Zhipu AI:n CogVideoX sisältää useita eri kokoja ja avoimen lähdekoodin tällä kertaa CogVideoX-2B.

Sen olennaiset perustiedot ovat seuraavat:

Se vaatii vain 18 Gt videomuistia johtopäätösten tekemiseen FP-16-tarkkuudella ja vain 40 Gt videomuistia hienosäätöön. Tämä tarkoittaa, että yksi 4090-näytönohjain voi suorittaa päättelyn ja yksi A6000-näytönohjain suorittaa hienosäädön.

Ymmärretään, että tämä malli tukee jo käyttöönottoa HuggingFacen diffuusorikirjastossa, ja toiminta on hyvin yksinkertainen, vain 2 vaihetta:

1. Asenna vastaavat riippuvuudet

pip asennus -- päivitä opencv-python muuntajat pip install git+https://github.com/huggingface/diffusers.git@878f609aa5ce4a78fea0f048726889debde1d7e8#egg=diffusers # Vielä PR:ssa

2. Suorita koodi

import torchfrom diffuusers import CogVideoXPipelinefrom diffusers.utils import export_to_videoprompt = "Panda, joka on pukeutunut pieneen punaiseen takkiin ja pieneen hattuun, istuu puisella jakkaralla rauhallisessa bambumetsässä. Pandan pörröiset tassut tuovat pehmeää miniguatuuria. Melodiset sävelet kokoontuvat uteliaasti katsellen, ja auringonvalo suodattuu läpi korkean bambun. Pandan kasvot ovat ilmeikkäät tausta sisältää pienen, virtaavan puron ja eloisan vihreän lehvistön, mikä parantaa tämän ainutlaatuisen musiikkiesityksen rauhallista ja maagista tunnelmaa."pipe = CogVideoXPipeline.from_pretrained("THUDM/CogVideoX-2b",torch_dtype=torch.float16).to("cuda" ")prompt_embeds, _ = pipe.encode_prompt(prompt=prompt,do_classifier_free_guidance=True,num_videos_per_prompt=1,max_sequence_length=226,device="cuda",dtype=torch.float_scale=torch,float_skaalan_id=5 pipee(n_umguidance) ,prompt_embeds=prompt_embeds,).frames[0]export_to_video(video, "output.mp4", fps=8)

Ja yhden kortin A100:ssa videon luomiseen kuluu vain 90 sekuntia, seuraamalla äskeisiä ohjeita.

HuggingFacessa myös Zhipu AI on tehnyt senPelattavissa verkossademo,Henkilökohtainen testivaikutusseuraavasti:

Videon osoite: https://mp.weixin.qq.com/s/IXRQ6PJ7NteZGXLi2x228g

Kuten näet, luotuja tuloksia ei voi ladata vain .mp4-muodossa, vaan myös GIF-muodossa.

Joten seuraava kysymys on, kuinka Zhipu AI tekee sen?

Lehti on myös julkistettu

Zhipu AI ei ainoastaan ​​tällä kertaa käyttänyt avoimen lähdekoodin videon sukupolven mallia, vaan myös julkaisi sen takana olevan teknisen raportin.

Raportissa on kolme suurta teknistä kohokohtaa, joista kannattaa puhua.

Ensinnäkin tiimi kehitti tehokkaanKolmiulotteinen variaatioautoenkooderin rakenne(3D VAE), pakkaa alkuperäisen videotilan 2 prosenttiin koosta, mikä vähentää huomattavasti videon diffuusion generointimallin koulutuskustannuksia ja koulutusvaikeutta.

Mallirakenne sisältää kooderin, dekooderin ja latentin tilanreguloijan, ja pakkaus saadaan aikaan neljällä ala- ja ylösnäytteistysvaiheella. Ajallinen kausaalikonvoluutio varmistaa tiedon kausaalisuuden ja vähentää viestintäkustannuksia. Tiimi käyttää kontekstuaalista rinnakkaisuutta sopeutuakseen laajamittaiseen videonkäsittelyyn.

Kokeissa tiimi havaitsi, että suuren resoluution koodaus on helppo yleistää, kun taas kehysten määrän lisääminen on haastavampaa.

Siksi tiimi koulutti mallia kahdessa vaiheessa: ensin pienemmillä kuvanopeuksilla ja pienillä erillä ja sitten hienosäädetty korkeammilla kuvanopeuksilla kontekstuaalisen rinnakkaisuuden avulla. Harjoitteluhäviötoiminto yhdistää L2-häviön, LPIPS-havaintohäviön ja 3D-diskriminaattorin GAN-häviön.

jonka jälkeenExpertTransformer。

Tiimi käytti VAE:n kooderia pakatakseen videon piilevään tilaan, jakoi sitten piilevän tilan paloiksi ja laajensi sen pitkän sekvenssin upotuksiksi z_vision.

Samanaikaisesti he käyttävät T5:tä tekstisyötteen koodaamiseen tekstiin upottamalla z_text ja yhdistävät sitten z_text ja z_vision sekvenssiulottuvuutta pitkin. Jatkoset upotukset syötetään pinoon asiantuntevia muuntajalohkoja käsittelyä varten.

Lopuksi tiimi ompeloi upotukset takaisin alkuperäisen piilevän tilan muodon palauttamiseksi ja dekoodasi VAE:n avulla videon rekonstruoimiseksi.

Viimeinen kohokohta on setiedot.

Tiimi kehitti negatiivisia tunnisteita tunnistaakseen ja sulkeakseen pois huonolaatuiset videot, kuten ylimuokatut, katkonaiset, huonolaatuiset, luentotyyliset, tekstivaltaiset ja näytön kohinaa aiheuttavat videot.

Video-laamalle koulutettujen suodattimien avulla he huomauttivat ja suodattivat 20 000 videodatapistettä. Samalla lasketaan optinen virtaus ja esteettiset pisteet, ja kynnystä säädetään dynaamisesti luodun videon laadun varmistamiseksi.

Videotiedoissa ei yleensä ole tekstikuvauksia, ja ne on muutettava tekstikuvauksiksi tekstistä videoksi -mallin harjoittelua varten. Olemassa olevissa videotekstitystietosarjoissa on lyhyt tekstitys, eivätkä ne pysty kuvaamaan videon sisältöä täysin.

Tätä varten tiimi ehdotti myös putkistoa videotekstityksen luomiseksi kuvien tekstityksistä ja hienosääti päästä päähän -videotekstitysmallia tiheämpien tekstitysten saamiseksi.

Tämä menetelmä luo lyhyet tekstitykset Panda70M-mallin kautta, tiheät tekstitykset käyttämällä CogView3-mallia ja tekee sitten yhteenvedon GPT-4-mallin avulla lopullisen lyhyen videon luomiseksi.

He myös hienosäädivät CogVLM2-Caption-mallia, joka perustuu CogVLM2-Videoon ja Llama 3:een, ja koulutettiin käyttämällä tiheää tekstitysdataa videon tekstitysprosessin nopeuttamiseksi.

Yllä oleva on CogVideoX:n tekninen vahvuus.

Yksi asia vielä

Videoiden luomisen alalla Runway'sGen-3On myös uusia toimia --

Gen-3 Alphan Vincent Video tukee nyt "syötekuvaa", jota ei voi käyttää vain videon ensimmäisenä kehyksenä, vaan sitä voidaan käyttää myös videon viimeisenä kehyksenä.

Tuntuu, että tekoäly kääntää aikaa taaksepäin.

Katsotaanpa vaikutusta:

Videon osoite: https://mp.weixin.qq.com/s/IXRQ6PJ7NteZGXLi2x228g

Videon osoite: https://mp.weixin.qq.com/s/IXRQ6PJ7NteZGXLi2x228g

Lopuksi, mitä tulee Zhipu AI:n suureen avoimen lähdekoodin videontuotantomalliin, asiaankuuluvat linkit on liitetty alla~

Koodivarasto:
https://github.com/THUDM/CogVideo

Mallin lataus:
https://huggingface.co/THUDM/CogVideoX-2b

Tekniset raportit:
https://github.com/THUDM/CogVideo/blob/main/resources/CogVideoX.pdf

online-kokemus:
https://huggingface.co/spaces/THUDM/CogVideoX