uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Pois taulukoista! ! Kuka olisi tiennyt, että siinä oleva kaunis tyttö oli itse asiassa setä katsomatta videon koko versiota.

[Videoa ei valitettavasti voi lisätä tänne... voit tarkistaa sen Qubitin viralliselta tililtä~]

Okei, kävi ilmi, että tämä tehtiin Kuaishou Keling -tiimin avulla.Ohjattava muotokuvavideon luontikehys——LivePortrait.

LivePortraitista tuli välitön hitti avoimena lähdekoodina, ja sitä on käytetty laajasti GitHubissa lyhyessä ajassa.7.5KTähtimerkki.

Se houkutteli myös HuggingFacen strategiajohtaja Thomas Wolfin kokemaan sen itse:

Se on jopa tällä hetkellä kaikkien HuggingFace-sovellusten joukossa.Trendi ensin：

Joten miksi LivePortrait herättää niin paljon huomiota?

Aloitetaan sen silmiinpistävästä suorituksesta...

Olkoon ilmaus "siirto"

LivePortrait on avoimen lähdekoodin Kuaishou Keling Big Model Team ja tarvitsee vain1 alkuperäinen kuvaVoit luoda dynaamisia videoita.

Katsotaanpa ensin joukko virallisia tuloksia.

alkaenyksinkertaisinAloita heittämällä staattinen kuva, ja LivePortrait voi saada muotokuvan vilkkumaan, hymyilemään tai kääntämään päätään.

Voidaan edelleen käyttää"oksastaa", toisin sanoen ilmaisujen, dynamiikan jne. kopioiminen muille ihmisille tai rajoittumatta tyyliin (realismi, öljymaalaus, veistos, 3D-renderöinti) ja koko~

Tietenkin tämä "taika"Ei rajoitu yksittäiseen henkilöön , ei ole mahdotonta saada perhekuvaa. [doge]

Staattisesta kuvasta videoon siirtymisen lisäksi voimme myös tehdäyksi tai useampi videoYmmärrä "hymynparannustekniikka".

Jos esimerkiksi tarjoamme videon vauvasta ilman ilmettä (äärioikealla), voimme antaa vauvan silmäniskua tai hymyillä viitevideon mukaan.

Muuten, se ei rajoitu vain ihmisten muotokuviin, kissat ja koirat voivat myös alkaa käyttäytyä kekseliästi ja suloisesti.

Lyhyesti sanottuna LivePortrait voi saavuttaaMerkkien ilmaisujen tarkka hallinta, kuten suun kulmien ylöspäin kaarevuus ja silmien laajenemisaste voidaan kytkeä päälle ja valita.

Anna esimerkkikastanjapoika, seuraavat kaksi ovat muutoksia hahmojen silmien koossa eri parametriasetuksilla:

Näyttää siltä, ​​​​että romaanin "kolme osaa viileyttä, kolme osaa naurettavaa ja neljä osaa välinpitämättömyyttä" ei ole mahdoton saavuttaa. [doge]

En tiedä oletko liikuttunut tämän lukemisen jälkeen.

Lisää esimerkiksi valaistustemppu kasvojen luomiseen, mikä on kuin kauhuelokuva:

Toinen esimerkki on muuttuminen kaksipiikiseksi apinaksi reaaliajassa:

Kun olet lukenut nämä esimerkit, perehdytään niiden takana oleviin teknisiin periaatteisiin.

Kuuma avoimen lähdekoodin kehys

Nykyisistä diffuusiomalleihin perustuvista valtavirran menetelmistä poiketen LivePortrait tutkii ja laajeneeViitekehys perustuu implisiittisiin avainkohtiinpotentiaalia.

Tarkemmin sanottuna LivePortrait ei luota eksplisiittisesti näkyviin merkintöihin tai ominaisuuspisteisiin kuvassa, vaan päättelee sen sijaan implisiittisesti avainpisteiden sijainnin oppimalla tietojoukossa olevia malleja.

Tämän perusteella LivePortrait ottaa käyttöönkaksi vaihettaHarjoittele malli alusta alkaen.

Puhutaanpa ensin ensimmäisestä vaiheesta LivePortrait on tehnyt joukon parannuksia kehyksiin perustuen implisiittisiin kohtiin (kuten Face Vid2vid).

Näitä parannuksia ovat mmLaadukas tietojen lajittelu, sekoitettu kuva- ja videokoulutus, päivitetty verkkoarkkitehtuuri, skaalautuva liikemuunnos, maamerkkiohjattu implisiittisten avainpisteiden optimointi ja kaskadihäviötermien soveltaminen jne.

Näiden avulla mallin yleistyskykyä, ilmaisukykyä ja tekstuurin laatua voidaan edelleen parantaa.

Puhutaanpa toisesta vaiheesta Sovitusmoduulin ja uudelleenohjausmoduulin koulutuksen avulla malli pystyy käsittelemään ilmeiden yksityiskohtia tarkemmin.

Sovita moduuliParanna yleistämistä identiteettien välisen toimintakoulutuksen avulla, arvioi lausekkeiden muutoksia ja optimoi avainkohdat.

Silmien ja suun suuntausmoduuliSilmien ja suun muodonmuutokset käsitellään erikseen ja pikselien konsistenssi ja regularisaatiohäviö lasketaan itsenäisten objektiivisten funktioiden avulla parantamaan mallin joustavuutta ja tarkkuutta monimutkaisten lausekkeiden käsittelyssä.

Joten miten LivePortrait toimii erityisesti?

Tutkimukset osoittavat, että vuonnaSamat identiteettiin perustuvat vertailutulokset, Nykyisiin menetelmiin verrattuna LivePortraitilla on parempi sukupolven laatu ja ajotarkkuus, ja se voi vangita ajokehyksen silmien ja suun hienovaraiset ilmeet säilyttäen samalla viitekuvan tekstuurin ja identiteetin.

ja sisäänRistiin-identiteettiin perustuvat vertailutulokset Se myös toimii hyvin, vaikka sen sukupolvilaatu on hieman heikompi kuin diffuusiomallipohjainen menetelmä AniPortrait. Mutta verrattuna jälkimmäiseen, LivePortraitilla on erittäin nopea päättelyteho ja se vaatii vähemmän FLOPeja.

Kaiken kaikkiaan RTX 4090 -grafiikkasuorittimella LivePortrait tuotti nopeuksia12,8 millisekuntia kehystä kohden, huomattavasti korkeampi kuin olemassa olevat diffuusiomallimenetelmät.

Yksi asia vielä

Lisää virallinen uusin ilmoitus: Keling AI on tulossamaailmanlaajuisestikäynnistää palvelunsa.

Sora ei ole vielä tullut, mutta Ke Ling käveli ulos ensimmäisenä tällä kertaa~