uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• AIxiv-sarake on sarake, jossa Machine Heart julkaisee akateemista ja teknistä sisältöä. Viime vuosina Heart of the Machine AIxiv -kolumni on saanut yli 2 000 raporttia, jotka kattavat tärkeimpien yliopistojen ja yritysten huippulaboratoriot ympäri maailmaa ja edistävät tehokkaasti akateemista vaihtoa ja levittämistä. Jos sinulla on erinomaista työtä, jonka haluat jakaa, ole hyvä ja osallistu tai ota meihin yhteyttä raportoidaksesi. Lähetyssähköposti: [email protected]; [email protected]

Viime vuosina lyhyiden videoiden ekosysteemi on noussut nopeasti esiin, ja luovia ja editointityökaluja lyhyiden videoiden ympärille tulee jatkuvasti esiin, Meitun omistama ammattimainen mobiilivideon muokkaustyökalu Wink on ykkönen alkuperäisillä videolaadun palautusominaisuuksillaan ja houkuttelee käyttäjiä kotiin. ja ulkomailla.

Winkin kuvanlaadun korjaustoiminnon suosion takana on Meitun näkemys käyttäjien videoiden luomisen kipupisteistä, kuten epäselvistä kuvista, voimakkaasta kohinasta ja huonosta kuvanlaadusta videoeditointisovellusten kysynnän nopeutuessa perustuu Meitu Imaging Research Instituten (MT Lab) tehokkaan videonpalautus- ja videonparannusteknologian tuella, se on tällä hetkellä lanseerannut kuvanlaadun palautus-HD-, kuvanlaadunpalautus-UHD-, kuvanlaadun palautus-muotokuvaparannus, resoluution parantaminen ja muita toimintoja. .

Äskettäin Meitu Imaging Research Institute (MT Lab) ja Kiinan tiedeakatemian yliopisto ovat ehdottaneet uutta STE-pohjaista sokean videon välkkymisen (BVD) menetelmää BlazeBVD, jota käytetään käsittelemään huonolaatuisia videoita, joiden valon välkkyminen heikkenee. Alkuperäisen videosisällön ja värien eheyden säilyttäminen mahdollisimman paljon, on hyväksytty huipputietokonenäkökonferenssissa ECCV 2024.

Paperilinkki: https://arxiv.org/pdf/2403.06243v1

BlazeBVD kohdistuu videon välkkymiseen. Videon välkkyminen voi helposti vaikuttaa ajalliseen yhtenäisyyteen, mikä on välttämätön edellytys korkealaatuiselle videolähdölle. Syynä on yleensä huono kuvausympäristö ja kuvauslaitteiston laitteistorajoitukset, ja kun kuvankäsittelytekniikkaa käytetään videokehyksissä, tämä ongelma usein pahenee entisestään. Lisäksi välkyntävirheitä ja värivääristymiä esiintyy usein myös viimeaikaisissa videoiden luontitehtävissä, mukaan lukien ne, jotka perustuvat generatiivisiin kilpaileviin verkkoihin (GAN) ja diffuusiomalleihin (DM). Siksi eri videonkäsittelyskenaarioissa on ratkaisevan tärkeää tutkia BVD:n (Blind Video Deflickering) käyttöä videon välkkymisen poistamiseksi ja videosisällön eheyden säilyttämiseksi.

Videon välkkymisen syy ja aste ei vaikuta BVD-tehtävään, ja sen käyttömahdollisuudet ovat laajat. Nykyinen keskittyminen tällaisiin tehtäviin sisältää pääasiassa vanhojen videoiden palauttamisen, nopean kameran kuvaamisen, värivääristymien käsittelyn ja muut tehtävät. ei ole mitään tekemistä videon välkyntätyypin ja välkynnän asteen kanssa, eikä tehtäviä, joiden tarvitsee toimia vain yhdellä välkyntävideolla ilman lisäohjeita, kuten videon välkyntätyyppi, viitevideotulo jne. Lisäksi BVD keskittyy nyt pääasiassa perinteisiin suodatusmenetelmiin, pakotettuun ajalliseen johdonmukaisuuteen ja atlasmenetelmiin. Siksi vaikka syväoppimismenetelmät ovat edistyneet merkittävästi BVD-tehtävissä, ne ovat sovellustasolla suuresti estyneet aiemman tiedon puutteen vuoksi. BVD:llä on edelleen monia haasteita.

BlazeBVD: Paranna tehokkaasti sokeiden videoiden välkkymisen estoa

Klassisen välkkynnän poistomenetelmän scal-time equalization (STE) inspiroima BlazeBVD esittelee histogrammiavusteisen ratkaisun. Kuvan histogrammi määritellään pikseliarvojen jakaumana. Sitä käytetään laajasti kuvankäsittelyssä kuvan kirkkauden tai kontrastin säätämiseen. STE voi tasoittaa histogrammia käyttämällä Gaussin suodatusta ja korjata jokaista kuvaa käyttämällä histogrammin tasoitusta. pikseliarvot kehyksessä, mikä parantaa videon visuaalista vakautta. Vaikka STE on tehokas vain joihinkin pieniin välkyntöihin, se varmistaa:

Histogrammit ovat paljon kompaktimpia kuin pikseliarvot ja voivat kuvata kirkkautta ja välkkymistä hyvin.

Histogrammisekvenssin tasoitetussa videossa ei ole visuaalisesti havaittavaa välkyntää.

Siksi on mahdollista käyttää STE:n vihjeitä ja histogrammeja parantamaan sokean videon välkkymisen laatua ja nopeutta.

Tasoittamalla näitä histogrammeja yksittäisten kehyskokoelmien, suodatettujen valokarttojen ja valotusmaskikarttojen luomiseksi BlazeBVD mahdollistaa nopean ja vakaan tekstuurin palautuksen valon vaihteluiden ja yli- tai alivalotuksen yhteydessä. Verrattuna aikaisempiin syväoppimismenetelmiin, BlazeBVD käyttää huolellisesti histogrammeja vähentääkseen BVD-tehtävien oppimisen monimutkaisuutta ensimmäistä kertaa, mikä yksinkertaistaa oppimisvideodatan monimutkaisuutta ja resurssien kulutusta valaistuskartta, joka ohjaa globaalin välkynnän poistamista, yksittäinen kehyssarja, joka tunnistaa välkyntäkehysindeksit, ja valotuskartta, joka tunnistaa alueet, joihin ylivalotus tai pimeys vaikuttaa paikallisesti.

Samanaikaisesti BlazeBVD yhdistää välkynnän poistomoduulin (GFRM) ja paikallisen välkynnänpoistomoduulin (LFRM) tehokkaasti korjaamaan yksittäisten vierekkäisten kehysten yleisen valaistuksen ja paikallisen valotuksen pintakuvioita. Lisäksi kehysten välisen johdonmukaisuuden parantamiseksi on integroitu kevyt ajoitusverkko (TCM), joka parantaa suorituskykyä ilman paljon aikaa.

Kuva 1: Tulosten vertailu BlazeBVD-menetelmän ja olemassa olevien menetelmien välillä sokean videon välkyntätehtävässä

Tarkemmin sanottuna BlazeBVD koostuu kolmesta vaiheesta:

Ensinnäkin STE esitellään korjaamaan videokehysten histogrammisekvenssiä valaistustilassa ja poimimaan välkyntäpriorit mukaan lukien yksittäiset kehyssarjat, suodatetut valaistuskartat ja valotuskartat.

Toiseksi, koska suodatetuilla valaistuskartoilla on vakaa ajallinen suorituskyky, niitä käytetään vihjeehtoina globaalille välkyntäpoistomoduulille (GFRM), joka sisältää 2D-verkon ohjaamaan videokehysten värinkorjausta. Toisaalta paikallinen välkyntäpoistomoduuli (LFRM) palauttaa ylivalottuneet tai tummat alueet, jotka on merkitty paikallisilla valotuskartoilla optisten virtaustietojen perusteella.

Lopuksi otetaan käyttöön kevyt temporaalinen verkko (TCM) käsittelemään kaikkia kehyksiä, joissa adaptiivinen maskipainotettu häviö on suunniteltu parantamaan videon yhtenäisyyttä.

Kattavien synteettisten videoiden, oikeiden videoiden ja luotujen videoiden kokeiden avulla esittelemme BlazeBVD:n ylivertaisia ​​laadullisia ja kvantitatiivisia tuloksia saavuttaen mallin päättelynopeuksia, jotka ovat 10 kertaa nopeampia kuin huippuluokan mallien päättelynopeuksia.

Kuva 2: BlazeBVD:n koulutus- ja päättelyprosessi

Kokeelliset tulokset

Useat kokeet osoittavat, että BlazeBVD, yleinen menetelmä sokeiden videon välkyntätehtäviin, ylittää aiemman synteettisten ja todellisten tietojoukkojen työskentelyn, ja ablaatiokokeet varmistavat myös BlazeBVD:n suunnittelemien moduulien tehokkuuden.

Taulukko 1: Kvantitatiivinen vertailu perusmenetelmiin

Kuva 3: Visuaalinen vertailu perusmenetelmiin

Kuva 4: Ablaatiokoe

Kuvaustekniikan käyttö tuottavuuden parantamiseksi

Tässä artikkelissa ehdotetaan BlazeBVD:tä, yleistä menetelmää sokeiden videon välkyntätehtäviin. Se käyttää 2D-verkkoja huonolaatuisten välkkyvien videoiden korjaamiseen, joihin valaistuksen muutokset tai paikalliset valotusongelmat vaikuttavat. Sen ydin on esikäsitellä välkyntäpriorit STE-suodattimessa valaistustilassa ja käyttää sitten näitä prioreja yhdistettynä globaaliin välkkynnän poistomoduuliin (GFRM) ja paikalliseen välkyntäpoistomoduuliin (LFRM) globaalin välkynnän ja paikallisen valotuksen pintakuvioiden korjaamiseen. Lopuksi kevyttä temporaalista verkkoa (TCM) käytetään parantamaan videon koherenssia ja kehysten välistä johdonmukaisuutta, ja se saavuttaa myös 10-kertaisen kiihtyvyyden mallipäätelmässä.

Kuvantamisen ja suunnittelun tutkijana Kiinassa Meitu jatkaa kätevien ja tehokkaiden tekoälytoimintojen lanseeraamista innovatiivisten palveluiden ja kokemusten tuomiseksi käyttäjille Meitu Imaging Research Institute (MT Lab), joka on ydintutkimus- ja kehityskeskus Tekoälyominaisuuksien päivittämiseen toistuvasti. Tarjoa videoiden tekijöille uusi tapa luoda videoita ja avata laajempi maailma.