uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

BlazeBVD-tiimi osallistunut

Qubits |. Julkinen tili QbitAI

Perheet, poistakaa"Video vilkkuu"(Esimerkiksi näyttö pimenee yhtäkkiä) On uusi temppu!

Ajattele sitä, kun katsot vanhaa elokuvaa tai puhelimellasi kuvattua videota, kuva tulee silloin tällöin näkyviinVälkkyvät tai epäjohdonmukaiset väritja muut ilmiöt.

Näiden poistamiseksi Meitu Imaging Research Instituten, Kiinan tiedeakatemian yliopiston ja Sichuanin yliopiston tutkijat ehdottivatuusi algoritmi。

uusi algoritmi"BlazeBVD"Pystyy automaattisesti poistamaan välkkymisen videoista ja tekee sen erittäin nopeasti, kuulemma nopeammin kuin olemassa olevat menetelmät10 kertaa nopeampi。

Vielä parempi! Tämä menetelmä ei edes vaadi aiempaa tietoa tietystä videon välkynnän tyypistä tai -asteesta.

Toisin sanoen se on"sokea", voidaan soveltaa useisiin erilaisiin videoihin.

Nyt ei tarvitse huolehtia, vaikka valaistusympäristö muuttuisi tai kameralaitteisto ei pysy perässä. [doge]

Tällä hetkellä asiaankuuluvat paperit ovat olleettietokonenäkökonferenssiECCV 2024 hyväksytty.

Jos olet kiinnostunut, jatketaan Kangkang~

Kuinka BlazeBVD poistaa videon välkkymisen?

Ensinnäkin klassisen STE:n (Scintle Removal Method Scale Time Equalization) inspiroima BlazeBVD esitteleeHistogrammiApuratkaisut.

Kuvan histogrammi määritellään pikseliarvojen jakautumiseksi, ja sitä käytetään laajasti kuvankäsittelyssä kuvan kirkkauden tai kontrastin säätämiseen.

Esimerkiksi,Kuvan histogrammi on kuin tilastotaulukko, joka kertoo kuinka monta eri kirkkautta pikseliä valokuvassa on.

△ Kuvan luonut Claude 3.5 Sonnet

STE analysoi videonJokaisen kehyksen histogrammi, ja käytä sitten menetelmää nimeltäGaussin suodatinNäiden histogrammien tasoittamiseksi korjaa ensin alustavasti kuvakehykset histogrammin jakauman äkillisillä muutoksilla, mikä voi tehdä kuvasta vakaamman ja vähentää välkkymistä.

Vaikka STE on tehokas vain joihinkin pieniin välkyntöihin,mutta se varmistui：

• Histogrammit ovat tiiviimpiä kuin raa'at pikselitiedot, ja ne voivat tallentaa videon kirkkauden muutokset ja välkkymisen tehokkaammin.
• Tasoittamalla histogrammia voit vähentää videon välkkymistä ja saada videosta näyttämään vakaammalta.

Hyödynnä siis STE- ja histogrammivinkkejä parantaaksesiSokea videon välkkymisen estoLaatu ja nopeus ovat mahdollisia.

Tarkemmin sanottuna BlazeBVD koostuu kolmesta vaiheesta.

Yksityiskohtainen selitys BlazeBVD:n kolmesta vaiheesta

Aivan kuten sairautta hoitava lääkäri, BlazeBVD tutkii ensin jokaisen videon ruudun.

se esitteleeSTEKorjaa videoruutujen histogrammisarja valaistustilassa.

Poimi sitten käsitellyistä kehyksistä tärkeitä tietoja, kuten missä kehyksissä on havaittavissa oleva välkyntä(Yksittäinen kehyskokoelma), jossa valoa on säädettävä(Suodatettu valokartta)ja mitkä alueet ovat yli- tai alivalottuneet(valotuskuva)。

Seuraavaksi BlazeBVD alkaakorjaus。

Toisaalta BlazeBVD käyttää työkalua nimeltäGlobaali välkkynnän poistomoduuli(GFRM) -työkalu käyttää aiemmin poimittua valokarttaa koko videon valaistuksen säätämiseen varmistaen, että kunkin ruudun kirkkaus ja väri näyttävät luonnolliselta.

Toisaalta joillakin paikallisilla alueilla, jotka vaativat erityistä huomiota, kuten yli- tai alialtistus, BlazeBVD käyttääOsittainen välkkynnän poistomoduuli (LFRM). Tämä moduuli käyttää optisia virtaustietoja (kuten videon esineiden liikkeen seurantaa) näiden alueiden yksityiskohtien korjaamiseen.

Tämän vaiheen suorittamisen jälkeen BlazeBVD jatkaa lopultatäydellinen työ。

se esittelee aKevyt peräkkäinen verkko(TCM), tämä verkko on kuin videon "kaunotar", joka varmistaa, että jokainen ruutu siirtyy sujuvasti visuaalisesti ilman äkillisiä muutoksia.

Parantaakseen videoiden yhtenäisyyttä entisestään BlazeBVD on suunnitellut erityisen pisteytysjärjestelmän(Adaptiivisen maskin painotettu tappio) . Tämä järjestelmä pisteyttää jokaisen ruudun varmistaakseen, että ne ovat visuaalisesti yhtenäisiä, jolloin koko video näyttää sujuvammalta ja luonnollisemmalta.

Tässä vaiheessa BlazeBVD on suorittanut koko "diagnoosi- ja hoitoprosessin".

Kokeelliset tulokset

Joten kuinka tehokas BlazeBVD on?

Katso suoraan olemassa olevia menetelmiä ja BlazeBVD:täSokealla videollaVilkkumisen estotehtävän tulosten vertailu:

Näistä Deflicker on olemassa oleva menetelmä, GT (Ground Truth) edustaa ihanteellista välkkymätöntä videota ja KL-divergentti edustaa eroa prosessoidun videon ja ihanteellisen välkkymättömän videon välillä. Mitä suurempi KL-arvo, sitä suurempi ero.

Voidaan nähdä, että BlazeBVD voi palauttaa valaistuksen histogrammin hyvin välttäen samalla värivirheitä ja värivääristymiä.(esim. miehen kädet toisessa sarakkeessa)。

edelleen japerusmenetelmäMäärällinen vertailu:

BlazeBVD saa paremmat pisteet PSNR:ssä (huippusignaali-kohinasuhde, mitä korkeampi arvo, sitä parempi videon laatu) ja SSIM:ssä (rakenteellisen samankaltaisuusindeksi, arvo lähellä 1 tarkoittaa sitä parempaa videon laatua) ja Ewarpissa ( pienempi arvo, sitä parempi videon laatu) Koherenssi) sai vähemmän arvosanan.

Sanassa,BlazeBVD ylittää nykyiset perusmenetelmät.

Tämän eron visuaaliseksi osoittamiseksi BlazeBVD ja perusmenetelmäVisuaalinen vertailuseuraavasti:

ablaatiokoeSe myös vahvisti BlazeBVD:n suunnitteleman moduulin tehokkuuden:

Yhteenvetona, kattavien synteettisten videoiden, oikeiden videoiden ja luotujen videoiden kokeiden avulla BlazeBVD osoittaa ylivoimaisia ​​laadullisia ja kvantitatiivisia tuloksia ja on 10 kertaa nopeampi kuin huippuluokan mallin päättelynopeus.

Tällä hetkellä asiaa koskevat paperit on julkistettu, jos olet kiinnostunut, voit lukea lisää.

paperi:
https://arxiv.org/html/2403.06243v1