notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Contributo del team BlazeBVD

Qubit |. Account pubblico QbitAI

Famiglie, eliminate"Sfarfallio del video"(Ad esempio, lo schermo diventa improvvisamente vuoto) C'è un nuovo trucco!

Pensaci, quando guardi un vecchio film o un video girato sul tuo telefono, l'immagine apparirà di tanto in tantoColori tremolanti o incoerentie altri fenomeni.

Per eliminarli, i ricercatori del Meitu Imaging Research Institute, dell’Università dell’Accademia cinese delle scienze e dell’Università del Sichuan hanno propostoun nuovo algoritmo。

nuovo algoritmo"BlazeBVD"Può rimuovere automaticamente lo sfarfallio dai video e lo fa molto rapidamente, secondo quanto riferito più velocemente dei metodi esistenti10 volte più veloce。

Anche meglio! Questo metodo non richiede nemmeno la conoscenza preliminare del tipo o del grado specifico di sfarfallio del video.

In altre parole, lo è"cieco", può essere applicato a una varietà di video diversi.

Ora non è più necessario preoccuparsi, anche se l'ambiente di illuminazione cambia o l'hardware della fotocamera non riesce a tenere il passo. [doge]

Al momento, i documenti pertinenti sono staticonferenza sulla visione artificialeECCV 2024 accettato.

Se sei interessato, continuiamo con Kangkang~

In che modo BlazeBVD elimina lo sfarfallio del video?

Innanzitutto, ispirato al classico STE (Scintle Removal Method Scale Time Equalization), introduce BlazeBVDIstogrammaSoluzioni ausiliarie.

L'istogramma dell'immagine è definito come la distribuzione dei valori dei pixel ed è ampiamente utilizzato nell'elaborazione delle immagini per regolare la luminosità o il contrasto di un'immagine.

Per esempio,L'istogramma dell'immagine è come una tabella statistica, che ci dice quanti pixel di diversa luminosità ci sono in una foto.

△ Immagine generata da Claude 3.5 Sonetto

STE analizza il videoIstogramma per ciascun fotogramma, quindi utilizzare un metodo chiamatoFiltro gaussianoIl metodo per attenuare questi istogrammi consiste nel correggere inizialmente i fotogrammi dell'immagine con improvvisi cambiamenti nella distribuzione dell'istogramma, che possono rendere l'immagine più stabile e ridurre lo sfarfallio.

Sebbene STE sia efficace solo per alcuni sfarfallii minori,ma si è verificato：

• Gli istogrammi sono più concisi rispetto ai dati grezzi dei pixel e possono catturare in modo più efficace le variazioni di luminosità e lo sfarfallio nel video.
• Smussando l'istogramma, puoi ridurre lo sfarfallio nel video e renderlo più stabile.

Quindi, sfrutta i suggerimenti STE e dell'istogramma per migliorareSfarfallio cieco del videoLa qualità e la velocità sono fattibili.

Nello specifico, BlazeBVD è composto da tre fasi.

Spiegazione dettagliata delle tre fasi di BlazeBVD

Proprio come un medico che cura una malattia, BlazeBVD esamina prima ogni fotogramma del video.

introduceSTECorreggere la sequenza dell'istogramma dei fotogrammi video nello spazio di illuminazione.

Quindi estrai informazioni importanti dai fotogrammi elaborati, ad esempio quali fotogrammi presentano lo sfarfallio più evidente(Collezione di cornici singolari), dove è necessario regolare la luce(Mappa luce filtrata)e quali aree sono sovraesposte o sottoesposte(immagine dell'esposizione)。

Successivamente, inizia BlazeBVDriparazione。

Da un lato, BlazeBVD utilizza uno strumento chiamatoModulo di rimozione globale dello sfarfallio(GFRM) utilizza la mappa di luce estratta in precedenza per regolare l'illuminazione dell'intero video, garantendo che la luminosità e il colore di ciascun fotogramma sembrino naturali.

D'altra parte, per alcune aree locali che richiedono particolare attenzione, come sovra o sottoesposizione, BlazeBVD utilizzeràModulo per la rimozione parziale dello sfarfallio (LFRM). Questo modulo utilizzerà le informazioni sul flusso ottico (come il tracciamento del movimento degli oggetti nel video) per riparare i dettagli in queste aree.

Dopo aver completato questo passaggio, BlazeBVD procede finalmentelavoro perfetto。

introduce aRete sequenziale leggera(TCM), questa rete è come l'"estetista" del video, garantendo che ogni fotogramma abbia una transizione visivamente fluida, senza cambiamenti bruschi.

Per migliorare ulteriormente la coerenza dei video, BlazeBVD ha progettato uno speciale sistema di punteggio(Perdita ponderata della maschera adattiva) . Questo sistema assegna un punteggio a ciascun fotogramma per garantire che sia visivamente coerente, rendendo l'intero video più fluido e naturale.

A questo punto, BlazeBVD ha completato l'intero processo di "diagnosi e trattamento".

Risultati sperimentali

Quindi, quanto è efficace BlazeBVD?

Guarda direttamente i metodi esistenti e BlazeBVDNel video ciecoConfronto dei risultati dell'attività di rimozione dello sfarfallio:

Tra questi, Deflicker è un metodo esistente, GT (Ground Truth) rappresenta il video ideale senza sfarfallio e la divergenza KL rappresenta la differenza tra il video elaborato e il video ideale senza sfarfallio. Maggiore è il valore KL, maggiore è la differenza.

Si può vedere che BlazeBVD può ripristinare bene l'istogramma dell'illuminazione evitando artefatti e distorsioni cromatiche.(ad esempio le braccia dell'uomo nella seconda colonna)。

ulteriormente emetodo di basePer un confronto quantitativo:

BlazeBVD ottiene punteggi più alti in PSNR (rapporto segnale-rumore di picco, maggiore è il valore, migliore è la qualità video) e SSIM (indice di somiglianza strutturale, il valore vicino a 1 significa migliore è la qualità video), e in Ewarp (il più basso è il valore, migliore è la qualità del video) Coerenza) ha ottenuto un punteggio inferiore.

In una parola,BlazeBVD supera i metodi di base esistenti.

Per dimostrare visivamente questa differenza, BlazeBVD e il metodo di baseConfronto visivocome segue:

esperimento di ablazioneHa inoltre verificato l'efficacia del modulo ideato da BlazeBVD:

In sintesi, attraverso esperimenti completi su video sintetici, video reali e video generati, BlazeBVD dimostra risultati qualitativi e quantitativi superiori ed è 10 volte più veloce della velocità di inferenza del modello all'avanguardia.

Allo stato attuale, i documenti pertinenti sono stati resi pubblici. Se sei interessato, puoi saperne di più.

carta:
https://arxiv.org/html/2403.06243v1