Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Beitrag vom BlazeBVD-Team

Qubits |. Öffentliches Konto QbitAI

Familien, beseitigt„Video flackert“(Zum Beispiel wird der Bildschirm plötzlich schwarz) Es gibt einen neuen Trick!

Denken Sie darüber nach: Wenn Sie einen alten Film oder ein auf Ihrem Telefon aufgenommenes Video ansehen, wird das Bild gelegentlich angezeigtFlackernde oder inkonsistente Farbenund andere Phänomene.

Um diese zu beseitigen, schlugen Forscher des Meitu Imaging Research Institute, der Universität der Chinesischen Akademie der Wissenschaften und der Sichuan-Universität vorein neuer Algorithmus。

neuer Algorithmus„BlazeBVD“Kann Flimmern aus Videos automatisch entfernen und das sehr schnell, angeblich schneller als bestehende Methoden10-mal schneller。

Noch besser! Diese Methode erfordert nicht einmal Vorkenntnisse über die spezifische Art oder den Grad des Videoflimmerns.

Mit anderen Worten, das ist es"blind", kann auf eine Vielzahl unterschiedlicher Videos angewendet werden.

Jetzt müssen Sie sich keine Sorgen mehr machen, selbst wenn sich die Lichtumgebung ändert oder die Kamera-Hardware nicht mithalten kann. [Doge]

Derzeit liegen entsprechende Veröffentlichungen vorComputer-Vision-KonferenzECCV 2024 akzeptiert.

Wenn Sie interessiert sind, fahren wir mit Kangkang~ fort

Wie beseitigt BlazeBVD Videoflimmern?

Zunächst stellt BlazeBVD, inspiriert vom klassischen STE (Scintle Removal Method Scale Time Equalization), vorHistogrammHilfslösungen.

Ein Bildhistogramm ist als Verteilung von Pixelwerten definiert und wird häufig in der Bildverarbeitung verwendet, um die Helligkeit oder den Kontrast eines Bildes anzupassen.

Zum Beispiel,Das Bildhistogramm ist wie eine statistische Tabelle, die uns sagt, wie viele Pixel unterschiedlicher Helligkeit ein Foto enthält.

△ Bild erstellt von Claude 3.5 Sonnet

STE analysiert das VideoHistogramm für jeden Frame, und verwenden Sie dann eine Methode namensGaußscher FilterUm diese Histogramme zu glätten, korrigieren Sie zunächst vorab Bildrahmen mit plötzlichen Änderungen in der Histogrammverteilung, wodurch das Bild stabiler aussieht und das Flimmern reduziert wird.

Obwohl STE nur bei einigen geringfügigen Flackern wirksam ist,aber es hat sich bestätigt：

• Histogramme sind prägnanter als rohe Pixeldaten und können Helligkeitsänderungen und Flimmern in Videos effektiver erfassen.
• Durch Glätten des Histogramms können Sie das Flimmern im Video reduzieren und dafür sorgen, dass das Video stabiler aussieht.

Nutzen Sie also die STE- und Histogramm-Hinweise, um sich zu verbessernBlindes Video-FlimmernQualität und Geschwindigkeit sind machbar.

Konkret besteht BlazeBVD aus drei Phasen.

Ausführliche Erklärung der drei Stadien von BlazeBVD

Genau wie ein Arzt, der eine Krankheit behandelt, untersucht BlazeBVD zunächst jedes Bild des Videos.

es stellt vorSTEKorrigieren Sie die Histogrammsequenz der Videobilder im Beleuchtungsraum.

Extrahieren Sie dann wichtige Informationen aus den verarbeiteten Bildern, z. B. welche Bilder das auffälligste Flimmern aufweisen(Einzelne Rahmensammlung), wo das Licht angepasst werden muss(Gefilterte Lichtkarte)und welche Bereiche über- oder unterbelichtet sind(Belichtungsbild)。

Als nächstes beginnt BlazeBVDReparatur。

Einerseits verwendet BlazeBVD ein Tool namensGlobales Flimmerentfernungsmodul(GFRM) verwendet die zuvor extrahierte Lichtkarte, um die Beleuchtung des gesamten Videos anzupassen und sicherzustellen, dass Helligkeit und Farbe jedes Bildes natürlich aussehen.

Andererseits wird BlazeBVD für einige lokale Bereiche verwendet, die besondere Aufmerksamkeit erfordern, wie z. B. Über- oder UnterbelichtungModul zur teilweisen Flimmerentfernung (LFRM). Dieses Modul nutzt optische Flussinformationen (z. B. die Verfolgung der Bewegung von Objekten im Video), um die Details in diesen Bereichen zu reparieren.

Nach Abschluss dieses Schritts fährt BlazeBVD schließlich fortperfekte Arbeit。

es führt einLeichtes sequentielles Netzwerk(TCM) ist dieses Netzwerk wie die „Kosmetikerin“ des Videos und stellt sicher, dass jedes Bild visuell einen reibungslosen Übergang ohne abrupte Änderungen aufweist.

Um die Konsistenz von Videos weiter zu verbessern, hat BlazeBVD ein spezielles Bewertungssystem entwickelt(Adaptive Maske gewichteter Verlust) . Dieses System bewertet jedes Bild, um sicherzustellen, dass es optisch konsistent ist, sodass das gesamte Video flüssiger und natürlicher aussieht.

Zu diesem Zeitpunkt hat BlazeBVD den gesamten „Diagnose- und Behandlungsprozess“ abgeschlossen.

Experimentelle Ergebnisse

Wie effektiv ist BlazeBVD?

Schauen Sie sich direkt vorhandene Methoden und BlazeBVD anIm BlindvideoVergleich der Ergebnisse zur De-Flicker-Aufgabe:

Unter diesen ist Deflicker eine bestehende Methode, GT (Ground Truth) stellt das ideale flimmerfreie Video dar und KL-Divergenz stellt den Unterschied zwischen dem verarbeiteten Video und dem idealen flimmerfreien Video dar. Je größer der KL-Wert ist, desto größer ist der Unterschied.

Es ist ersichtlich, dass BlazeBVD das Beleuchtungshistogramm gut wiederherstellen und gleichzeitig Farbartefakte und Farbverzerrungen vermeiden kann.(z. B. die Arme des Mannes in der zweiten Spalte)。

weiter undBasismethodeZum quantitativen Vergleich:

BlazeBVD erzielt höhere Werte bei PSNR (Spitzen-Signal-Rausch-Verhältnis, je höher der Wert, desto besser die Videoqualität) und SSIM (struktureller Ähnlichkeitsindex, ein Wert nahe 1 bedeutet, desto besser ist die Videoqualität) und bei Ewarp (der Je niedriger der Wert, desto besser ist die Videoqualität. (Kohärenz) wurde schlechter bewertet.

In einem Wort,BlazeBVD übertrifft bestehende Basismethoden.

Um diesen Unterschied visuell zu veranschaulichen, wurden BlazeBVD und die Basismethode verwendetVisueller Vergleichwie folgt:

AblationsexperimentAußerdem wurde die Wirksamkeit des von BlazeBVD entwickelten Moduls überprüft:

ZusammenfassendDurch umfassende Experimente mit synthetischen Videos, realen Videos und generierten Videos zeigt BlazeBVD überlegene qualitative und quantitative Ergebnisse und ist zehnmal schneller als die Inferenzgeschwindigkeit moderner Modelle.

Derzeit sind die entsprechenden Papiere veröffentlicht. Wenn Sie interessiert sind, können Sie mehr erfahren.

Papier:
https://arxiv.org/html/2403.06243v1