nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Contribution de l'équipe BlazeBVD

Qubits | Compte public QbitAI

Familles, éliminez"La vidéo scintille"(Par exemple, l'écran devient soudainement vide) Il y a une nouvelle astuce !

Pensez-y, lorsque vous regardez un vieux film ou une vidéo tournée sur votre téléphone, l'image apparaîtra de temps en tempsCouleurs scintillantes ou incohérenteset d'autres phénomènes.

Afin de les éliminer, des chercheurs du Meitu Imaging Research Institute, de l'Université de l'Académie chinoise des sciences et de l'Université du Sichuan ont proposéun nouvel algorithme。

nouvel algorithme« BlazeBVD »Peut supprimer automatiquement le scintillement des vidéos et le fait très rapidement, apparemment plus rapidement que les méthodes existantes10 fois plus rapide。

Encore mieux! Cette méthode ne nécessite même pas de connaissance préalable du type ou du degré spécifique de scintillement vidéo.

En d'autres termes, c'est"aveugle", peut être appliqué à une variété de vidéos différentes.

Désormais, vous n'avez plus à vous inquiéter même si l'environnement lumineux change ou si le matériel de la caméra ne peut pas suivre le rythme. [doge]

À l'heure actuelle, des documents pertinents ont étéconférence sur la vision par ordinateurECCV 2024 accepté.

Si vous êtes intéressé, continuons Kangkang~

Comment BlazeBVD élimine-t-il le scintillement vidéo ?

Tout d’abord, inspiré du classique STE (Scintle Removal Method Scale Time Equalization), BlazeBVD présenteHistogrammeSolutions auxiliaires.

L'histogramme d'image est défini comme la distribution des valeurs de pixels et il est largement utilisé dans le traitement d'image pour ajuster la luminosité ou le contraste d'une image.

Par exemple,L'histogramme de l'image est comme un tableau statistique, qui nous indique combien de pixels de luminosité différente se trouvent dans une photo.

△ Photo générée par Claude 3.5 Sonnet

STE analyse la vidéoHistogramme pour chaque image, puis utilisez une méthode appeléeFiltre gaussienPour lisser ces histogrammes, corrigez d'abord les images avec des changements soudains dans la distribution de l'histogramme, ce qui peut rendre l'image plus stable et réduire le scintillement.

Bien que le STE ne soit efficace que pour quelques scintillements mineurs,mais c'est vérifié：

• Les histogrammes sont plus concis que les données brutes de pixels et peuvent capturer plus efficacement les changements de luminosité et le scintillement de la vidéo.
• En lissant l'histogramme, vous pouvez réduire le scintillement de la vidéo et lui donner un aspect plus stable.

Alors, profitez des conseils STE et de l'histogramme pour améliorerSuppression du scintillement aveugle de la vidéoLa qualité et la rapidité sont réalisables.

Plus précisément, BlazeBVD se compose de trois étapes.

Explication détaillée des trois étapes de BlazeBVD

Tout comme un médecin traitant une maladie, BlazeBVD examine d’abord chaque image de la vidéo.

il introduitSTECorrigez la séquence d'histogramme des images vidéo dans l'espace d'éclairage.

Extrayez ensuite les informations importantes des images traitées, telles que les images qui présentent le scintillement le plus visible.(Collection de cadres singuliers), là où la lumière doit être ajustée(Carte de lumière filtrée), et quelles zones sont sur ou sous-exposées(photo d'exposition)。

Ensuite, BlazeBVD commenceréparation。

D'une part, BlazeBVD utilise un outil appeléModule de suppression globale du scintillement(GFRM) utilise la carte de lumière extraite précédemment pour ajuster l'éclairage de l'ensemble de la vidéo, garantissant ainsi que la luminosité et la couleur de chaque image semblent naturelles.

En revanche, pour certaines zones locales qui nécessitent une attention particulière, comme une sur ou sous-exposition, BlazeBVD utiliseraModule de suppression partielle du scintillement (LFRM). Ce module utilisera les informations du flux optique (comme le suivi du mouvement des objets dans la vidéo) pour réparer les détails dans ces zones.

Après avoir terminé cette étape, BlazeBVD passe enfin àtravail parfait。

il introduit unRéseau séquentiel léger(TCM), ce réseau est comme « l'esthéticienne » de la vidéo, garantissant que chaque image présente une transition visuelle douce, sans changements brusques.

Pour améliorer encore la cohérence des vidéos, BlazeBVD a conçu un système de notation spécial(Perte pondérée du masque adaptatif) . Ce système note chaque image pour garantir qu'elles sont visuellement cohérentes, ce qui rend l'ensemble de la vidéo plus fluide et plus naturelle.

À ce stade, BlazeBVD a terminé l’ensemble du processus « diagnostic et traitement ».

Résultats expérimentaux

Alors, quelle est l’efficacité de BlazeBVD ?

Regardez directement les méthodes existantes et BlazeBVDEn vidéo aveugleComparaison des résultats sur la tâche anti-scintillement :

Parmi elles, Deflicker est une méthode existante, GT (Ground Truth) représente la vidéo idéale sans scintillement et la divergence KL représente la différence entre la vidéo traitée et la vidéo idéale sans scintillement. Plus la valeur KL est grande, plus la différence est grande.

On peut voir que BlazeBVD peut bien restaurer l'histogramme d'éclairage tout en évitant les artefacts de couleur et la distorsion des couleurs.(par exemple les bras de l'homme dans la deuxième colonne)。

plus loin etméthode de basePour une comparaison quantitative :

BlazeBVD obtient des scores plus élevés en PSNR (rapport signal/bruit maximal, plus la valeur est élevée, meilleure est la qualité vidéo) et SSIM (indice de similarité structurelle, la valeur proche de 1 signifie meilleure est la qualité vidéo), et en Ewarp (le plus la valeur est faible, meilleure est la qualité vidéo) Cohérence) a obtenu un score inférieur.

En un mot,BlazeBVD surpasse les méthodes de base existantes.

Afin de démontrer visuellement cette différence, BlazeBVD et la méthode de baseComparaison visuellecomme suit:

expérience d'ablationIl a également vérifié l'efficacité du module conçu par BlazeBVD :

En résumé, grâce à des expériences complètes sur des vidéos synthétiques, des vidéos réelles et des vidéos générées, BlazeBVD démontre des résultats qualitatifs et quantitatifs supérieurs et est 10 fois plus rapide que la vitesse d'inférence du modèle de pointe.

À l'heure actuelle, les articles pertinents ont été rendus publics. Si vous êtes intéressé, vous pouvez en savoir plus.

papier:
https://arxiv.org/html/2403.06243v1