noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Contribuido por el equipo de BlazeBVD.

Qubits | Cuenta pública QbitAI

Familias, eliminar"El vídeo parpadea"(Por ejemplo, la pantalla de repente se queda en blanco) ¡Hay un nuevo truco!

Piénselo, cuando mira una película antigua o un video grabado con su teléfono, la imagen aparecerá ocasionalmente.Colores parpadeantes o inconsistentesy otros fenómenos.

Para eliminarlos, investigadores del Instituto de Investigación de Imágenes Meitu, la Academia de Ciencias de la Universidad de China y la Universidad de Sichuan propusieronun nuevo algoritmo。

nuevo algoritmo“BlazeBVD”Puede eliminar automáticamente el parpadeo de los vídeos y lo hace muy rápidamente, supuestamente más rápido que los métodos existentes.10 veces más rápido。

¡Aun mejor! Este método ni siquiera requiere conocimiento previo del tipo o grado específico de parpadeo del vídeo.

En otras palabras, es"ciego", se puede aplicar a una variedad de videos diferentes.

Ahora, no hay necesidad de preocuparse incluso si el entorno de iluminación cambia o el hardware de la cámara no puede seguir el ritmo. [dux]

En la actualidad se han publicado artículos relevantes.conferencia de visión por computadoraSe acepta la ECCV 2024.

Si estás interesado, continuemos Kangkang~

¿Cómo elimina BlazeBVD el parpadeo del vídeo?

En primer lugar, inspirado en el clásico STE (Ecualización de tiempo de escala del método de eliminación de centelleo), BlazeBVD presentahistogramaSoluciones auxiliares.

El histograma de imagen se define como la distribución de valores de píxeles y se usa ampliamente en el procesamiento de imágenes para ajustar el brillo o el contraste de una imagen.

Por ejemploEl histograma de la imagen es como una tabla estadística, que nos dice cuántos píxeles de diferente brillo hay en una foto.

△ Imagen generada por Claude 3.5 Soneto

STE analiza el vídeoHistograma para cada fotogramay luego use un método llamadofiltro gaussianoPara suavizar estos histogramas, primero corrija preliminarmente los fotogramas de la imagen con cambios repentinos en la distribución del histograma, lo que puede hacer que la imagen parezca más estable y reducir el parpadeo.

Aunque STE sólo es eficaz para algunos parpadeos menores,pero se verificó：

• Los histogramas son más concisos que los datos de píxeles sin procesar y pueden capturar de manera más efectiva los cambios de brillo y el parpadeo en el video.
• Al suavizar el histograma, puede reducir el parpadeo en el vídeo y hacer que el vídeo parezca más estable.

Por lo tanto, aproveche las sugerencias de STE y histograma para mejorarEliminación de parpadeo de vídeo ciegoLa calidad y la velocidad son factibles.

En concreto, BlazeBVD consta de tres etapas.

Explicación detallada de las tres etapas de BlazeBVD

Al igual que un médico que trata una enfermedad, BlazeBVD primero examina cada fotograma del vídeo.

se introduceEsteCorrija la secuencia del histograma de cuadros de video en el espacio de iluminación.

Luego, extraiga información importante de los fotogramas procesados, como qué fotogramas tienen el parpadeo más notable.(Colección de cuadros únicos), donde es necesario ajustar la luz(Mapa de luz filtrado)y qué áreas están sobre o subexpuestas(imagen de exposición)。

A continuación, comienza BlazeBVDreparar。

Por un lado, BlazeBVD utiliza una herramienta llamadaMódulo de eliminación de parpadeo global(GFRM) utiliza el mapa de luz previamente extraído para ajustar la iluminación de todo el vídeo, asegurando que el brillo y el color de cada fotograma luzcan naturales.

Por otro lado, para algunas áreas locales que requieren atención especial, como exposición excesiva o insuficiente, BlazeBVD utilizaráMódulo de eliminación de parpadeo parcial (LFRM). Este módulo utilizará información de flujo óptico (como el seguimiento del movimiento de objetos en el video) para reparar los detalles en estas áreas.

Después de completar este paso, BlazeBVD finalmente procede atrabajo perfecto。

introduce unRed secuencial ligera(TCM), esta red es como la "esteticista" del vídeo, asegurando que cada fotograma tenga una transición suave visualmente, sin cambios bruscos.

Para mejorar aún más la coherencia de los vídeos, BlazeBVD ha diseñado un sistema de puntuación especial.(Pérdida ponderada de máscara adaptativa) . Este sistema puntúa cada cuadro para garantizar que sean visualmente consistentes, haciendo que todo el video se vea más fluido y natural.

Hasta este punto, BlazeBVD ha completado todo el proceso de "diagnóstico y tratamiento".

Resultados experimentales

Entonces, ¿qué tan efectivo es BlazeBVD?

Mire directamente los métodos existentes y BlazeBVDEn video a ciegasComparación de resultados en la tarea de eliminación de parpadeo:

Entre ellos, Deflicker es un método existente, GT (Ground Truth) representa el video ideal sin parpadeo y la divergencia KL representa la diferencia entre el video procesado y el video ideal sin parpadeo. Cuanto mayor sea el valor de KL, mayor será la diferencia.

Se puede ver que BlazeBVD puede restaurar bien el histograma de iluminación evitando artefactos de color y distorsiones de color.(por ejemplo, los brazos del hombre en la segunda columna)。

más lejos ymétodo de referenciaPara comparación cuantitativa:

BlazeBVD obtiene puntuaciones más altas en PSNR (relación señal-ruido máxima, cuanto mayor sea el valor, mejor será la calidad del vídeo) y SSIM (índice de similitud estructural, el valor cercano a 1 significa mejor la calidad del vídeo), y en Ewarp (el cuanto menor sea el valor, mejor será la calidad del video) Coherencia) obtuvo una puntuación más baja.

En una palabra,BlazeBVD supera los métodos básicos existentes.

Para demostrar visualmente esta diferencia, BlazeBVD y el método de referenciaComparación visualcomo sigue:

experimento de ablaciónTambién verificó la efectividad del módulo diseñado por BlazeBVD:

En resumen, a través de experimentos integrales con videos sintéticos, videos reales y videos generados, BlazeBVD demuestra resultados cualitativos y cuantitativos superiores y es 10 veces más rápido que la velocidad de inferencia del modelo de última generación.

En la actualidad, los artículos pertinentes se han hecho públicos. Si está interesado, puede obtener más información.

papel:
https://arxiv.org/html/2403.06243v1