notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Contribuição da equipe BlazeBVD

Qubits | Conta pública QbitAI

Famílias, eliminem"Vídeo piscando"(Por exemplo, a tela fica em branco repentinamente) Há um novo truque!

Pense nisso, quando você assiste a um filme antigo ou a um vídeo gravado em seu telefone, a imagem aparecerá ocasionalmenteCores tremeluzentes ou inconsistentese outros fenômenos.

Para eliminá-los, pesquisadores do Meitu Imaging Research Institute, da Universidade da Academia Chinesa de Ciências e da Universidade de Sichuan propuseramum novo algoritmo。

novo algoritmo“Blaze BVD”Pode remover automaticamente a cintilação dos vídeos e faz isso muito rapidamente, supostamente mais rápido do que os métodos existentes10 vezes mais rápido。

Melhor ainda! Este método nem sequer requer conhecimento prévio do tipo ou grau específico de oscilação do vídeo.

Em outras palavras, é"cego", pode ser aplicado a uma variedade de vídeos diferentes.

Agora, não há necessidade de se preocupar, mesmo se o ambiente de iluminação mudar ou se o hardware da câmera não conseguir acompanhar. [doge]

Atualmente, artigos relevantes foramconferência de visão computacionalECCV 2024 aceito.

Se você estiver interessado, vamos continuar Kangkang ~

Como o BlazeBVD elimina a oscilação do vídeo?

Primeiro, inspirado no clássico STE (Scintle Removal Method Scale Time Equalization), BlazeBVD apresentaHistogramaSoluções auxiliares.

O histograma de imagem é definido como a distribuição de valores de pixel e é amplamente utilizado no processamento de imagens para ajustar o brilho ou contraste de uma imagem.

Por exemplo,O histograma da imagem é como uma tabela estatística, que nos informa quantos pixels de brilho diferente existem em uma foto.

△ Imagem gerada por Claude 3.5 Sonnet

STE analisa o vídeoHistograma para cada quadroe, em seguida, use um método chamadoFiltro gaussianoPara suavizar esses histogramas, primeiro corrija preliminarmente os quadros da imagem com mudanças repentinas na distribuição do histograma, o que pode tornar a imagem mais estável e reduzir a tremulação.

Embora o STE seja eficaz apenas para algumas oscilações menores,mas foi verificado：

• Os histogramas são mais concisos do que os dados brutos de pixel e podem capturar com mais eficiência alterações de brilho e oscilações no vídeo.
• Ao suavizar o histograma, você pode reduzir a oscilação do vídeo e torná-lo mais estável.

Portanto, aproveite as dicas do STE e do histograma para melhorarDe-flicker de vídeo cegoA qualidade e rapidez são viáveis.

Especificamente, o BlazeBVD consiste em três estágios.

Explicação detalhada dos três estágios do BlazeBVD

Assim como um médico tratando uma doença, o BlazeBVD examina primeiro cada quadro do vídeo.

apresentaSTECorrija a sequência do histograma de quadros de vídeo no espaço de iluminação.

Em seguida, extraia informações importantes dos quadros processados, como quais quadros apresentam cintilação mais perceptível(Coleção de quadros singulares), onde a luz precisa ser ajustada(Mapa de luz filtrado)e quais áreas estão super ou subexpostas(foto de exposição)。

Em seguida, BlazeBVD começareparar。

Por um lado, BlazeBVD usa uma ferramenta chamadaMódulo de remoção de cintilação global(GFRM) usa o mapa de luz extraído anteriormente para ajustar a iluminação de todo o vídeo, garantindo que o brilho e a cor de cada quadro pareçam naturais.

Por outro lado, para algumas áreas locais que requerem atenção especial, como super ou subexposição, o BlazeBVD usaráMódulo de remoção parcial de cintilação (LFRM). Este módulo usará informações de fluxo óptico (como rastrear o movimento de objetos no vídeo) para reparar os detalhes nessas áreas.

Depois de concluir esta etapa, o BlazeBVD finalmente prossegue paratrabalho perfeito。

introduz umRede sequencial leve(TCM), essa rede é como a “esteticista” do vídeo, garantindo que cada quadro tenha uma transição visual suave, sem mudanças bruscas.

Para melhorar ainda mais a consistência dos vídeos, o BlazeBVD desenvolveu um sistema de pontuação especial(Perda ponderada da máscara adaptativa) . Este sistema pontua cada quadro para garantir que sejam visualmente consistentes, fazendo com que todo o vídeo pareça mais suave e natural.

Neste ponto, o BlazeBVD concluiu todo o processo de “diagnóstico e tratamento”.

Resultados experimentais

Então, quão eficaz é o BlazeBVD?

Observe diretamente os métodos existentes e o BlazeBVDEm vídeo cegoComparação dos resultados na tarefa de remoção de cintilação:

Entre eles, Deflicker é um método existente, GT (Ground Truth) representa o vídeo ideal sem cintilação e a divergência KL representa a diferença entre o vídeo processado e o vídeo ideal sem cintilação. Quanto maior o valor KL, maior será a diferença.

Pode-se observar que o BlazeBVD pode restaurar bem o histograma de iluminação, evitando artefatos e distorções de cores.(por exemplo, os braços do homem na segunda coluna)。

mais longe emétodo de linha de basePara comparação quantitativa:

BlazeBVD pontua mais alto no PSNR (relação sinal-ruído de pico, quanto maior o valor, melhor a qualidade do vídeo) e SSIM (índice de similaridade estrutural, o valor próximo de 1 significa melhor a qualidade do vídeo), e no Ewarp (o quanto menor o valor, melhor será a qualidade do vídeo) Coerência) obteve pontuação mais baixa.

Em um mundo,BlazeBVD supera os métodos básicos existentes.

Para demonstrar visualmente essa diferença, o BlazeBVD e o método de linha de baseComparação visualdo seguinte modo:

experimento de ablaçãoTambém verificou a eficácia do módulo desenhado por BlazeBVD:

Resumindo, por meio de experimentos abrangentes em vídeos sintéticos, vídeos reais e vídeos gerados, o BlazeBVD demonstra resultados qualitativos e quantitativos superiores e é 10 vezes mais rápido que a velocidade de inferência do modelo de última geração.

Atualmente, os artigos relevantes foram divulgados. Se você estiver interessado, pode saber mais.

papel:
https://arxiv.org/html/2403.06243v1