Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Предоставлено командой BlazeBVD

Кубиты | Публичный аккаунт QbitAI

Семьи, устраните"Видео мерцает"(Например, экран внезапно гаснет) Есть новый трюк!

Задумайтесь, когда вы смотрите старый фильм или видео, снятое на телефоне, картинка периодически появляется.Мерцающие или непоследовательные цветаи другие явления.

Чтобы устранить их, исследователи из Научно-исследовательского института визуализации Мэйту, Университета Китайской академии наук и Сычуаньского университета предложилиновый алгоритм。

новый алгоритм«БлейзБВД»Может автоматически удалять мерцание из видео и делает это очень быстро, как сообщается, быстрее, чем существующие методы.в 10 раз быстрее。

Даже лучше! Этот метод даже не требует предварительного знания конкретного типа или степени мерцания в видео.

Другими словами, это"слепой", можно применять к самым разным видео.

Теперь вам не нужно беспокоиться, даже если условия освещения изменятся или оборудование камеры не сможет справиться с ней. [дог]

В настоящее время подготовлены соответствующие документы.конференция по компьютерному зрениюECCV 2024 принят.

Если вам интересно, давайте продолжим Канкан~

Как BlazeBVD устраняет мерцание видео?

Во-первых, вдохновленный классическим STE (выравнивание времени шкалы метода удаления Scintle), BlazeBVD представляетГистограммаВспомогательные решения.

Гистограмма изображения определяется как распределение значений пикселей и широко используется при обработке изображений для регулировки яркости или контрастности изображения.

Например,Гистограмма изображения похожа на статистическую таблицу, которая сообщает нам, сколько пикселей разной яркости находится на фотографии.

△ Изображение создано Клодом 3.5 Sonnet

СТЭ анализирует видеоГистограмма для каждого кадра, а затем используйте метод под названиемГауссов фильтрМетод сглаживания этих гистограмм заключается в первоначальной коррекции кадров изображения с внезапными изменениями в распределении гистограмм, что может сделать изображение более стабильным и уменьшить мерцание.

Хотя STE эффективен только при некоторых незначительных мерцаниях,но это проверено：

• Гистограммы более кратки, чем необработанные пиксельные данные, и могут более эффективно фиксировать изменения яркости и мерцание в видео.
• Сглаживая гистограмму, вы можете уменьшить мерцание видео и сделать его более стабильным.

Итак, воспользуйтесь подсказками STE и гистограммы для улучшенияСлепое подавление мерцания видеоКачество и скорость соответствуют действительности.

В частности, BlazeBVD состоит из трех этапов.

Подробное объяснение трех этапов BlazeBVD

Подобно врачу, лечащему болезнь, BlazeBVD сначала изучает каждый кадр видео.

он представляетСТЭИсправьте гистограммную последовательность видеокадров в освещенном пространстве.

Затем извлеките важную информацию из обработанных кадров, например, какие кадры имеют наиболее заметное мерцание.(Коллекция единственных рамок), где необходимо отрегулировать свет(Карта фильтрованного освещения)и какие области переэкспонированы или недоэкспонированы(изображение экспозиции)。

Далее начинается BlazeBVDремонт。

С одной стороны, BlazeBVD использует инструмент под названиемМодуль глобального удаления мерцанияИнструмент (GFRM) использует ранее извлеченную карту освещения для настройки освещения всего видео, гарантируя, что яркость и цвет каждого кадра будут выглядеть естественно.

С другой стороны, для некоторых локальных областей, требующих особого внимания, например, при чрезмерном или недостаточном воздействии, BlazeBVD будет использоватьМодуль частичного устранения мерцания (ЛФРМ). Этот модуль будет использовать информацию об оптическом потоке (например, отслеживание движения объектов в видео) для исправления деталей в этих областях.

После завершения этого шага BlazeBVD наконец переходит кидеальная работа。

он вводитЛегкая последовательная сеть(TCM), эта сеть действует как «косметолог» видео, обеспечивая визуальный плавный переход каждого кадра без резких изменений.

Чтобы еще больше повысить согласованность видео, BlazeBVD разработала специальную систему оценки.(Адаптивная маска, взвешенная потеря) . Эта система оценивает каждый кадр, чтобы обеспечить его визуальное единообразие, благодаря чему все видео выглядит более плавным и естественным.

На данный момент BlazeBVD завершил весь процесс «диагностики и лечения».

Результаты эксперимента

Итак, насколько эффективен BlazeBVD?

Непосредственно посмотрите на существующие методы и BlazeBVD.В слепом видеоСравнение результатов по задаче устранения мерцания:

Среди них существующим методом является Deflicker, GT (Ground Truth) представляет собой идеальное видео без мерцания, а расхождение KL представляет собой разницу между обработанным видео и идеальным видео без мерцания. Чем больше значение KL, тем больше разница.

Видно, что BlazeBVD может хорошо восстанавливать гистограмму освещения, избегая при этом цветовых артефактов и искажений цвета.(например, руки мужчины во втором столбце)。

дальше ибазовый методДля количественного сравнения:

BlazeBVD имеет более высокие оценки в PSNR (пиковое соотношение сигнал/шум, чем выше значение, тем лучше качество видео) и SSIM (индекс структурного сходства, значение, близкое к 1, означает лучшее качество видео), а также в Ewarp ( чем меньше значение, тем лучше качество видео) Связность) набрала меньше.

В мире,BlazeBVD превосходит существующие базовые методы.

Чтобы наглядно продемонстрировать эту разницу, BlazeBVD и базовый методВизуальное сравнениеследующее:

эксперимент по абляцииТакже была проверена эффективность модуля, разработанного BlazeBVD:

В итогеБлагодаря комплексным экспериментам с синтетическими, реальными и сгенерированными видеороликами BlazeBVD демонстрирует превосходные качественные и количественные результаты и в 10 раз быстрее, чем скорость вывода современной модели.

В настоящее время соответствующие документы опубликованы. Если вам интересно, вы можете узнать больше.

бумага:
https://arxiv.org/html/2403.06243v1