Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• Колонка AIxiv — это колонка, в которой Machine Heart публикует академический и технический контент. За последние несколько лет колонка Heart of the Machine AIxiv получила более 2000 отчетов, охватывающих ведущие лаборатории крупнейших университетов и компаний по всему миру, что эффективно способствует академическому обмену и распространению информации. Если у вас есть отличная работа, которой вы хотите поделиться, пожалуйста, внесите свой вклад или свяжитесь с нами для отчета. Электронная почта для отправки: [email protected];

В последние годы быстро возникла экосистема коротких видео, и постоянно появляются инструменты для творчества и редактирования коротких видеороликов. Wink, профессиональный инструмент для редактирования мобильного видео, принадлежащий Meitu, занимает первое место благодаря своим оригинальным возможностям восстановления качества видео, привлекая пользователей дома. и за рубежом объем продолжает расти.

За популярностью функции восстановления качества изображения Wink стоит понимание Meitu болевых точек пользователей при создании видео, таких как размытые изображения, сильный шум и низкое качество изображения на фоне ускоренного роста спроса на приложения для редактирования видео. на основе мощной поддержки технологии восстановления и улучшения видео Исследовательского института изображений Meitu (MT Lab), в настоящее время запущено восстановление качества изображения HD, восстановление качества изображения UHD, улучшение восстановления качества изображения, улучшение разрешения и другие функции. .

Недавно Исследовательский институт обработки изображений Meitu (MT Lab) и Университет Китайской академии наук предложили новый метод слепого подавления мерцания видео (BVD) на основе STE BlazeBVD, который используется для обработки видео низкого качества с неизвестным ухудшением мерцания освещения. максимально сохраняя целостность исходного видеоконтента и цвета, было принято ведущей конференцией по компьютерному зрению ECCV 2024.

Ссылка на документ: https://arxiv.org/pdf/2403.06243v1.

BlazeBVD нацелен на сценарии мерцания видео. Мерцание видео может легко повлиять на временную согласованность, которая является необходимым условием для вывода высококачественного видео. Даже слабое мерцание видео может серьезно повлиять на качество просмотра. Причина обычно кроется в плохих условиях съемки и аппаратных ограничениях съемочного оборудования, а когда к видеокадрам применяется технология обработки изображений, эта проблема часто еще больше усугубляется. Кроме того, в недавних задачах по созданию видео, в том числе на основе генеративно-состязательных сетей (GAN) и диффузионных моделей (DM), часто возникают артефакты мерцания и проблемы с искажением цвета. Поэтому в различных сценариях обработки видео крайне важно изучить возможность использования слепого подавления мерцания видео (BVD) для устранения мерцания видео и поддержания целостности видеоконтента.

На задачу BVD не влияет причина и степень мерцания видео, и она имеет широкий спектр перспектив применения. В настоящее время такие задачи в основном включают восстановление старых фильмов, высокоскоростную съемку камерой, обработку искажений цвета и другие задачи, требующие решения. не имеет ничего общего с типом и степенью мерцания видео, а также задачами, которые должны работать только с одним мерцающим видео без дополнительной информации, такой как тип мерцания видео, эталонный видеовход и т. д. Кроме того, BVD сейчас в основном ориентирован на традиционную фильтрацию, принудительную временную согласованность и методы атласа. Поэтому, хотя методы глубокого обучения и достигли значительного прогресса в задачах BVD, они сильно затруднены на уровне приложений из-за отсутствия предварительных знаний. BVD по-прежнему сталкивается со многими проблемами.

BlazeBVD: эффективно улучшите эффект устранения мерцания слепых видео.

Вдохновленный классическим методом выравнивания масштаба и времени (STE) для устранения мерцания, BlazeBVD представляет решение на основе гистограммы. Гистограмма изображения определяется как распределение значений пикселей. Она широко используется при обработке изображений для регулировки яркости или контрастности изображения. Учитывая произвольное видео, STE может сглаживать гистограмму с помощью фильтрации по Гауссу и корректировать каждое изображение с помощью выравнивания гистограммы. значения пикселей в кадре, тем самым улучшая визуальную стабильность видео. Хотя STE эффективен только при некоторых незначительных мерцаниях, он проверяет:

Гистограммы гораздо компактнее значений пикселей и могут хорошо отображать информацию о яркости и мерцании.

Сглаженное видео последовательности гистограмм не имеет визуально заметного мерцания.

Следовательно, можно использовать сигналы STE и гистограммы для улучшения качества и скорости устранения мерцания слепого видео.

Сглаживая эти гистограммы для создания отдельных коллекций кадров, карт отфильтрованного освещения и карт масок экспозиции, BlazeBVD обеспечивает быстрое и стабильное восстановление текстур в условиях колебаний освещения, а также пере- или недодержки. По сравнению с предыдущими методами глубокого обучения, BlazeBVD впервые тщательно использует гистограммы, чтобы снизить сложность обучения задач BVD, упрощая сложность и потребление ресурсов при обучении видеоданных. Его суть заключается в использовании априорного мерцания STE, в том числе для A-фильтрации. карта освещения, которая управляет удалением глобального мерцания, набор единичных кадров, который определяет индексы кадров мерцания, и карта экспозиции, которая идентифицирует области, на которые локально влияет передержка или темнота.

В то же время, используя априоры мерцания, BlazeBVD объединяет модуль глобального удаления мерцания (GFRM) и модуль локального удаления мерцания (LFRM) для эффективной коррекции текстур глобального освещения и локальной экспозиции отдельных соседних кадров. Кроме того, для повышения согласованности между кадрами интегрирована облегченная сеть синхронизации (TCM), позволяющая повысить производительность без затрат большого количества времени.

Рисунок 1: Сравнение результатов метода BlazeBVD и существующих методов в задаче подавления мерцания слепого видео.

В частности, BlazeBVD состоит из трех этапов:

Во-первых, используется STE для коррекции последовательности гистограмм видеокадров в пространстве освещения и извлечения априорных данных о мерцании, включая наборы отдельных кадров, отфильтрованные карты освещения и карты экспозиции.

Во-вторых, поскольку отфильтрованные карты освещения имеют стабильные временные характеристики, они будут использоваться в качестве контрольных условий для модуля глобального удаления мерцания (GFRM), содержащего 2D-сеть для управления цветовой коррекцией видеокадров. С другой стороны, модуль локального удаления мерцания (LFRM) восстанавливает переэкспонированные или темные области, отмеченные картой локальной экспозиции, на основе информации об оптическом потоке.

Наконец, для обработки всех кадров введена облегченная временная сеть (TCM), в которой для улучшения согласованности видео предусмотрена адаптивная маска с взвешенными потерями.

Посредством всесторонних экспериментов с синтетическими, реальными и сгенерированными видеороликами мы демонстрируем превосходные качественные и количественные результаты BlazeBVD, достигая скорости вывода моделей, которая в 10 раз выше скорости вывода современных моделей.

Рисунок 2. Процесс обучения и вывода BlazeBVD

Результаты эксперимента

Большое количество экспериментов показывает, что BlazeBVD, общий метод для задач слепого мерцания видео, превосходит предыдущие работы на синтетических и реальных наборах данных, а эксперименты по абляции также подтверждают эффективность модулей, разработанных BlazeBVD.

Таблица 1: Количественное сравнение с базовыми методами

Рисунок 3. Визуальное сравнение с базовыми методами.

Рисунок 4: Эксперимент по абляции

Использование технологии обработки изображений для повышения производительности

В этой статье предлагается BlazeBVD, общий метод решения задач слепого мерцания видео, использующий 2D-сети для восстановления мерцающих видео низкого качества, на которые влияют изменения освещения или проблемы с локальной экспозицией. Его суть заключается в предварительной обработке априорных значений мерцания в фильтре STE в пространстве освещения; затем использование этих априорных значений в сочетании с модулем глобального удаления мерцания (GFRM) и модулем локального удаления мерцания (LFRM) для коррекции текстур глобального мерцания и локальной экспозиции; Наконец, облегченная временная сеть (TCM) используется для улучшения когерентности и межкадровой согласованности видео, а также обеспечивает 10-кратное ускорение вывода модели.

Являясь исследователем в области обработки изображений и дизайна в Китае, Meitu продолжает внедрять удобные и эффективные функции искусственного интеллекта, чтобы предоставлять пользователям инновационные услуги и опыт. Научно-исследовательский институт обработки изображений Meitu (MT Lab), как основной центр исследований и разработок, продолжит работу. для итеративного обновления возможностей искусственного интеллекта. Предоставьте создателям видео новый способ создания видеороликов и откройте для себя более широкий мир.