ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

BlazeBVD チームによる寄稿

パブリックアカウント QbitAI

家族よ、排除せよ「ビデオがちらつく」（例えば、突然画面が真っ暗になるなど） 新しい裏技が登場しました！

考えてみてください。古い映画や携帯電話で撮影したビデオを見ると、時々写真が表示されます。ちらつきや色むらおよびその他の現象。

これらを解消するために、美図画像研究所、中国科学院大学、四川大学の研究者らが提案した。新しいアルゴリズム。

新しいアルゴリズム「ブレイズBVD」ビデオからちらつきを自動的に除去でき、既存の方法よりも高速に実行できると報告されています。10倍高速。

さらに良いです！この方法では、ビデオのちらつきの特定の種類や程度についての事前知識も必要ありません。

つまり、それは、"盲目"、さまざまなビデオに適用できます。

これで、照明環境が変化したり、カメラのハードウェアが追いつかなくなったりしても心配する必要はありません。 [ドージェ]

現在、関連する論文が発表されており、コンピュータビジョンカンファレンスECCV 2024 が承認されました。

興味のある方はカンカン続けましょう～

BlazeBVD はどのようにしてビデオのちらつきを解消しますか?

まず、古典的な STE (Scintle Removal Method Scale Time Equalization) に触発されて、BlazeBVD は導入します。ヒストグラム補助ソリューション。

画像ヒストグラムはピクセル値の分布として定義され、画像の明るさやコントラストを調整する画像処理で広く使用されています。

例えば,画像ヒストグラムは、写真内に異なる明るさのピクセルが何個あるかを示す統計表のようなものです。

△ クロード 3.5 ソネットによって生成された画像

STE がビデオを分析各フレームのヒストグラムと呼ばれるメソッドを使用します。ガウスフィルターこれらのヒストグラムを滑らかにするには、まずヒストグラム分布が急激に変化する画像フレームを事前に補正します。これにより、画像がより安定して見え、ちらつきが軽減されます。

STE は一部の軽微なちらつきに対してのみ効果がありますが、しかしそれは検証されました：

• ヒストグラムは生のピクセル データよりも簡潔で、ビデオの明るさの変化やちらつきをより効果的にキャプチャできます。
• ヒストグラムを滑らかにすることで、ビデオのちらつきを軽減し、ビデオをより安定して見せることができます。

したがって、STE とヒストグラムのヒントを活用して改善します。ブラインドビデオのフリッカー除去品質もスピードも実現可能です。

具体的には、BlazeBVD は 3 つのステージで構成されます。

BlazeBVD の 3 つの段階の詳細な説明

病気を治療する医師と同じように、BlazeBVD はまずビデオの各フレームを検査します。

それは紹介しますステ照明空間内のビデオ フレームのヒストグラム シーケンスを修正します。

次に、どのフレームに最も顕著なちらつきがあるかなど、処理されたフレームから重要な情報を抽出します。(特異フレームコレクション)、光を調整する必要がある場所(フィルターされたライトマップ)、どの領域が露出過剰または露出不足になっているか（露出写真）。

次にBlazeBVDが始まります修理。

一方では、BlazeBVD と呼ばれるツールを使用します。グローバルフリッカー除去モジュール(GFRM) ツールは、以前に抽出したライト マップを使用してビデオ全体の照明を調整し、各フレームの明るさと色が自然に見えるようにします。

一方、露出過剰または露出不足など、特別な注意が必要な一部の局所領域については、BlazeBVD は部分フリッカー除去モジュール (LFRM)。このモジュールは、オプティカル フロー情報 (ビデオ内のオブジェクトの動きの追跡など) を使用して、これらの領域の詳細を修復します。

このステップを完了すると、BlazeBVD は最終的に次の処理に進みます。完璧な仕事。

それは軽量シーケンシャルネットワーク(TCM) では、このネットワークはビデオの「美容師」のようなもので、各フレームが突然変化することなく視覚的にスムーズに移行するようにします。

ビデオの一貫性をさらに向上させるために、BlazeBVD は特別なスコアリング システムを設計しました。(適応マスク重み付け損失) 。このシステムは各フレームにスコアを付けて視覚的な一貫性を確保し、ビデオ全体がより滑らかで自然に見えるようにします。

この時点で、BlazeBVD は「診断と治療」プロセス全体を完了しました。

実験結果

では、BlazeBVD はどの程度効果があるのでしょうか?

既存のメソッドと BlazeBVD を直接確認するブラインドビデオでフリッカー除去タスクの結果の比較:

このうち、Deflicker は既存の手法であり、GT (Ground Truth) は理想的なフリッカーフリーの映像を表し、KL 発散は処理された映像と理想的なフリッカーフリーの映像の差を表します。 KL値が大きいほど差が大きくなります。

BlazeBVD は、色のアーチファクトや色の歪みを回避しながら、照明ヒストグラムを適切に復元できることがわかります。(例: 2 列目の男性の腕)。

さらにそしてベースラインメソッド定量的な比較の場合:

BlazeBVD は、PSNR (ピーク信号対雑音比、値が高いほどビデオ品質が向上します) と SSIM (構造類似性指数、値が 1 に近いほどビデオ品質が向上することを意味します)、および Ewarp (値が低いほど、ビデオ品質が向上します) Coherence) のスコアは低くなります。

一言で、BlazeBVD は既存のベースライン手法を上回ります。

この違いを視覚的に示すために、BlazeBVD とベースライン メソッドを使用します。視覚的な比較次のように：

アブレーション実験また、BlazeBVD によって設計されたモジュールの有効性も検証されました。

要約すれば、合成ビデオ、実際のビデオ、生成されたビデオに関する包括的な実験を通じて、BlazeBVD は優れた定性的および定量的結果を示し、最先端のモデル推論速度よりも 10 倍高速です。

現在、関連する論文が公開されていますので、興味のある方はご覧ください。

紙：
https://arxiv.org/html/2403.06243v1