berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Dikontribusikan oleh tim BlazeBVD

Qubit |. Akun publik QbitAI

Keluarga, hilangkan"Video berkedip-kedip"(Misalnya layar tiba-tiba blank) Ada trik baru!

Bayangkan saja, saat Anda menonton film lama atau video yang direkam di ponsel Anda, gambar itu sesekali akan munculWarna berkedip-kedip atau tidak konsistendan fenomena lainnya.

Untuk menghilangkannya, para peneliti dari Meitu Imaging Research Institute, University of Chinese Academy of Sciences, dan Sichuan University mengusulkansebuah algoritma baru。

algoritma baru“BlazeBVD”Dapat menghilangkan kedipan dari video secara otomatis dan melakukannya dengan sangat cepat, kabarnya lebih cepat dari metode yang ada10 kali lebih cepat。

Bahkan lebih baik! Metode ini bahkan tidak memerlukan pengetahuan sebelumnya tentang jenis atau tingkat kedipan tertentu dalam video.

Dengan kata lain, memang demikian"buta", dapat diterapkan ke berbagai video berbeda.

Kini, tidak perlu khawatir meskipun lingkungan pencahayaan berubah atau perangkat keras kamera tidak dapat mengimbanginya. [anjing]

Saat ini, makalah yang relevan telahkonferensi visi komputerECCV 2024 diterima.

Jika tertarik, yuk lanjutkan Kangkang~

Bagaimana cara BlazeBVD menghilangkan kedipan video?

Pertama, terinspirasi oleh STE (Scintle Removal Method Scale Time Equalization) klasik, BlazeBVD memperkenalkanHistogramSolusi tambahan.

Histogram gambar didefinisikan sebagai distribusi nilai piksel, dan banyak digunakan dalam pemrosesan gambar untuk mengatur kecerahan atau kontras suatu gambar.

Misalnya,Histogram gambar seperti tabel statistik, yang memberi tahu kita berapa banyak piksel dengan kecerahan berbeda dalam sebuah foto.

△ Gambar dihasilkan oleh Claude 3.5 Soneta

STE menganalisis video tersebutHistogram untuk setiap frame, lalu gunakan metode yang disebutFilter GaussMetode untuk menghaluskan histogram ini adalah dengan terlebih dahulu mengoreksi bingkai gambar dengan perubahan distribusi histogram secara tiba-tiba, yang dapat membuat gambar terlihat lebih stabil dan mengurangi kedipan.

Meskipun STE hanya efektif untuk beberapa kedipan kecil,tapi itu diverifikasi：

• Histogram lebih ringkas dibandingkan data piksel mentah dan dapat menangkap perubahan kecerahan dan kedipan dalam video dengan lebih efektif.
• Dengan menghaluskan histogram, Anda dapat mengurangi kedipan pada video dan membuat video terlihat lebih stabil.

Jadi, manfaatkan petunjuk STE dan histogram untuk meningkatkannyaPenghilang kedipan video butaKualitas dan kecepatannya layak.

Secara spesifik, BlazeBVD terdiri dari tiga tahap.

Penjelasan rinci tentang tiga tahapan BlazeBVD

Layaknya seorang dokter yang mengobati suatu penyakit, BlazeBVD terlebih dahulu memeriksa setiap frame video.

itu memperkenalkanSTEPerbaiki urutan histogram bingkai video di ruang iluminasi.

Kemudian ekstrak informasi penting dari frame yang diproses, seperti frame mana yang memiliki kedipan paling mencolok(Koleksi bingkai tunggal), di mana cahaya perlu disesuaikan(Peta cahaya yang difilter), dan area mana yang terkena paparan berlebih atau kurang(gambar paparan)。

Selanjutnya, BlazeBVD dimulaimemperbaiki。

Di satu sisi, BlazeBVD menggunakan alat yang disebutModul penghapusan kedipan globalAlat (GFRM) menggunakan peta cahaya yang diekstraksi sebelumnya untuk menyesuaikan pencahayaan keseluruhan video, memastikan kecerahan dan warna setiap frame terlihat alami.

Sebaliknya, untuk beberapa area lokal yang memerlukan perhatian khusus, seperti over atau under exposure, BlazeBVD akan digunakanModul penghapusan kedipan sebagian (LFRM). Modul ini akan menggunakan informasi aliran optik (seperti melacak pergerakan objek dalam video) untuk memperbaiki detail di area tersebut.

Setelah menyelesaikan langkah ini, BlazeBVD akhirnya melanjutkan kepekerjaan yang sempurna。

itu memperkenalkan aJaringan sekuensial ringan(TCM), jaringan ini ibarat "ahli kecantikan" video, memastikan setiap frame memiliki transisi visual yang mulus, tanpa perubahan mendadak.

Untuk lebih meningkatkan konsistensi video, BlazeBVD telah merancang sistem penilaian khusus(Masker adaptif penurunan berat badan) . Sistem ini menilai setiap frame untuk memastikan konsistensi visualnya, membuat keseluruhan video terlihat lebih halus dan alami.

Pada titik ini, BlazeBVD telah menyelesaikan seluruh proses "diagnosis dan pengobatan".

Hasil percobaan

Jadi, seberapa efektifkah BlazeBVD?

Lihat langsung metode yang ada dan BlazeBVDDalam video butaPerbandingan hasil pada tugas de-flicker:

Diantaranya, Deflicker adalah metode yang sudah ada, GT (Ground Truth) mewakili video ideal bebas kedipan, dan divergensi KL mewakili perbedaan antara video yang diproses dan video ideal bebas kedipan. Semakin besar nilai KL maka selisihnya semakin besar.

Terlihat bahwa BlazeBVD dapat mengembalikan histogram pencahayaan dengan baik sekaligus menghindari artefak warna dan distorsi warna.(misalnya lengan pria di kolom kedua)。

selanjutnya danmetode dasarUntuk perbandingan kuantitatif:

BlazeBVD mendapat skor lebih tinggi di PSNR (rasio signal-to-noise puncak, semakin tinggi nilainya, semakin baik kualitas videonya) dan SSIM (indeks kesamaan struktural, nilai mendekati 1 berarti semakin baik kualitas videonya), dan di Ewarp (the semakin rendah nilainya, semakin baik kualitas videonya) Koherensi) mendapat skor lebih rendah.

Dalam sebuah kata,BlazeBVD melampaui metode dasar yang ada.

Untuk menunjukkan perbedaan ini secara visual, BlazeBVD dan metode dasarPerbandingan visualsebagai berikut:

percobaan ablasiHal ini juga memverifikasi efektivitas modul yang dirancang oleh BlazeBVD:

Singkatnya, melalui eksperimen komprehensif pada video sintetis, video nyata, dan video yang dihasilkan, BlazeBVD menunjukkan hasil kualitatif dan kuantitatif yang unggul dan 10 kali lebih cepat daripada kecepatan inferensi model yang canggih.

Saat ini, makalah yang relevan telah dipublikasikan.

kertas:
https://arxiv.org/html/2403.06243v1