Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Συνεισφορά από την ομάδα BlazeBVD

Qubits | Δημόσιος λογαριασμός QbitAI

Οικογένειες, εξαλείψτε"Το βίντεο τρεμοπαίζει"(Για παράδειγμα, η οθόνη σβήνει ξαφνικά) Υπάρχει ένα νέο κόλπο!

Σκεφτείτε το, όταν παρακολουθείτε μια παλιά ταινία ή ένα βίντεο που γυρίστηκε στο τηλέφωνό σας, η εικόνα θα εμφανίζεται περιστασιακάΧρώματα που τρεμοπαίζουν ή είναι ασυνεπήκαι άλλα φαινόμενα.

Προκειμένου να εξαλειφθούν αυτά, ερευνητές από το Meitu Imaging Research Institute, το Πανεπιστήμιο της Κινεζικής Ακαδημίας Επιστημών και το Πανεπιστήμιο Sichuan πρότεινανένας νέος αλγόριθμος。

νέος αλγόριθμος“BlazeBVD”Μπορεί να αφαιρέσει αυτόματα το τρεμόπαιγμα από βίντεο και το κάνει πολύ γρήγορα, σύμφωνα με πληροφορίες πιο γρήγορα από τις υπάρχουσες μεθόδους10 φορές πιο γρήγορα。

Ακόμη καλύτερα! Αυτή η μέθοδος δεν απαιτεί καν προηγούμενη γνώση του συγκεκριμένου τύπου ή του βαθμού τρεμούλιασης βίντεο.

Με άλλα λόγια είναι"τυφλός", μπορεί να εφαρμοστεί σε μια ποικιλία διαφορετικών βίντεο.

Τώρα, δεν υπάρχει λόγος ανησυχίας ακόμα κι αν το περιβάλλον φωτισμού αλλάξει ή το υλικό της κάμερας δεν μπορεί να συμβαδίσει. [δόγης]

Προς το παρόν έχουν γίνει σχετικά έγγραφασυνέδριο υπολογιστικής όρασηςECCV 2024 αποδεκτό.

Αν ενδιαφέρεστε, ας συνεχίσουμε το Kangkang~

Πώς το BlazeBVD εξαλείφει το τρεμόπαιγμα του βίντεο;

Πρώτον, εμπνευσμένο από το κλασικό STE (Scintle Removal Method Scale Time Equalization), το BlazeBVD παρουσιάζειΙστόγραμμαΒοηθητικές λύσεις.

Το ιστόγραμμα εικόνας ορίζεται ως η κατανομή των τιμών των pixel και χρησιμοποιείται ευρέως στην επεξεργασία εικόνας για τη ρύθμιση της φωτεινότητας ή της αντίθεσης μιας εικόνας.

Για παράδειγμα,Το ιστόγραμμα της εικόνας είναι σαν ένας στατιστικός πίνακας, ο οποίος μας λέει πόσα pixel διαφορετικής φωτεινότητας υπάρχουν σε μια φωτογραφία.

△ Εικόνα που δημιουργήθηκε από Claude 3.5 Sonnet

Το STE αναλύει το βίντεοΙστόγραμμα για κάθε πλαίσιο, και στη συνέχεια χρησιμοποιήστε μια μέθοδο που ονομάζεταιΦίλτρο GaussianΓια να εξομαλύνετε αυτά τα ιστογράμματα, διορθώστε πρώτα τα καρέ εικόνας με ξαφνικές αλλαγές στην κατανομή του ιστογράμματος, που μπορεί να κάνουν την εικόνα να φαίνεται πιο σταθερή και να μειώσει το τρεμόπαιγμα.

Αν και το STE είναι αποτελεσματικό μόνο για ορισμένα μικρά τρεμοπαίζει,αλλά επαληθεύτηκε：

• Τα ιστογράμματα είναι πιο συνοπτικά από τα ακατέργαστα δεδομένα pixel και μπορούν να αποτυπώσουν πιο αποτελεσματικά τις αλλαγές φωτεινότητας και το τρεμόπαιγμα στο βίντεο.
• Εξομαλύνοντας το ιστόγραμμα, μπορείτε να μειώσετε το τρεμόπαιγμα στο βίντεο και να κάνετε το βίντεο να φαίνεται πιο σταθερό.

Επομένως, επωφεληθείτε από τις υποδείξεις STE και ιστογράμματος για βελτίωσηΤυφλό βίντεο απελευθέρωσηςΗ ποιότητα και η ταχύτητα είναι εφικτές.

Συγκεκριμένα, το BlazeBVD αποτελείται από τρία στάδια.

Λεπτομερής επεξήγηση των τριών σταδίων του BlazeBVD

Ακριβώς όπως ένας γιατρός που θεραπεύει μια ασθένεια, το BlazeBVD εξετάζει πρώτα κάθε καρέ του βίντεο.

εισάγειΣΤΕΔιορθώστε την ακολουθία ιστογράμματος των καρέ βίντεο στο χώρο φωτισμού.

Στη συνέχεια, εξάγετε σημαντικές πληροφορίες από τα επεξεργασμένα καρέ, όπως ποια καρέ έχουν το πιο αισθητό τρεμόπαιγμα(Συλλογή μεμονωμένων πλαισίων), όπου πρέπει να ρυθμιστεί το φως(Χάρτης με φιλτραρισμένο φως), και ποιες περιοχές είναι υπερβολικά ή υποεκτεθειμένες(εικόνα έκθεσης)。

Στη συνέχεια, ξεκινά το BlazeBVDεπισκευή。

Από τη μία πλευρά, το BlazeBVD χρησιμοποιεί ένα εργαλείο που ονομάζεταιΠαγκόσμια μονάδα αφαίρεσης τρεμοπαίσματοςΤο εργαλείο (GFRM) χρησιμοποιεί τον χάρτη φωτός που εξήχθη προηγουμένως για να προσαρμόσει τον φωτισμό ολόκληρου του βίντεο, διασφαλίζοντας ότι η φωτεινότητα και το χρώμα κάθε καρέ φαίνονται φυσικά.

Από την άλλη πλευρά, για ορισμένες τοπικές περιοχές που απαιτούν ιδιαίτερη προσοχή, όπως υπερβολική ή χαμηλή έκθεση, το BlazeBVD θα χρησιμοποιήσειΜονάδα μερικής αφαίρεσης τρεμούλιασμα (LFRM). Αυτή η ενότητα θα χρησιμοποιεί πληροφορίες οπτικής ροής (όπως η παρακολούθηση της κίνησης των αντικειμένων στο βίντεο) για να επιδιορθώσει τις λεπτομέρειες σε αυτές τις περιοχές.

Μετά την ολοκλήρωση αυτού του βήματος, το BlazeBVD τελικά προχωρά σετέλεια δουλειά。

εισάγει αΕλαφρύ διαδοχικό δίκτυο(TCM), αυτό το δίκτυο είναι σαν τον «αισθητικό» του βίντεο, διασφαλίζοντας ότι κάθε καρέ έχει μια ομαλή μετάβαση οπτικά, χωρίς απότομες αλλαγές.

Για να βελτιώσει περαιτέρω τη συνοχή των βίντεο, η BlazeBVD έχει σχεδιάσει ένα ειδικό σύστημα βαθμολόγησης(Απώλεια βαρύτητας με προσαρμοστική μάσκα) . Αυτό το σύστημα βαθμολογεί κάθε καρέ για να διασφαλίσει ότι είναι οπτικά συνεπή, κάνοντας ολόκληρο το βίντεο να φαίνεται πιο ομαλό και φυσικό.

Σε αυτό το σημείο, η BlazeBVD έχει ολοκληρώσει ολόκληρη τη διαδικασία «διάγνωσης και θεραπείας».

Πειραματικά αποτελέσματα

Λοιπόν, πόσο αποτελεσματικό είναι το BlazeBVD;

Κοιτάξτε απευθείας τις υπάρχουσες μεθόδους και το BlazeBVDΣε τυφλό βίντεοΣύγκριση αποτελεσμάτων στην εργασία de-flicker:

Μεταξύ αυτών, το Deflicker είναι μια υπάρχουσα μέθοδος, το GT (Ground Truth) αντιπροσωπεύει το ιδανικό βίντεο χωρίς τρεμόπαιγμα και η απόκλιση KL αντιπροσωπεύει τη διαφορά μεταξύ του επεξεργασμένου βίντεο και του ιδανικού βίντεο χωρίς τρεμόπαιγμα. Όσο μεγαλύτερη είναι η τιμή KL, τόσο μεγαλύτερη είναι η διαφορά.

Μπορεί να φανεί ότι το BlazeBVD μπορεί να αποκαταστήσει καλά το ιστόγραμμα φωτισμού, αποφεύγοντας ταυτόχρονα χρωματικά τεχνουργήματα και χρωματική παραμόρφωση.(π.χ. τα χέρια του άνδρα στη δεύτερη στήλη)。

περαιτέρω καιβασική μέθοδοςΓια ποσοτική σύγκριση:

Το BlazeBVD βαθμολογείται υψηλότερα στο PSNR (αναλογία αιχμής σήματος προς θόρυβο, όσο υψηλότερη είναι η τιμή, τόσο καλύτερη είναι η ποιότητα του βίντεο) και στο SSIM (δείκτης δομικής ομοιότητας, η τιμή κοντά στο 1 σημαίνει τόσο καλύτερη είναι η ποιότητα του βίντεο) και στο Ewarp (το χαμηλότερη τιμή, τόσο καλύτερη είναι η ποιότητα του βίντεο) Συνοχή) χαμηλότερη βαθμολογία.

Σε μία λέξη,Το BlazeBVD ξεπερνά τις υπάρχουσες βασικές μεθόδους.

Για να καταδειχθεί οπτικά αυτή η διαφορά, το BlazeBVD και η βασική μέθοδοςΟπτική σύγκρισηως εξής:

πείραμα αφαίρεσηςΕπίσης επαλήθευσε την αποτελεσματικότητα της ενότητας που σχεδιάστηκε από την BlazeBVD:

Συνοψίζοντας, μέσω ολοκληρωμένων πειραμάτων σε συνθετικά βίντεο, πραγματικά βίντεο και βίντεο που δημιουργούνται, το BlazeBVD επιδεικνύει ανώτερα ποιοτικά και ποσοτικά αποτελέσματα και είναι 10 φορές ταχύτερη από την ταχύτητα συμπερασμάτων του μοντέλου αιχμής.

Προς το παρόν, οι σχετικές εργασίες έχουν δημοσιοποιηθεί Εάν ενδιαφέρεστε, μπορείτε να μάθετε περισσότερα.

χαρτί:
https://arxiv.org/html/2403.06243v1