Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• Η στήλη AIxiv είναι μια στήλη όπου το Machine Heart δημοσιεύει ακαδημαϊκό και τεχνικό περιεχόμενο. Τα τελευταία χρόνια, η στήλη Heart of the Machine AIxiv έχει λάβει περισσότερες από 2.000 αναφορές, που καλύπτουν κορυφαία εργαστήρια από μεγάλα πανεπιστήμια και εταιρείες σε όλο τον κόσμο, προωθώντας αποτελεσματικά τις ακαδημαϊκές ανταλλαγές και τη διάδοση. Εάν έχετε εξαιρετική δουλειά που θέλετε να μοιραστείτε, μη διστάσετε να συνεισφέρετε ή να επικοινωνήσετε μαζί μας για αναφορά. Email υποβολής: [email protected], [email protected]

Τα τελευταία χρόνια, το οικοσύστημα μικρού μήκους αναδύθηκε γρήγορα και τα δημιουργικά εργαλεία και τα εργαλεία επεξεργασίας γύρω από σύντομα βίντεο αναδύονται συνεχώς. και στο εξωτερικό ο όγκος συνεχίζει να αυξάνεται.

Πίσω από τη δημοτικότητα της λειτουργίας επισκευής ποιότητας εικόνας του Wink βρίσκεται η γνώση της Meitu σχετικά με τα σημεία πόνου δημιουργίας βίντεο από τους χρήστες, όπως θολές εικόνες, έντονος θόρυβος και χαμηλή ποιότητα εικόνας, εν μέσω της επιταχυνόμενης απελευθέρωσης της ζήτησης για εφαρμογές επεξεργασίας βίντεο βασίζεται στο Με την ισχυρή υποστήριξη τεχνολογίας αποκατάστασης βίντεο και βελτίωσης βίντεο του Meitu Imaging Research Institute (MT Lab), έχει κυκλοφορήσει επί του παρόντος αποκατάσταση ποιότητας εικόνας-HD, αποκατάσταση ποιότητας εικόνας-UHD, αποκατάσταση ποιότητας εικόνας-βελτίωση πορτρέτου, βελτίωση ανάλυσης και άλλες λειτουργίες .

Πρόσφατα, το Meitu Imaging Research Institute (MT Lab) και η Κινεζική Ακαδημία Επιστημών πρότειναν μια νέα μέθοδο αποκλιμάκωσης βίντεο BlazeBVD που βασίζεται σε STE, η οποία χρησιμοποιείται για την επεξεργασία βίντεο χαμηλής ποιότητας με άγνωστη υποβάθμιση του τρεμούλιου φωτισμού. Η διατήρηση της ακεραιότητας του αρχικού περιεχομένου και του χρώματος του βίντεο όσο το δυνατόν περισσότερο, έγινε αποδεκτή από το κορυφαίο συνέδριο υπολογιστικής όρασης ECCV 2024.

Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2403.06243v1

Το BlazeBVD στοχεύει σενάρια που τρεμοπαίζουν βίντεο Το τρεμόπαιγμα του βίντεο μπορεί εύκολα να επηρεάσει τη χρονική συνέπεια, κάτι που είναι απαραίτητη προϋπόθεση για την έξοδο βίντεο υψηλής ποιότητας. Ο λόγος γενικά προκαλείται από το κακό περιβάλλον λήψης και τους περιορισμούς υλικού του εξοπλισμού λήψης και όταν εφαρμόζεται τεχνολογία επεξεργασίας εικόνας σε καρέ βίντεο, αυτό το πρόβλημα συχνά επιδεινώνεται περαιτέρω. Επιπλέον, τα τεχνουργήματα τρεμοπαίσματος και τα προβλήματα παραμόρφωσης χρώματος προκύπτουν επίσης συχνά σε πρόσφατες εργασίες δημιουργίας βίντεο, συμπεριλαμβανομένων εκείνων που βασίζονται σε δίκτυα αντιπάλου παραγωγής (GAN) και μοντέλα διάχυσης (DM). Επομένως, σε διάφορα σενάρια επεξεργασίας βίντεο, είναι σημαντικό να διερευνηθεί η χρήση του Blind Video Deflickering (BVD) για την εξάλειψη του τρεμούλιασμα βίντεο και τη διατήρηση της ακεραιότητας του περιεχομένου βίντεο.

Η εργασία BVD δεν επηρεάζεται από την αιτία και τον βαθμό του τρεμούλιασμα βίντεο και έχει ένα ευρύ φάσμα προοπτικών εφαρμογής Η τρέχουσα εστίαση σε τέτοιες εργασίες περιλαμβάνει κυρίως την αποκατάσταση παλιών ταινιών, τη λήψη κάμερας υψηλής ταχύτητας, την επεξεργασία παραμόρφωσης χρώματος και άλλες εργασίες. καμία σχέση με τον τύπο τρεμοπαίσματος βίντεο και τις εργασίες που χρειάζονται μόνο ένα τρεμόπαιγμα χωρίς πρόσθετες πληροφορίες καθοδήγησης, όπως ο τύπος τρεμοπαίσματος βίντεο, η είσοδος βίντεο αναφοράς, κ.λπ. Επιπλέον, η BVD επικεντρώνεται πλέον κυρίως στο παραδοσιακό φιλτράρισμα, στην εξαναγκαστική χρονική συνέπεια και στις μεθόδους άτλαντα. Ως εκ τούτου, αν και οι μέθοδοι βαθιάς μάθησης έχουν σημειώσει σημαντική πρόοδο στις εργασίες BVD, παρεμποδίζονται σε μεγάλο βαθμό σε επίπεδο εφαρμογής λόγω της έλλειψης προηγούμενης γνώσης. Το BVD εξακολουθεί να αντιμετωπίζει πολλές προκλήσεις.

BlazeBVD: Βελτιώστε αποτελεσματικά το αποτέλεσμα απελευθέρωσης του τρεμουλιάσματος των τυφλών βίντεο

Εμπνευσμένο από την κλασική μέθοδο αφαίρεσης τρεμοπαίσματος, ισοστάθμιση χρόνου κλίμακας (STE), το BlazeBVD παρουσιάζει μια λύση υποβοηθούμενη από ιστογράμματα. Το ιστόγραμμα εικόνας ορίζεται ως η κατανομή των τιμών των εικονοστοιχείων Χρησιμοποιείται ευρέως στην επεξεργασία της εικόνας για τη ρύθμιση της φωτεινότητας ή της αντίθεσης μιας εικόνας, το STE μπορεί να εξομαλύνει το ιστόγραμμα χρησιμοποιώντας το φίλτρο Gauss και να διορθώνει κάθε εικόνα χρησιμοποιώντας την εξίσωση ιστογράμματος. τιμές pixel στο κάδρο, βελτιώνοντας έτσι την οπτική σταθερότητα του βίντεο. Αν και το STE είναι αποτελεσματικό μόνο για ορισμένα μικρά τρεμόπαιγμα, επαληθεύει:

Τα ιστογράμματα είναι πολύ πιο συμπαγή από τις τιμές των pixel και μπορούν να απεικονίσουν καλά τις πληροφορίες φωτεινότητας και τρεμοπαίζει.

Το εξομαλυνόμενο βίντεο της ακολουθίας ιστογράμματος δεν έχει οπτικά αξιοσημείωτο τρεμόπαιγμα.

Ως εκ τούτου, είναι εφικτό να χρησιμοποιηθούν συνθήματα από το STE και τα ιστογράμματα για τη βελτίωση της ποιότητας και της ταχύτητας της τυφλής αποτρεμάτωσης βίντεο.

Εξομαλύνοντας αυτά τα ιστογράμματα για τη δημιουργία μοναδικών συλλογών πλαισίων, φιλτραρισμένων χαρτών φωτός και χάρτες μάσκας έκθεσης, το BlazeBVD επιτρέπει γρήγορη και σταθερή ανάκτηση υφής ενόψει των διακυμάνσεων του φωτισμού και της υπερβολικής ή υποέκθεσης. Σε σύγκριση με προηγούμενες μεθόδους βαθιάς εκμάθησης, το BlazeBVD χρησιμοποιεί προσεκτικά ιστογράμματα για να μειώσει την πολυπλοκότητα εκμάθησης των εργασιών BVD για πρώτη φορά, απλοποιώντας την πολυπλοκότητα και την κατανάλωση πόρων των δεδομένων βίντεο εκμάθησης χάρτης φωτισμού που καθοδηγεί την κατάργηση του καθολικού τρεμοπαίζει, ένα μοναδικό σύνολο καρέ που προσδιορίζει τους δείκτες καρέ που τρεμοπαίζουν και ένας χάρτης έκθεσης που προσδιορίζει περιοχές που επηρεάζονται τοπικά από υπερβολική έκθεση ή σκοτάδι.

Ταυτόχρονα, χρησιμοποιώντας προτεραιότητες τρεμοπαίσματος, το BlazeBVD συνδυάζει μια καθολική μονάδα αφαίρεσης τρεμοπαίσματος (GFRM) και μια μονάδα αφαίρεσης τοπικού τρεμοπαίσματος (LFRM) για να διορθώσει αποτελεσματικά τον παγκόσμιο φωτισμό και τις υφές τοπικής έκθεσης μεμονωμένων παρακείμενων πλαισίων. Επιπλέον, για να βελτιωθεί η συνέπεια μεταξύ των πλαισίων, είναι ενσωματωμένο ένα ελαφρύ δίκτυο χρονισμού (TCM) για τη βελτίωση της απόδοσης χωρίς να καταναλώνεται πολύς χρόνος.

Σχήμα 1: Σύγκριση αποτελεσμάτων μεταξύ της μεθόδου BlazeBVD και των υπαρχουσών μεθόδων σε τυφλή εργασία de-flicker βίντεο

Συγκεκριμένα, το BlazeBVD αποτελείται από τρία στάδια:

Πρώτον, εισάγεται το STE για τη διόρθωση της ακολουθίας ιστογράμματος των καρέ βίντεο στον χώρο φωτισμού και την εξαγωγή προτεραιοτήτων τρεμοπαίσματος, συμπεριλαμβανομένων μεμονωμένων συνόλων καρέ, φιλτραρισμένων χαρτών φωτισμού και χαρτών έκθεσης.

Δεύτερον, δεδομένου ότι οι φιλτραρισμένοι χάρτες φωτισμού έχουν σταθερή χρονική απόδοση, θα χρησιμοποιηθούν ως συνθήκες υπόδειξης για μια μονάδα καθολικής αφαίρεσης τρεμούλιασμα (GFRM) που περιέχει ένα δίκτυο 2D για την καθοδήγηση της διόρθωσης χρώματος των καρέ βίντεο. Από την άλλη πλευρά, η μονάδα αφαίρεσης τοπικού τρεμούλιασμα (LFRM) αποκαθιστά τις υπερβολικά εκτεθειμένες ή σκοτεινές περιοχές που επισημαίνονται από τοπικούς χάρτες έκθεσης βάσει πληροφοριών οπτικής ροής.

Τέλος, εισάγεται ένα ελαφρύ χρονικό δίκτυο (TCM) για την επεξεργασία όλων των καρέ, στο οποίο έχει σχεδιαστεί μια προσαρμοστική απώλεια βαρύτητας μάσκας για τη βελτίωση της συνέπειας του βίντεο.

Μέσω ολοκληρωμένων πειραμάτων σε συνθετικά βίντεο, πραγματικά βίντεο και βίντεο που δημιουργούνται, επιδεικνύουμε τα ανώτερα ποιοτικά και ποσοτικά αποτελέσματα του BlazeBVD, επιτυγχάνοντας ταχύτητες συμπερασμάτων μοντέλων που είναι 10 φορές μεγαλύτερες από τις ταχύτητες συμπερασμάτων μοντέλων αιχμής.

Εικόνα 2: Η διαδικασία εκπαίδευσης και συμπερασμάτων του BlazeBVD

Πειραματικά αποτελέσματα

Ένας μεγάλος αριθμός πειραμάτων δείχνει ότι το BlazeBVD, μια γενική μέθοδος για εργασίες τυφλού τρεμοπαίγματος βίντεο, ξεπερνά τις προηγούμενες εργασίες σε συνθετικά και πραγματικά σύνολα δεδομένων και τα πειράματα κατάλυσης επαληθεύουν επίσης την αποτελεσματικότητα των μονάδων που σχεδίασε η BlazeBVD.

Πίνακας 1: Ποσοτική σύγκριση με βασικές μεθόδους

Εικόνα 3: Οπτική σύγκριση με βασικές μεθόδους

Εικόνα 4: Πείραμα αφαίρεσης

Χρήση τεχνολογίας απεικόνισης για την αύξηση της παραγωγικότητας

Αυτή η εργασία προτείνει το BlazeBVD, μια γενική μέθοδο για εργασίες τυφλής τρεμούλιασης βίντεο, χρησιμοποιώντας δίκτυα 2D για την επιδιόρθωση βίντεο που τρεμοπαίζουν χαμηλής ποιότητας που επηρεάζονται από αλλαγές φωτισμού ή προβλήματα τοπικής έκθεσης. Ο πυρήνας του είναι η προεπεξεργασία των προηγούμενων τρεμοπαιχνιδιών εντός του φίλτρου STE στον χώρο φωτισμού, στη συνέχεια, η χρήση αυτών των προηγούμενων στοιχείων, σε συνδυασμό με τη μονάδα αφαίρεσης τρεμοπαίζεις (GFRM) και τη μονάδα αφαίρεσης τοπικού τρεμούλιασμα (LFRM), για τη διόρθωση του καθολικού τρεμοπαίσματος και της τοπικής υφής. Τέλος, ένα ελαφρύ χρονικό δίκτυο (TCM) χρησιμοποιείται για τη βελτίωση της συνοχής και της συνέπειας μεταξύ των καρέ του βίντεο, και επίσης επιτυγχάνει επιτάχυνση 10x στο συμπέρασμα μοντέλου.

Ως εξερευνητής στον τομέα της απεικόνισης και του σχεδιασμού στην Κίνα, η Meitu συνεχίζει να λανσάρει βολικές και αποτελεσματικές λειτουργίες AI για να προσφέρει καινοτόμες υπηρεσίες και εμπειρίες στους χρήστες του Meitu Imaging Research Institute (MT Lab), ως το βασικό κέντρο έρευνας και ανάπτυξης για την επαναληπτική αναβάθμιση των δυνατοτήτων τεχνητής νοημοσύνης Παρέχετε στους δημιουργούς βίντεο έναν νέο τρόπο δημιουργίας βίντεο και ανοίγματος ενός ευρύτερου κόσμου.