Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Εκτός διαγραμμάτων! ! Ποιος θα ήξερε ότι το όμορφο κορίτσι σε αυτό ήταν στην πραγματικότητα θείος χωρίς να δει την πλήρη έκδοση του βίντεο.

[Το βίντεο δεν μπορεί να εισαχθεί εδώ, δυστυχώς...μπορείτε να το ελέγξετε στον επίσημο λογαριασμό Qubit~]

Εντάξει, αποδεικνύεται ότι αυτό έγινε χρησιμοποιώντας την ομάδα Kuaishou Keling.Ελεγχόμενο πλαίσιο δημιουργίας βίντεο πορτρέτου——LivePortrait.

Το LivePortrait έγινε άμεση επιτυχία ως ανοιχτού κώδικα και έχει χρησιμοποιηθεί ευρέως στο GitHub σε σύντομο χρονικό διάστημα.7,5 ΧιλΣημάδι αστεριών.

Προσέλκυσε επίσης τον επικεφαλής στρατηγικής του HuggingFace, Thomas Wolf, να το ζήσει ο ίδιος:

Επί του παρόντος, κατατάσσεται μεταξύ όλων των εφαρμογών HuggingFace.Πρώτα η τάση：

Λοιπόν, γιατί το LivePortrait προσελκύει τόση προσοχή;

Ας ξεκινήσουμε με την εντυπωσιακή του απόδοση...

Αφήστε την έκφραση "μεταφορά"

Το LivePortrait είναι ανοιχτό από την ομάδα Kuaishou Keling Big Model και χρειάζεται μόνο1 πρωτότυπη φωτογραφίαΜπορείτε να δημιουργήσετε δυναμικά βίντεο.

Ας δούμε πρώτα ένα σύνολο επίσημων αποτελεσμάτων.

απόαπλούστεροΓια να ξεκινήσετε, ρίξτε μια στατική εικόνα και το LivePortrait μπορεί να κάνει το πορτρέτο να αναβοσβήνει, να χαμογελάσει ή να γυρίσει το κεφάλι του.

Μπορεί ακόμα να χρησιμοποιηθεί"εμβόλιο", δηλαδή αντιγραφή εκφράσεων, δυναμικής κ.λπ. σε άλλους ανθρώπους ή χωρίς περιορισμό στο στυλ (ρεαλισμός, ελαιογραφία, γλυπτική, τρισδιάστατη απόδοση) και μέγεθος~

Φυσικά, αυτή η "μαγεία"Δεν περιορίζεται σε ένα άτομο , δεν είναι αδύνατο να έχετε ένα οικογενειακό πορτρέτο. [δόγης]

Εκτός από τη μετάβαση από στατική εικόνα σε βίντεο, μπορούμε επίσης να κάνουμεένα ή περισσότερα βίντεοΣυνειδητοποιήστε την «τεχνική ενίσχυσης του χαμόγελου».

Για παράδειγμα, εάν παρέχουμε ένα βίντεο με ένα μωρό χωρίς έκφραση (άκρα δεξιά), μπορούμε να αφήσουμε το μωρό να κλείσει το μάτι ή να χαμογελάσει σύμφωνα με το βίντεο αναφοράς.

Παρεμπιπτόντως, δεν περιορίζεται μόνο σε πορτρέτα ανθρώπων, οι γάτες και οι σκύλοι μπορούν επίσης να αρχίσουν να ενεργούν φιλάρεσκα και χαριτωμένα.

Με λίγα λόγια, το LivePortrait μπορεί να πετύχειΑκριβής έλεγχος εκφράσεων χαρακτήρων, όπως η προς τα πάνω καμπυλότητα των γωνιών του στόματος και ο βαθμός μεγέθυνσης των ματιών μπορούν να ενεργοποιηθούν και να επιλεγούν.

Δώσε ένα παράδειγμακάστανουιός, τα ακόλουθα δύο είναι οι αλλαγές στο μέγεθος των ματιών των χαρακτήρων κάτω από διαφορετικές ρυθμίσεις παραμέτρων:

Φαίνεται ότι τα «τρία μέρη ψυχραιμία, τρία μέρη γελοιοποίηση και τέσσερα μέρη ασυνειδησία» στο μυθιστόρημα δεν είναι αδύνατο να επιτευχθούν. [δόγης]

Δεν ξέρω αν συγκινηθείτε αφού διαβάσατε αυτό, οι χρήστες του Διαδικτύου δεν μπορούν να σταματήσουν τον ενθουσιασμό τους.

Για παράδειγμα, προσθέστε ένα τέχνασμα φωτισμού για να κάνετε γκριμάτσες, που μοιάζει με ταινία τρόμου:

Ένα άλλο παράδειγμα είναι η μεταμόρφωση σε πίθηκο με δύο αγκάθια σε πραγματικό χρόνο:

Αφού διαβάσετε αυτά τα παραδείγματα, ας εμβαθύνουμε στις τεχνικές αρχές πίσω από αυτά.

Καυτό πλαίσιο ανοιχτού κώδικα

Διαφορετικά από τις τρέχουσες κύριες μεθόδους που βασίζονται σε μοντέλα διάχυσης, το LivePortrait εξερευνά και επεκτείνειΠλαίσιο που βασίζεται σε έμμεσα σημεία-κλειδιάδυνητικός.

Συγκεκριμένα, το LivePortrait δεν βασίζεται σε ρητά ορατούς δείκτες ή σημεία χαρακτηριστικών στην εικόνα, αλλά αντίθετα συνάγει σιωπηρά τη θέση των βασικών σημείων μαθαίνοντας μοτίβα στο σύνολο δεδομένων.

Σε αυτή τη βάση, το LivePortrait υιοθετείδύο στάδιαΕκπαιδεύστε το μοντέλο από την αρχή.

Ας μιλήσουμε πρώτα για την πρώτη φάση Το LivePortrait έχει κάνει μια σειρά βελτιώσεων σε πλαίσια που βασίζονται σε σιωπηρά σημεία (όπως το Face Vid2vid).

Αυτές οι βελτιώσεις περιλαμβάνουνΤαξινόμηση δεδομένων υψηλής ποιότητας, εκπαίδευση μεικτών εικόνων και βίντεο, αναβαθμισμένη αρχιτεκτονική δικτύου, μετασχηματισμός κλιμακούμενης κίνησης, βελτιστοποίηση έμμεσων σημείων κλειδιού καθοδηγούμενη από ορόσημα και εφαρμογή όρων καταρράκτη απώλειας κ.λπ.

Με αυτά, η ικανότητα γενίκευσης, η ικανότητα έκφρασης και η ποιότητα υφής του μοντέλου μπορούν να βελτιωθούν περαιτέρω.

Ας μιλήσουμε για το δεύτερο στάδιο Μέσω της εκπαίδευσης της ενότητας προσαρμογής και της ενότητας ανακατεύθυνσης, το μοντέλο μπορεί να χειριστεί τις λεπτομέρειες των εκφράσεων του προσώπου με μεγαλύτερη ακρίβεια.

Fit moduleΒελτιώστε τη γενίκευση μέσω εκπαίδευσης ενεργειών διασταυρούμενης ταυτότητας, εκτιμήστε τις αλλαγές έκφρασης και βελτιστοποιήστε τα βασικά σημεία.

Μονάδα ανακατεύθυνσης ματιών και στόματοςΟι αλλαγές παραμόρφωσης των ματιών και του στόματος επεξεργάζονται ξεχωριστά και η συνέπεια των pixel και η απώλεια τακτοποίησης υπολογίζονται μέσω ανεξάρτητων αντικειμενικών συναρτήσεων για τη βελτίωση της ευελιξίας και της ακρίβειας του μοντέλου στην επεξεργασία σύνθετων εκφράσεων.

Λοιπόν, πώς λειτουργεί συγκεκριμένα το LivePortrait;

Η έρευνα δείχνει ότι σεΤα ίδια αποτελέσματα σύγκρισης βάσει ταυτότητας, Σε σύγκριση με τις υπάρχουσες μεθόδους, το LivePortrait έχει καλύτερη ποιότητα παραγωγής και ακρίβεια οδήγησης και μπορεί να αποτυπώσει τις λεπτές εκφράσεις των ματιών και του στόματος του πλαισίου οδήγησης διατηρώντας παράλληλα την υφή και την ταυτότητα της εικόνας αναφοράς.

και στοΑποτελέσματα σύγκρισης βάσει ταυτότητας Επίσης, αποδίδει καλά, αν και η ποιότητα παραγωγής του είναι ελαφρώς ασθενέστερη από τη μέθοδο AniPortrait που βασίζεται σε μοντέλο διάχυσης. Αλλά σε σύγκριση με το τελευταίο, το LivePortrait έχει εξαιρετικά γρήγορη απόδοση συμπερασμάτων και απαιτεί λιγότερα FLOP.

Συνολικά, στη GPU RTX 4090, το LivePortrait παρήγαγε ταχύτητες12,8 χιλιοστά του δευτερολέπτου ανά καρέ, σημαντικά υψηλότερο από τις υπάρχουσες μεθόδους μοντέλων διάχυσης.

Ακόμη ένα πράγμα

Προσθέστε μια επίσημη τελευταία ειδοποίηση: Το Keling AI πρόκειται να γίνεισε παγκόσμιο επίπεδολανσάρει τις υπηρεσίες της.

Η Sora δεν έχει έρθει ακόμα, αλλά ο Ke Ling έφυγε πρώτος αυτή τη φορά~