νέα

πριν από λίγο καιρό, ξεκίνησε τη «δεύτερη επιχειρηματικότητα» του και μόλις μας έδειξε τα πιο ισχυρά γυαλιά ar meta orion, τα οποία ακονίζει εδώ και δέκα χρόνια αν και αυτό είναι απλώς ένα πρωτότυπο μηχάνημα που στοιχηματίζει για το μέλλον, έχει κλέψει τα φώτα της δημοσιότητας το vision pro της apple.

χθες το βράδυ, ο μέτα έκλεψε για άλλη μια φορά τις εντυπώσεις στο κομμάτι μοντέλου γενιάς βίντεο.

ο meta είπε ότι το νέο meta movie gen είναιτα πιο προηγμένα "μοντέλα ιδρύματος μέσων" μέχρι σήμερα.

ωστόσο, ας λάβουμε πρώτα μια προφύλαξη, οι αξιωματούχοι της meta δεν έχουν δώσει ακόμη ένα σαφές χρονοδιάγραμμα.

οι αξιωματούχοι ισχυρίζονται ότι επικοινωνούν και συνεργάζονται ενεργά με επαγγελματίες και δημιουργούς στη βιομηχανία του θεάματος και αναμένεται να το ενσωματώσουν στα προϊόντα και τις υπηρεσίες της meta κάποια στιγμή τον επόμενο χρόνο.

συνοψίστε συνοπτικά τα χαρακτηριστικά του meta movie gen:

πείτε αντίο στη «μίμη» και επικεντρωθείτε σε μεγάλες και ολοκληρωμένες λειτουργίες

αναλυτικά, το movie gen έχει τέσσερις κύριες λειτουργίες: δημιουργία βίντεο, εξατομικευμένη δημιουργία βίντεο, ακριβή επεξεργασία βίντεο και παραγωγή ήχου.

η λειτουργία βίντεο vincent είναι εδώ και πολύ καιρό ένα τυπικό χαρακτηριστικό των μοντέλων παραγωγής βίντεο, ωστόσο, το meta movie gen μπορεί να δημιουργήσει βίντεο υψηλής ευκρίνειας με διαφορετικές αναλογίες εικόνας ανάλογα με τις ανάγκες του χρήστη, το οποίο είναι το πρώτο του είδους του στη βιομηχανία.

επιπλέον, το meta movie gen παρέχει προηγμένες λειτουργίες επεξεργασίας βίντεο, επιτρέποντας στους χρήστες να επιτύχουν πολύπλοκες εργασίες επεξεργασίας βίντεο μέσω απλής εισαγωγής κειμένου.

από το οπτικό στυλ του βίντεο, στα εφέ μετάβασης μεταξύ των βίντεο κλιπ, στις πιο λεπτομερείς λειτουργίες επεξεργασίας, αυτό το μοντέλο σας προσφέρει επίσης αρκετή ελευθερία.

όσον αφορά την εξατομικευμένη παραγωγή βίντεο,το meta movie gen κάνει επίσης ένα μεγάλο βήμα μπροστά.

οι χρήστες μπορούν να ανεβάσουν τις δικές τους εικόνες και να χρησιμοποιήσουν το meta movie gen για να δημιουργήσουν βίντεο που είναι εξατομικευμένα, διατηρώντας παράλληλα τον χαρακτήρα και την κίνηση.

από τα φανάρια kongming μέχρι τις διαφανείς έγχρωμες φυσαλίδες, μπορείτε εύκολα να αντικαταστήσετε το ίδιο αντικείμενο σε ένα βίντεο με μία μόνο πρόταση.

αν και πολλά μοντέλα βίντεο έχουν αποκαλυφθεί φέτος, τα περισσότερα από αυτά μπορούν να δημιουργήσουν "μίμο" μόνο εάν είναι άγευστα η gen δεν "επαναλαμβάνει".

οι χρήστες μπορούν να παρέχουν αρχεία βίντεο ή περιεχόμενο κειμένου και να αφήσουν το meta movie gen να δημιουργήσει αντίστοιχο ήχο με βάση αυτές τις εισόδους. (υγ: προσοχή στη μεταγλώττιση της προσγείωσης του skateboard)

και, όχι μόνο μπορεί να δημιουργήσει ένα μόνο ηχητικό εφέ, αλλά και να δημιουργήσει μουσική υπόκρουση ή ακόμα και ένα πλήρες soundtrack για ολόκληρο το βίντεο, βελτιώνοντας έτσι σημαντικά τη συνολική ποιότητα του βίντεο και την εμπειρία προβολής του κοινού.

αφού είδε το demo, ο lex fridman εξέφρασε τον θαυμασμό του λακωνικά.

πολλοί χρήστες του διαδικτύου «ώθησαν» για άλλη μια φορά τα συμβόλαια μελλοντικής εκπλήρωσης του openai sora, αλλά περισσότεροοι χρήστες του διαδικτύου που περίμεναν με ανυπομονησία άρχισαν να ανυπομονούν για το άνοιγμα των προσόντων δοκιμαστικής εμπειρίας.

ο επικεφαλής επιστήμονας της meta ai yann lecun προώθησε επίσης την πλατφόρμα meta movie gen στο διαδίκτυο.

την πίτα που ζωγράφισε ο μέτα αξίζει να την περιμένουμε

όταν κυκλοφόρησε το meta movie gen, η ερευνητική ομάδα meta ai δημοσίευσε επίσης ένα τεχνικό έγγραφο 92 σελίδων ταυτόχρονα.

σύμφωνα με αναφορές, η ερευνητική ομάδα ai της meta χρησιμοποιεί κυρίως δύο βασικά μοντέλα για να επιτύχει αυτές τις εκτεταμένες λειτουργίες - τα μοντέλα movie gen video και movie gen audio.

μεταξύ αυτών, το movie gen video είναι ένα βασικό μοντέλο με παραμέτρους 30β, το οποίο χρησιμοποιείται για τη δημιουργία κειμένου σε βίντεο και μπορεί να δημιουργήσει βίντεο hd υψηλής ποιότητας διάρκειας έως και 16 δευτερολέπτων.

η φάση προεκπαίδευσης του μοντέλου χρησιμοποιεί μεγάλη ποσότητα δεδομένων εικόνας και βίντεο για να κατανοήσει διάφορες έννοιες του οπτικού κόσμου, συμπεριλαμβανομένης της κίνησης των αντικειμένων, της αλληλεπίδρασης, της γεωμετρίας, της κίνησης της κάμερας και των φυσικών νόμων.

για να βελτιωθεί η ποιότητα της δημιουργίας βίντεο, το μοντέλο εποπτεύεται επίσης με ακρίβεια (sft) χρησιμοποιώντας ένα μικρό σύνολο προσεκτικά επιλεγμένων βίντεο υψηλής ποιότητας και λεζάντες κειμένου.

η αναφορά δείχνει ότι η διαδικασία μετά την εκπαίδευση είναι ένα σημαντικό στάδιο στην εκπαίδευση του μοντέλου movie gen video, το οποίο μπορεί να βελτιώσει περαιτέρω την ποιότητα της δημιουργίας βίντεο, ειδικά τις λειτουργίες εξατομίκευσης και επεξεργασίας εικόνων και βίντεο.

αξίζει να αναφέρουμε ότι η ερευνητική ομάδα συνέκρινε επίσης το μοντέλο movie gen video με μοντέλα παραγωγής mainstream βίντεο.

επειδή το sora δεν είναι ανοιχτό αυτήν τη στιγμή, οι ερευνητές μπορούν να χρησιμοποιήσουν μόνο τα δημόσια βίντεο και τις συμβουλές του για σύγκριση. για άλλα μοντέλα, όπως το runway gen3, το lumalabs και το keling 1.5, οι ερευνητές επιλέγουν να δημιουργούν βίντεο οι ίδιοι μέσω διεπαφών api.

και επειδή τα βίντεο που δημοσιεύονται από τον sora έχουν διαφορετική ανάλυση και διάρκεια, οι ερευνητές έκοψαν τα βίντεο από το movie gen video για να διασφαλίσουν ότι τα βίντεο είχαν την ίδια ανάλυση και διάρκεια σε σύγκριση.

τα αποτελέσματα δείχνουν,το συνολικό αποτέλεσμα αξιολόγησης του movie gen video είναι σημαντικά καλύτερο από το runway gen3 και το lumalabs, έχει ένα μικρό πλεονέκτημα έναντι του openai sora και είναι ισοδύναμο με το keling 1.5.

στο μέλλον, η meta σχεδιάζει επίσης να κυκλοφορήσει δημόσια πολλαπλά σημεία αναφοράς, συμπεριλαμβανομένων των movie gen video bench, movie gen edit bench και movie gen audio bench, για να επιταχύνει την έρευνα για μοντέλα παραγωγής βίντεο.

το μοντέλο movie gen audio είναι ένα μοντέλο παραμέτρων 13β για δημιουργία βίντεο και κειμένου σε ήχο, ικανό να παράγει έως και 45 δευτερόλεπτα ήχου υψηλής ποιότητας και υψηλής πιστότητας, συμπεριλαμβανομένων των ηχητικών εφέ και της μουσικής, και να συγχρονίζεται με το βίντεο.

το μοντέλο υιοθετεί ένα παραγωγικό μοντέλο που βασίζεται στο flow matching και μια αρχιτεκτονική μοντέλου μετασχηματιστή διάχυσης (dit) και προσθέτει πρόσθετες μονάδες υπό όρους για να παρέχει έλεγχο.

ακόμη και η ερευνητική ομάδα της meta εισήγαγε μια τεχνολογία επέκτασης ήχου που επιτρέπει στο μοντέλο να παράγει συνεκτικό ήχο πέρα ​​από το αρχικό όριο των 45 δευτερολέπτων, δηλαδή, το μοντέλο μπορεί να δημιουργήσει αντίστοιχο ήχο ανεξάρτητα από το μήκος του βίντεο.

χθες, ο tim brooks, επικεφαλής του openai sora, ανακοίνωσε επίσημα την παραίτησή του και εντάχθηκε στο google deepmind, το οποίο για άλλη μια φορά έριξε θολούρα στο αβέβαιο μέλλον του έργου sora.

σύμφωνα με το bloomberg, ο αντιπρόεδρος της meta connor hayes είπε ότι το meta movie gen δεν έχει επί του παρόντος συγκεκριμένα σχέδια προϊόντων. ο hayes αποκάλυψε έναν σημαντικό λόγο για την καθυστερημένη διάθεση.

το meta movie gen χρησιμοποιεί επί του παρόντος λέξεις προτροπής κειμένου για να δημιουργήσει ένα βίντεο που συχνά απαιτεί δεκάδες λεπτά αναμονής, κάτι που επηρεάζει σε μεγάλο βαθμό την εμπειρία του χρήστη.

η meta ελπίζει να βελτιώσει περαιτέρω την αποτελεσματικότητα της παραγωγής βίντεο και να ξεκινήσει την υπηρεσία βίντεο στο κινητό τερματικό το συντομότερο δυνατό για να καλύψει καλύτερα τις ανάγκες των καταναλωτών.

στην πραγματικότητα, αν δούμε τη φόρμα του προϊόντος,ο λειτουργικός σχεδιασμός του meta movie gen επικεντρώνεται στο να είναι μεγάλος και ολοκληρωμένος καιδεν υπάρχει «κουτσό πόδι» όπως άλλα μοντέλα βίντεο.

το πιο σημαντικό μειονέκτημα είναι ότι έχει την ίδια γεύση "μέλλοντος" με το sora.

το ιδανικό είναι πολύ γεμάτο, η πραγματικότητα είναι πολύ αδύνατη.

μπορεί να πείτε ότι όπως το sora ξεπερνιέται από μεγάλα εγχώρια μοντέλα, όταν λανσαριστεί το meta movie gen, το ανταγωνιστικό τοπίο στον τομέα της παραγωγής βίντεο μπορεί να αλλάξει ξανά.

αλλά τουλάχιστον προς το παρόν, η πίτα που ζωγράφισε ο μέτα είναι αρκετή για να την καταπιεί ο κόσμος.