νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Machine Heart Original

Συγγραφέας: Wu Xin

Στις 19 Αυγούστου, ο Kunlun Wanwei κυκλοφόρησε το SkyReels, την πρώτη στον κόσμο πλατφόρμα σύντομης δραματικής τεχνητής νοημοσύνης που ενσωματώνει μεγάλα μοντέλα βίντεο και τρισδιάστατα μεγάλα μοντέλα. Η πλατφόρμα SkyReels ενσωματώνει τη δημιουργία σεναρίων, την προσαρμογή χαρακτήρων, τα storyboard, την πλοκή, τους διαλόγους/BGM και τη σύνθεση βίντεο, επιτρέποντας στους δημιουργούς να δημιουργούν δράματα με ένα κλικ και να παράγουν εύκολα βίντεο υψηλής ποιότητας AI. Αυτό είναι ένα σύντομο παιχνίδι 2μισι λεπτών.

Σύνδεσμος βίντεο: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

«Πρέπει να αφήσουμε την άκαμπτη και ανθεκτική σκέψη μας και να αγκαλιάσουμε αυτή την κατακερματισμένη εποχή της πληροφορίας Στις αρχές Δεκεμβρίου 2023, ο σκηνοθέτης Χουάνγκ Τζιανξίν θρηνούσε στην Αίθουσα Διαλέξεων της Ακαδημίας Κινηματογράφου του Πεκίνου ότι σε σύγκριση με τις ταινίες, η άνοδος των κάθετων μικρού μήκους στην οθόνη έχει δημιουργήσει πραγματικά ένα πρόβλημα». παγκόσμια παραγωγή.

Με μεμονωμένα επεισόδια που διαρκούν από λίγα λεπτά έως περισσότερα από δέκα λεπτά, έντονη ψυχαγωγία και πλοκές με γρήγορους ρυθμούς, οι χρήστες «απολαμβάνονται» συχνά Σε μόλις τρία χρόνια (μέχρι το 2023), η αγορά μικρού μήκους της Κίνας έχει φτάσει στο ετήσιο επίπεδο θεατρικών ταινιών. Το 70% του box office.

Ταυτόχρονα, ένας μεγάλος αριθμός ανεξάρτητων εφαρμογών μικρού μήκους δραματουργίας κυκλοφόρησε παγκοσμίως Το κινεζικό διαδικτυακό λογισμικό μικρού μήκους δράματος ReelShort είχε καλή απόδοση στην κατάταξη iOS των ΗΠΑ, ξεπερνώντας ακόμη και το TikTok, το οποίο κυριαρχεί εδώ και πολύ καιρό στην κατάταξη και έχει επιτύχει μια σημαντική ανακάλυψη.

Τα μικρού μήκους δράματα έχουν γίνει ένας από τους ταχύτερα αναπτυσσόμενους τομείς του κινηματογράφου και της τηλεόρασης τα τελευταία χρόνια και έχουν γίνει επίσης πεδίο δοκιμών για νέες τεχνολογίες. Η «μετάφραση με ένα κλικ» και η «αλλαγή προσώπου» είναι κοινά. Πολλές εταιρείες γραφής στο διαδίκτυο έχουν επίσης κυκλοφορήσει μεγάλα μοντέλα παραγωγής περιεχομένου που μπορούν να βοηθήσουν τους συγγραφείς στη γραφή. Με τη βοήθεια των δυνατοτήτων δημιουργίας βίντεο μεγάλου μοντέλου τεχνητής νοημοσύνης, ο σύντομος χρόνος παραγωγής δράματος που διαρκούσε τρεις μήνες τώρα διαρκεί μόνο μισό μήνα.

Τα σύντομα βίντεο κλιπ που δημιουργούνται από την τεχνητή νοημοσύνη μπορούν να λάβουν εκατομμύρια προβολές μόλις κυκλοφορήσουν, αλλά η παραγωγή ενός σύντομου δράματος με πλήρη διαδικασία τεχνητής νοημοσύνης εξακολουθεί να αντιμετωπίζει πολλές προκλήσεις. Οι δημιουργοί πρέπει να «πηδούν» επανειλημμένα μεταξύ πολλών εργαλείων τεχνητής νοημοσύνης, όπως το ChatGPT, το Midjourney, το Runway, το Eleven Labs, το ComfyUi, το Adobe και το Cutting, αλλά τα αποτελέσματα των έργων τους εξακολουθούν να μην είναι ικανοποιητικά.

Σε αυτό το υπόβαθρο, η Kunlun Wanwei, μια κινεζική εταιρεία τεχνολογίας τεχνητής νοημοσύνης με περισσότερα από δέκα χρόνια εμπειρίας στο εξωτερικό, κυκλοφόρησε την πρώτη στον κόσμο πλατφόρμα μικρού μήκους θεάματος με τεχνητή νοημοσύνη SkyReels - μια πλατφόρμα σύντομης δραματικής τεχνητής νοημοσύνης που ενσωματώνει μεγάλα μοντέλα βίντεο και τρισδιάστατα μεγάλα μοντέλα. Αυτό δεν είναι μόνο η επιτυχημένη εφαρμογή εγχώριων μοντέλων μεγάλης κλίμακας στον τομέα των μικρού μήκους δραμάτων, αλλά προαναγγέλλει επίσης την έλευση της εποχής του «δραματικού με ένα κλικ» και του «ένα άτομο, ένα δράμα».

Ταυτόχρονα, αυτό το επαναστατικό εργαλείο αναμένεται να επιφέρει την εκρηκτική ανάπτυξη του περιεχομένου σύντομης δραματικής τεχνητής νοημοσύνης που δημιουργείται από χρήστες (UGC) και του επαγγελματικού περιεχομένου που δημιουργείται από χρήστες (PUGC) και θα προωθήσει την περαιτέρω ταχεία ανάπτυξη της δημιουργίας περιεχομένου σύντομου θεάματος και αγορά κατανάλωσης.

1. Γνωρίστε το SkyReels – την πρώτη στον κόσμο πλατφόρμα μικρού μήκους τεχνητής νοημοσύνης

Επίδειξη λειτουργίας προϊόντος SkyReels

Σύνδεσμος βίντεο: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Όταν ανοίγω την ιστοσελίδα του SkyReels, αισθάνομαι αμέσως ότι ο σχεδιασμός του "AI Short Drama" είναι πολύ διαφορετικός από άλλες πλατφόρμες "AI Creative".

Και τα δύο καθοδηγούνται από την τεχνητή νοημοσύνη, αλλά η πλατφόρμα «AI Creative» εστιάζει στη δημιουργία εικόνας και βίντεο, ενώ το SkyReels ενσωματώνει τη δημιουργία σεναρίων, την προσαρμογή χαρακτήρων, τη σχεδίαση σεναρίου, τη λήψη βίντεο και τη σύνθεση, αναπαράγοντας πλήρως τη διαδικασία εκβιομηχάνισης των μικρού μήκους θεατρικών έργων.

Το SkyReels ενσωματώνει τη δημιουργικότητα ιστορίας, τη δημιουργία σεναρίων, την προσαρμογή χαρακτήρων, τη σχεδίαση σεναρίου, τη λήψη και τη σύνθεση βίντεο, αναπαράγοντας πλήρως τη διαδικασία εκβιομηχάνισης των μικρού μήκους δραμάτων.

Το πιο σημαντικό είναι να έχεις μια καλή ιδέα και να τη μετατρέψεις σε ένα κουλ σενάριο.

Παρόλο που η δημιουργία κειμένου είναι η ζώνη άνεσης του μεγάλου γλωσσικού μοντέλου LLM, η διαφορά μεταξύ του SkyReels είναι ότι το μεγάλο μοντέλο που είναι υπεύθυνο για τη δημιουργία κειμένου έχει λάβει επαγγελματική εκπαίδευση και ξέρει πώς να γράφει "cool" και σενάρια βασισμένα στη ροή.

Απλώς εισάγετε μια ιδέα ή μια ιδέα ιστορίας και κάντε κλικ στο "Τύπος δημιουργίας", όπως συναισθηματικό δράμα, και το σύστημα θα δημιουργήσει αυτόματα ένα σενάριο που πληροί τις απαιτήσεις, με πλήρη δομή και πλούσια πλοκή.

Οι χρήστες μπορούν επίσης να ανεβάσουν έτοιμα σενάρια και να αφήσουν την τεχνητή νοημοσύνη να τα βοηθήσει να γυαλίσουν και να τα βελτιστοποιήσουν ώστε να γίνουν πιο επαγγελματικά και ευανάγνωστα.

Το σύστημα θα δημιουργήσει αυτόματα ένα σενάριο που πληροί τις απαιτήσεις βάσει δημιουργικών προτροπών και θα συνοψίσει επίσης τις βιογραφίες των εμπλεκόμενων χαρακτήρων για να προετοιμαστεί για τον επόμενο σχεδιασμό χαρακτήρων.

Μόλις το σενάριο είναι έτοιμο, το επόμενο βήμα είναι να "βρείτε ηθοποιούς στο SkyReels, αυτό το βήμα ονομάζεται σχεδιασμός χαρακτήρων".

Συνήθως, πρώτα αφήνουμε το LLM να γράψει το κείμενο σχεδίασης και μετά το ρίχνουμε σε ένα εργαλείο γραφικών όπως το Midjourney για να δημιουργήσει την εικόνα του χαρακτήρα. Για να προσθέσετε φωνητικά στους χαρακτήρες, συνεχίζουν να χρησιμοποιούνται εργαλεία ήχου όπως το Elevenlabs.

Τώρα, απλώς μπείτε στη σελίδα και εισαγάγετε τις αντίστοιχες απαιτήσεις (συμπεριλαμβανομένης της μεταγλώττισης χαρακτήρων) και μπορείτε να "δημιουργήσετε" τον χαρακτήρα με ένα κλικ, γεγονός που βελτιώνει σημαντικά την απόδοση παραγωγής.

Απλώς μπείτε στη σελίδα και εισαγάγετε τις αντίστοιχες απαιτήσεις (συμπεριλαμβανομένης της μεταγλώττισης χαρακτήρων) και ο χαρακτήρας μπορεί να δημιουργηθεί με ένα κλικ.

Πριν ξεκινήσουν τα γυρίσματα, εκτός από την αναζήτηση ηθοποιών, ο σκηνοθέτης χρειάζεται να δημιουργήσει και storyboards.Το λεγόμενο storyboard αναλύει κυρίως ολόκληρη την ιστορία σε μια σειρά διαδοχικών εικόνων, κάθε εικόνα αντιπροσωπεύει μια συγκεκριμένη σκηνή ή δράση.

Storyboard από το "Spirited Away" του Studio Ghibli.

Είναι πολύ ενοχλητικό για έναν σκηνοθέτη χωρίς καλλιτεχνικό υπόβαθρο να ολοκληρώσει το σχέδιο του storyboard με τη βοήθεια ενός ζωγράφου. Τώρα, μπορούν να αφήσουν το LLM να δημιουργήσει το σενάριο κειμένου της λήψης και, στη συνέχεια, να χρησιμοποιήσουν εργαλεία όπως το Midjourney για να σχεδιάσουν το storyboard.

Ωστόσο, τα μειονεκτήματα αυτής της μεθόδου είναι επίσης προφανή. Είναι δύσκολο να εξασφαλιστεί η συνέπεια των χαρακτήρων και των σκηνών. Για παράδειγμα, στη μίνι σειρά τεχνητής νοημοσύνης «Nuwa» πλήρους διαδικασίας που κυκλοφόρησε στο κανάλι AI του CCTV, η Nuwa φαίνεται διαφορετική κάθε φορά που εμφανίζεται, σαν να υπάρχουν πολλά Nuwa.

Στο SkyReels, η τεχνητή νοημοσύνη θα δημιουργήσει εικόνες σεναρίου και αντίστοιχα σενάρια κειμένου με ένα κλικ με βάση το περιεχόμενο του σεναρίου. Χρειάζεται μόνο να περιμένετε 1-2 λεπτά για να δείτε το εφέ κάθε λήψης. Εάν δεν είστε ικανοποιημένοι, μπορείτε επίσης να προσαρμόσετε το εφέ του storyboard τροποποιώντας το κείμενο (όπως σκηνές ή ενέργειες χαρακτήρων).

Το πιο σημαντικό, με την υποστήριξη της αυτο-αναπτυγμένης τεχνολογίας, οι εικόνες του storyboard δεν είναι μόνο υψηλής ευκρίνειας και πλούσιες σε λεπτομέρειες, αλλά οι χαρακτήρες και οι σκηνές μπορούν να διατηρήσουν τη συνέπεια και τη συνέχεια σε διαφορετικά storyboard.

Το AI θα δημιουργήσει εικόνες storyboard και αντίστοιχα σενάρια κειμένου με ένα κλικ με βάση το περιεχόμενο του σεναρίου.

Αφού σχεδιαστούν τα σενάρια και οι ηθοποιοί είναι στη θέση τους, ήρθε η ώρα να μπείτε στο στάδιο του «πραγματικού γυρίσματος».Επί του παρόντος, το μεγαλύτερο εμπόδιο στην ανάπτυξη ταινιών και τηλεόρασης AI είναι επίσης εδώ, επειδή υπάρχουν πολύ λίγες καλές «κάμερες» που μπορούν να χρησιμοποιηθούν.

Μια κοινή προσέγγιση είναι η χρήση Pika και Runway για τη δημιουργία δυναμικών εφέ, αλλά υπάρχουν πολλά μειονεκτήματα. Για παράδειγμα, η ποιότητα της εικόνας είναι κακή, οι κινήσεις του χαρακτήρα είναι μικρές ή ακόμα και παράλογες (πρόβλημα κατανάλωσης χυλοπίτες) και οι σκηνές είναι επιρρεπείς σε ασυνέπειες Μερικές φορές το όχημα κινείται αλλά οι τροχοί δεν στρίβουν και το πιτσίλισμα του νερού είναι ακίνητο η κινούμενη επιφάνεια του νερού κατά τη ροή του νερού. Τα σχήματα του στόματος των χαρακτήρων δεν ταιριάζουν όταν μιλούν και οι εκφράσεις τους είναι άκαμπτες.

Μέσω του συνδυασμού της μηχανής AI 3D και του μεγάλου μοντέλου βίντεο, το SkyReels μπορεί να μετατρέψει αυτόματα τις σειρές σε συνεχή βίντεο, κάνοντας τις σκηνές και τους χαρακτήρες που δημιουργούνται πιο ζωντανές και συνεπείς.

Επιπλέον, η διάρκεια βίντεο που μπορεί να δημιουργηθεί κάθε φορά είναι έως και 180 δευτερόλεπτα, κάτι που αποτελεί σημαντική ανακάλυψη σε σύγκριση με το Sora, το οποίο μπορεί να δημιουργήσει ένα βίντεο 60 δευτερολέπτων τη φορά και το Keling, το οποίο μπορεί να δημιουργήσει ένα βίντεο 10 δευτερολέπτων βίντεο κάθε φορά.

Το SkyReels μπορεί να μετατρέψει αυτόματα τα storyboard σε συνεχή βίντεο.

Τέλος, όλα τα αποτελέσματα της διαδικασίας μπορούν να ενσωματωθούν με ένα κλικ για να δημιουργήσετε γρήγορα το τελικό σύντομο παιχνίδι. Η τεχνητή νοημοσύνη θα δημιουργήσει επίσης και θα προτείνει κατάλληλη μουσική υπόκρουση και ηχητικά εφέ με βάση το θέμα του σεναρίου και συγκεκριμένες σκηνές και οι χρήστες μπορούν να τα προσθέσουν με ένα μόνο κλικ.

Μουσική φόντου και ηχητικά εφέ μπορούν επίσης να προστεθούν με ένα κλικ.

Υποστηρίζει εξαγωγή με ένα κλικ σε βίντεο και μπορεί να δημοσιευθεί σε πλατφόρμες κοινωνικών μέσων όπως το Douyin με ένα κλικ.

Υποστηρίζει κοινή χρήση σχεδίων χαρακτήρων με ένα κλικ.

2. Πίσω από το «δράμα με ένα κλικ», υπάρχουν τρία επίπεδα τεχνολογικής καινοτομίας

Τρία επίπεδα τεχνολογικής καινοτομίας, όπως τρεις πυλώνες, υποστηρίζουν το «δράμα με ένα κλικ» της SkyReels:

Αυτοαναπτυγμένο σενάριο μεγάλου μοντέλου SkyScript, αυτο-αναπτυγμένο σενάριο μεγάλου μοντέλου StoryboardGen και η πρώτη καινοτόμος πλατφόρμα του κλάδου WorldEngine που ενσωματώνει σε βάθος κινητήρες AI 3D και μεγάλα μοντέλα βίντεο.

Το SkyScript, ένα μεγάλο μοντέλο σεναρίου, είναι υπεύθυνο για τον έλεγχο της «ψυχής» του μικρού έργου - του σεναρίου.Στην πραγματικότητα, όχι μόνο το σενάριο, αλλά και το μοντέλο κειμένου υποστηρίζει όλη τη δημιουργική διαδικασία.

Ορισμένοι συγγραφείς δραμάτων μικρού μήκους προσπάθησαν να χρησιμοποιήσουν το ChatGPT για να δημιουργήσουν σενάρια, αλλά διαπίστωσαν ότι το τελικό αποτέλεσμα δεν είχε συναισθηματική ένταση και αλλαγές στην πλοκή και ήταν απλώς ένα σωρό από επίπεδο κείμενο. Ο Kunlun Wanwei κατασκεύασε το SkyScript-100M, ένα σύντομο σύνολο δομημένων δεδομένων υψηλής ποιότητας 100 εκατομμυρίων. , και είναι ειδικά σχεδιασμένο για δημιουργία σεναρίων.

Τεχνικό σχηματικό διάγραμμα μεγάλου μοντέλου σεναρίου SkyScript

Αρχή δημιουργίας σεναρίου Storyboard του μεγάλου μοντέλου σεναρίου SkyScript.

Για παράδειγμα, εκτός από την εκμάθηση των βασικών αρχών και των κοινών μοτίβων δημιουργίας από τεράστια δεδομένα, εάν θέλετε να γίνετε επιτυχία, πρέπει επίσης να ανακαλύψετε μερικές δοκιμασμένες και αληθινές «ρουτίνες». Το κοινό έχει συχνά μια σαφή προτίμηση για σχέδια με γρήγορο ρυθμό, έντονες συγκρούσεις, επαναλαμβανόμενα σασπένς και πολλαπλές ανατροπές, όπως η αντεπίθεση για να αλλάξει η μοίρα, η κυρίαρχη σύζυγος, οι πλούσιες οικογενειακές μάχες, τα ταξίδια στο χρόνο και η αναγέννηση, οι βρικόλακες, οι λυκάνθρωποι κ.λπ. είναι επίσης θέματα που δεν μπορούν ποτέ να κουραστούν.

Το δημοφιλές σύντομο δράμα του ReelShort "The Double Life of My Billionaire Husband" αφορά πρώτα το γάμο και την αγάπη αργότερα επάνω στην εντατική διασταύρωση της πλοκής, και καλύπτεται Περιέχει πλοκές όπως ένας φαύλος γυναικείος δεύτερος ρόλος, ένας συμβατικός γάμος, ένας ήρωας που σώζει μια ομορφιά και έναν αγώνα για ιδιοκτησία. Μια εις βάθος αναφορά για την εξάπλωση των κινεζικών μικρού μήκους δραμάτων στο εξωτερικό από την Guohai Securities.

Σχολιάζοντας προσεκτικά τα «ψαγμένα σημεία» της ιστορίας που προκαλούν έντονο ενδιαφέρον από το κοινό, όπως η εμφάνιση του πρωταγωνιστή, η σύνθεση του πλάνου και τα συναισθήματα που εκφράζονται από τους χαρακτήρες, το SkyScript μαθαίνει να δίνει προσοχή και να δημιουργεί καθέκαστα.

Όσον αφορά την αρχιτεκτονική μοντέλων, προκειμένου να διασφαλιστεί ο επαγγελματισμός και η δυνατότητα ελέγχου του παραγόμενου περιεχομένου, το SkyScript υιοθετεί επίσης ένα πλαίσιο πολλαπλών πρακτόρων. Μέσω της συνεργασίας «δημιουργικών ανθρώπων», «casting directors», «σεναριογράφων», «μυθιστορητών», «σκηνοθετών» και άλλων ευφυών παραγόντων, η διαδικασία βιομηχανικής παραγωγής μιμείται για να ολοκληρωθεί η δημιουργία σεναρίου.

Αξιολόγηση ποιότητας του σεναρίου μεγάλου μοντέλου SkyScript.

Σε τελική ανάλυση, ένα σύντομο θεατρικό έργο είναι η παρουσίαση μιας οπτικής γλώσσας Ως εκ τούτου, τα άλλα δύο επίπεδα καινοτομίας - το StoryboardGen και το WorldEngine - επικεντρώνονται στη «σάρκα και το αίμα» του μικρού έργου, που είναι η λήψη.

Όπως το SkyScript, έτσι και το StoryboardGen, ένα μοντέλο σε μεγάλη κλίμακα, που έχει αναπτυχθεί από μόνος του, έχει επίσης εκπαιδευτεί με υψηλής ποιότητας επαγγελματικά παραδείγματα στον πραγματικό κόσμο .

Ομοίως, με βάση το πλαίσιο πολλαπλών πρακτόρων, διαφορετικά στοιχεία του storyboard (σκηνές, πλάνα, χαρακτήρες, δράσεις κ.λπ.) αποσυντίθενται σε πολλαπλούς παράγοντες για επεξεργασία, γεγονός που ενισχύει σημαντικά την ελεγχσιμότητα και τη συνέπεια στη διαδικασία παραγωγής του storyboard.

Τεχνικό σχηματικό διάγραμμα του StoryboardGen, ένα μεγάλο μοντέλο storyboard. Παρόμοια με τα γυρίσματα ταινιών και την παραγωγή κινουμένων σχεδίων, το StoryboardGen που βασίζεται στο πλαίσιο πολλαπλών πρακτόρων αποσυνθέτει τη συνολική διαδικασία σε πολλαπλούς πράκτορες, κάθε πράκτορας είναι υπεύθυνος για μια συγκεκριμένη ικανότητα, ενισχύοντας τον έλεγχο και τη συνέπεια στη διαδικασία παραγωγής του storyboard.

Ας υποθέσουμε ότι υπάρχει ένα σενάριο που περιγράφει μια σκηνή, όπως ένα άτομο που περπατά στο πάρκο.

Το LLM Planner θα χωρίσει πρώτα το σενάριο σε δύο μέρη.

Μεταξύ αυτών, η παγκόσμια περιγραφή (παγκόσμια προτροπή): "Ένα άτομο περπατά σε ένα ηλιόλουστο πάρκο"?

Τοπική περιγραφή (τοπική προτροπή): "Αυτό το άτομο είναι ένας μεσήλικας άνδρας, φορά καθημερινά ρούχα, κρατά ένα φλιτζάνι καφέ στο χέρι του και περπατάει με χαλαρό ρυθμό."

Στη διαδικασία δημιουργίας, διαφορετικοί πράκτορες εκτελούν τα δικά τους καθήκοντα. Για παράδειγμα, ο πράκτορας της σκηνής δημιουργεί το φόντο και τη διάταξη του πάρκου με βάση την καθολική περιγραφή, ο πράκτορας των χαρακτήρων δημιουργεί την εικόνα και τις ενέργειες του αρσενικού χαρακτήρα.

Τέλος, ο παράγοντας Storyboard ενσωματώνει αυτά τα δημιουργημένα περιεχόμενα και δημιουργεί το τελικό storyboard με βάση όλες τις πληροφορίες περιγραφής και τις συνθήκες.

StoryboardGen κατάσταση αξιολόγησης ποιότητας του μοντέλου μεγάλου σεναρίου.

Εκτός από τη δυνατότητα ελέγχου και τη συνέπεια, προκειμένου να κάνει τις εικόνες του storyboard πιο εκφραστικές, το StoryboardGen βελτίωσε επίσης σημαντικά την πολυπλοκότητα και την ακρίβεια λεπτομέρειας των εικόνων.

Για παράδειγμα, το StoryboardGen χρησιμοποιεί ένα πλαίσιο προοδευτικής παραγωγής που βασίζεται στο DiT για να δημιουργήσει την τελική εικόνα μέσω πολλαπλών τροποποιήσεων και βελτιώσεων. Σε σύγκριση με τα παραδοσιακά μοντέλα εφάπαξ παραγωγής, αυτό το πλαίσιο μπορεί να κάνει πλήρη χρήση των πληροφοριών που παράγονται στην ενδιάμεση διαδικασία για τη δημιουργία σεναρίων με υψηλότερη ποιότητα και πιο πλούσια οπτικά εφέ.

Το τρίτο επίπεδο τεχνολογικής καινοτομίας είναι μια καινοτόμος πλατφόρμα World Engine, η οποία είναι η πρώτη στον κλάδο που συνδέει απρόσκοπτα την τεχνολογία παραγωγής 3D και την τεχνολογία παραγωγής βίντεο μέσω της σύντηξης επιπέδων και άλλων μεθόδων, κάτι που ισοδυναμεί με την παροχή στους δημιουργούς μιας ισχυρής «κάμερας»». ή ακόμα και «στούντιο».

Το WorldEngine συνδυάζειΗ ακριβής δυνατότητα ελέγχου του κινητήρα (όπως προσομοίωση φωτισμού, φυσική προσομοίωση, τρισδιάστατος χώρος, αλληλεπίδραση σε πραγματικό χρόνο, κ.λπ.) και η ικανότητα δημιουργίας φαντασίας του μεγάλου μοντέλου βίντεο AI, παρέχει μια νέα διαδικτυακή λειτουργία δημιουργίας υβριδικού βίντεο, επιτρέποντας τη δημιουργία βίντεο από τη ασαφή γενιά σε πιο ακριβή και ελεγχόμενη.

Ας υποθέσουμε ότι κάνετε μια σκηνή όπου ένας Pikachu διασκεδάζει κάτω από ένα σιντριβάνι.

Υβριδική θήκη βίντεο

Σύνδεσμος βίντεο: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Γνωρίζουμε ότι μεγάλα μοντέλα βίντεο όπως το Sora μπορούν εύκολα να δημιουργήσουν σχεδόν ρεαλιστικά εφέ που δεν έχουν ταίρι με τις μηχανές παιχνιδιών και είναι γεμάτα φαντασία, αλλά δεν κατανοούν τον φυσικό κόσμο και δεν μπορούν να προσομοιώσουν με ακρίβεια μερικές από τις πιο βασικές φυσικές αλληλεπιδράσεις, όπως το γυαλί. το σπάσιμο και το φαγητό και ούτω καθεξής.

Το πλεονέκτημα της μηχανής παιχνιδιού έγκειται στην ακριβή προσομοίωση φυσικών νόμων της πραγματικής ζωής. Μέσω πολύπλοκων μαθηματικών μοντέλων, μπορεί να δημιουργήσει ένα εικονικό περιβάλλον που είναι συνεκτικό σε χώρο και χρόνο και συμμορφώνεται με τους αντικειμενικούς νόμους.

Ως μία από τις μεγαλύτερες εταιρείες ανάπτυξης και λειτουργίας παιχνιδιών στην Κίνα, δεν προκαλεί έκπληξη το γεγονός ότι η Kunlun Wanwei έχει αναπτύξει το δικό της μεγάλο μοντέλο Sky3DGen και «συμπληρώνει τα πλεονεκτήματά του» με το μοντέλο video large, παρέχοντας στους δημιουργούς ένα νέο μοντέλο υβριδικής δημιουργίας.

Στο SkyReels, μπορείτε να αλλάξετε διάφορες τρισδιάστατες σκηνές και σχήματα, ακόμη και παραστάσεις χαρακτήρων.

Θήκη δημιουργίας βίντεο 3D prop

Σύνδεσμος βίντεο: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Θήκη δημιουργίας βίντεο 3D σκηνής

Σύνδεσμος βίντεο: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Η απόδοση χαρακτήρων είναι ένα από τα βασικά στοιχεία των σύντομων θεατρικών έργων Η Kunlun Wanwei έχει αναπτύξει ανεξάρτητα το μοντέλο παραγωγής χαρακτήρων ActorShow, το οποίο έχει ισχυρότερες ελεγχόμενες δυνατότητες παραγωγής στοματικών εκφράσεων και κινήσεων του σώματος.

Σύνδεσμος βίντεο: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Ποιοτική αξιολόγηση μοντέλων παραγωγής χαρακτήρων.

Κατά τη διαδικασία δημιουργίας, οι χρήστες μπορούν επίσης να ορίσουν ελεύθερα το τρισδιάστατο εικονικό στούντιο σκοποβολής.

Θέλετε να γυρίσετε μια ιστορία στην έρημο σήμερα; Με λίγα κλικ, ολόκληρη η σκηνή μεταμορφώνεται σε μια απέραντη έρημο. Θα πυροβολήσετε αύριο στον διαστημικό σταθμό; Με μερικά ακόμη κλικ, το περιβάλλον μεταμορφώθηκε στο εσωτερικό ενός διαστημικού σταθμού υψηλής τεχνολογίας.

Μπορείτε ακόμη να τοποθετήσετε και να μετακινήσετε εικονικές κάμερες στο εικονικό στούντιο για να δοκιμάσετε διάφορες γωνίες λήψης. Ρυθμίστε το φως και προσθέστε ειδικά εφέ για να έχετε ένα πολύ επαγγελματικό εφέ λήψης.

Λόγω της χρήσης του κινητήρα, η WorldEngine πέτυχε επαναστατική μείωση του κόστους σε σύγκριση με την παραδοσιακή παραγωγή βίντεο, και ταυτόχρονα, η ταχύτητα παραγωγής και η δυνατότητα ελέγχου έχουν βελτιωθεί κατά αρκετές τάξεις μεγέθους.

3. Ποντάρετε στο AI UGC και μετά πηγαίνετε στο τραπέζι του πόκερ

Το SkyReels, η πλατφόρμα μικρού μήκους δράματος AI, είναι το πιο πρόσφατο μέλος της μήτρας προϊόντων επιπέδου εφαρμογής AI του Kunlun Wanwei.

Πριν από αυτό, είχαν δημιουργήσει με επιτυχία μια ποικιλία προϊόντων, συμπεριλαμβανομένης της αναζήτησης AI, μουσικής AI, βίντεο AI, κοινωνικής δικτύωσης AI, παιχνιδιών AI, κ.λπ., και ορισμένες από τις επιχειρήσεις τους έχουν εμπορευματοποιηθεί.

Ως μία από τις πρώτες κινεζικές εταιρείες που εξερεύνησαν την παγκόσμια αγορά, με περισσότερα από δέκα χρόνια εμπειρίας στη βιομηχανία περιεχομένου και ψυχαγωγίας, η Kunlun Wanwei συνειδητοποίησε ότι η πλατφόρμα UGC (user-generated content) έχει διατηρήσει μια μακροχρόνια τάση στην Περιεχόμενο και παιχνίδια Προβλέπεται επίσης ότι η παρέμβαση της AIGC όχι μόνο θα διαφοροποιήσει τις μεθόδους δημιουργίας IP για άρθρα ιστού, σύντομες αναπαραστάσεις, κινούμενα σχέδια και παιχνίδια, αλλά το πιο σημαντικό, θα μειώσει σημαντικά το όριο για τη δημιουργία περιεχομένου.

Όπως λέει ο κλάδος, «Κάθε φορά που το όριο για την παραγωγή περιεχομένου διπλασιάζεται, ο αριθμός των ατόμων που δημιουργούν περιεχόμενο θα αυξάνεται δεκαπλασιασμένα. Αυτό δείχνει τεράστιες ευκαιρίες στην αγορά».

Ως εκ τούτου, η Kunlun δεσμεύεται να δημιουργήσει μια ολοκληρωμένη πλατφόρμα UGC με την IP ως τον πυρήνα, έτσι ώστε όλοι οι χρήστες που χρησιμοποιούν AI για τη δημιουργία να μπορούν να ολοκληρώσουν τον πλήρη κλειστό βρόχο της IP. Γνωρίζουν πολύ καλά ότι ένα εργαλείο που μπορεί να κρύψει όλες τις τεχνικές λεπτομέρειες και να επιτύχει τη δημιουργία περιεχομένου από άκρο σε άκρο έχει πραγματική εμπορική αξία.

Εκτός από την κατασκευή μιας πλατφόρμας AI UGC στο ανώτερο επίπεδο, στο κατώτερο επίπεδο, η Kunlun Wanwei δεσμεύεται επίσης να αναπτύξει τη βάση για μεγάλα μοντέλα γενικής χρήσης. Αυτό προκύπτει από μια απλή αλλά βαθιά γνώση: από τεχνική άποψη, η ανθρώπινη σοφία κατακρημνίζεται με τη μορφή κειμένου και όλα τα αποκλειστικά μοντέλα για κοινωνική δικτύωση, παιχνίδια, μουσική και βίντεο είναι αδιαχώριστα από την υποστήριξη μεγάλων μοντέλων κειμένου.

Το μοντέλο Tiangong της Kunlun Wanwei που αναπτύχθηκε μόνος του έχει επαναληφθεί στην έκδοση 3.0. Το "Tiangong 3.0" υιοθετεί μια αρχιτεκτονική MoE 400 δισεκατομμυρίων παραμέτρων και είναι επί του παρόντος ένα από τα μοντέλα ανοιχτού κώδικα MoE με τις μεγαλύτερες παραμέτρους μοντέλου και την ισχυρότερη απόδοση στον κόσμο. Σε πολλά έγκυρα αποτελέσματα πολυτροπικής αξιολόγησης όπως το MMBench, το "Tiangong 3.0" ξεπέρασε το GPT-4V και πολλοί δείκτες αξιολόγησης έφτασαν στο κορυφαίο επίπεδο παγκοσμίως.

Με μια σταθερή βάση μεγάλων μοντέλων γενικής χρήσης, η Kunlun Wanwei έχει προχωρήσει βήμα-βήμα προς τα πεδία περιεχομένου και ψυχαγωγίας, επεκτείνοντας τις δυνατότητες του μοντέλου οριζόντια - από μουσική, λογοτεχνικά διαγράμματα, δημιουργία βίντεο σε παραγωγή μικρού μήκους δράματος και διαδοχικά κυκλοφόρησε τη μουσική SkyMusic AI σε μεγάλη κλίμακα. μοντέλο, Skywork -MM πολυτροπικό μεγάλο μοντέλο, SkyScript script μεγάλο μοντέλο, StoryboardGen μεγάλο μοντέλο storyboard, Sky3DGen 3D μεγάλο μοντέλο, κ.λπ.

Ο Fang Han, πρόεδρος και διευθύνων σύμβουλος της Kunlun Wanwei, προέβλεψε κάποτε ότι όπως οι κάμερες έφεραν επανάσταση στις μεθόδους λήψης και δημιούργησαν μεγάλο αριθμό πλατφορμών σύντομων βίντεο όπως οι Douyin και Kuaishou, η AI θα δημιουργήσει επίσης έναν μεγάλο αριθμό νέων AI UGC πλατφόρμες. Πιστεύει ακράδαντα ότι μόνο το μοντέλο "δωρεάν + έως C" μπορεί να δημιουργήσει πραγματικές εταιρείες-γίγαντες στην εποχή της AI.

Για την τεχνολογία Kunlun, η οποία έχει βαθιά γονίδια 2C, η άνοδος του AIGC είναι αναμφίβολα μια σπάνια ευκαιρία. Αυτή η εταιρεία, που πάντα ονειρευόταν να εξελιχθεί σε μια κορυφαία εταιρεία τεχνολογίας τεχνητής νοημοσύνης, αρχικά πίστευε ότι είχε χάσει την ευκαιρία να μπει στο τραπέζι του πόκερ, αλλά δεν περίμενε ότι η AIGC θα της άνοιγε μια νέα πόρτα. Δουλεύουν σκληρά, πάνε όλα έξω. .

Εσωτερική διεύθυνση εφαρμογής beta: https://skyreels.ai/beta