νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Αναφορά Μηχανικής Καρδιάς

Επιμέλεια: Zenan, Jiaqi

Για να κάνετε βίντεο με τον Clapper, χρειάζεται μόνο να είστε ο σκηνοθέτης.

Με την κυκλοφορία του Sora, το πεδίο βίντεο φαίνεται να έχει μπει στην εποχή της γενετικής τεχνητής νοημοσύνης. Αλλά μέχρι σήμερα, δεν έχουμε χρησιμοποιήσει ακόμα το επίσημο εργαλείο δημιουργίας βίντεο του OpenAI και οι άνθρωποι που ανυπομονούν έχουν αρχίσει να αναζητούν άλλες μεθόδους.

Τις τελευταίες εβδομάδες, το Clapper, ένα εργαλείο επεξεργασίας βίντεο ανοιχτού κώδικα, έχει τραβήξει την προσοχή.

Σε αντίθεση με τις γεννήτριες βίντεο που προσφέρονται από πολλές εταιρείες τεχνολογίας, το Clapper είναι ένα εργαλείο οπτικοποίησης ιστορίας τεχνητής νοημοσύνης ανοιχτού κώδικα που κυκλοφόρησε ως πρωτότυπο πριν από ένα χρόνο. Δεν έχει σχεδιαστεί για να αντικαταστήσει τους παραδοσιακούς επεξεργαστές βίντεο ή τους σύγχρονους επεξεργαστές τεχνητής νοημοσύνης που χρησιμοποιούν σκηνές 3D ως είσοδο.

Η ιδέα του Clapper είναι να συγκεντρώσει διάφορες παραγωγικές τεχνολογίες τεχνητής νοημοσύνης για να επιτρέψει σε οποιονδήποτε να δημιουργήσει βίντεο χρησιμοποιώντας τεχνητή νοημοσύνη μέσω μιας διαδραστικής, επαναληπτικής και διαισθητικής διαδικασίας. Δεν απαιτούνται εξωτερικά εργαλεία, κινηματογραφικές δεξιότητες ή δεξιότητες μηχανικής τεχνητής νοημοσύνης. Στο Clapper, δεν χρειάζεται να επεξεργάζεστε απευθείας ακολουθίες αρχείων βίντεο και ήχου, αλλά μπορείτε να επαναλάβετε την ιστορία σας με βάση το AI Agent προσαρμόζοντας υψηλού επιπέδου, αφηρημένες έννοιες όπως χαρακτήρες, τοποθεσίες, καιρός, χρονικές περιόδους, στυλ κ.λπ. .

Ο Julian Bilkke, ο συγγραφέας του Clapper, είναι μηχανικός τεχνητής νοημοσύνης στο HuggingFace. Είπε ότι για να συνεχίσει να εργάζεται προς αυτή την κατεύθυνση, αναπτύσσει επίσης μια λειτουργία σκηνοθέτη: στόχος είναι να επιτραπεί στους χρήστες να παίζουν βίντεο σε πλήρη οθόνη, να κάθονται άνετα στην καρέκλα του σκηνοθέτη (ή στον καναπέ), να φωνάζουν εντολές στον Πράκτορα, και αφήστε το AI να κάνει ταινίες.

Τις τελευταίες ημέρες, ο Julian Bilcke κυκλοφόρησε νέες δυνατότητες, όπως η μετατροπή αυθαίρετου κειμένου σε χρονοδιάγραμμα χρησιμοποιώντας μεγάλα μοντέλα. Η δημοτικότητα του Clapper έχει επίσης αυξηθεί και έχει ήδη περισσότερα από 1.100 αστέρια στο GitHub.

• Σύνδεσμος GitHub: https://github.com/jbilcke-hf/clapper
• HuggingFace 链接：https://huggingface.co/space/jbilcke-hf/clapper/tree/main
• Δοκιμαστική διεύθυνση URL: https://clapper.app/

Τρόπος χρήσης

Δεδομένου ότι είναι ένα εργαλείο ανοιχτού κώδικα, αυτό που εξετάζουμε κυρίως είναι φυσικά εάν είναι εύκολο στη χρήση.

Θυμάστε ακόμα την εμπειρία του master Karpathy που δημιουργούσε βίντεο με τεχνητή νοημοσύνη; Προκειμένου να μετατραπούν οι τρεις πρώτες προτάσεις του "Pride and Prejudice" σε έκδοση κινουμένων σχεδίων, χρειάστηκε αυτός ο κορυφαίος ειδικός μια ολόκληρη ώρα. Αν και υπάρχουν μόνο τρεις προτάσεις και τρεις σκηνές, αυτή η ροή εργασίας είναι πολύ πιο περίπλοκη από τρεις προτάσεις. Χρησιμοποίησε αρχικά τον Claude για να δημιουργήσει μια σειρά λέξεων προτροπής εικόνας με βάση το αρχικό κείμενο, στη συνέχεια εισήγαγε αυτές τις λέξεις προτροπής στο μοντέλο γραφήματος Vincent για να δημιουργήσει τις αντίστοιχες εικόνες και στη συνέχεια το παρέδωσε στο μοντέλο βίντεο για να δημιουργήσει κινούμενες εικόνες ανατέθηκε στο Elevenlabs και τελικά στο Veed Studio Βάλτε όλα τα κομμάτια μαζί.

Έτσι, αφού τελείωσε το Karpathy, έκανε tweet και παραπονέθηκε, λέγοντας: "Επιχειρηματίες, ήρθε η ευκαιρία! Η αγορά χρειάζεται επειγόντως ένα εργαλείο AI που μπορεί να ενσωματώσει και να απλοποιήσει αυτές τις διαδικασίες."

Το Clapper είναι μια ενιαία πλατφόρμα που ενσωματώνει όλες αυτές τις λειτουργίες.

Συνήθως αν θέλετε να κάνετε ένα σύντομο βίντεο, πρέπει να ακολουθήσετε τα παρακάτω βήματα. Πρώτα, χρειάζεστε μια ιστορία και ένα σενάριο, στη συνέχεια σχεδιάστε σενάρια με βάση το σενάριο, στη συνέχεια τραβήξτε ή βρείτε υλικό με βάση τα σενάρια, συνδυάστε τα σε λογισμικό επεξεργασίας, προσθέστε εφέ κινουμένων σχεδίων και ειδικά εφέ και, στη συνέχεια, προσθέστε επιλεκτικά προφορικό λόγο και μουσική υπόκρουση Ή ηχητικά εφέ. Ως εκ τούτου, προέκυψε ο καταμερισμός της εργασίας στη βιομηχανία παραγωγής ταινιών και τηλεόρασης, όπως η χορογραφία, η σκηνοθεσία, η φωτογραφία, το μοντάζ, η μετα-παραγωγή και η μεταγλώττιση.

Στην Clapper, η παραγωγή βίντεο ακολουθεί διαφορετική λογική. Κάθε κομμάτι του δεν αντιστοιχεί σε υλικό βίντεο ή εικόνας όπως το Premier, το Cutting και άλλο λογισμικό επεξεργασίας, αλλά αντιστοιχεί σε ένα συγκεκριμένο είδος εργασίας.

κομμάτι αποκομμένου υλικού

Clapper's Orbit

Όσον αφορά τη χρήση της τεχνητής νοημοσύνης για τη δημιουργία βίντεο, είμαστε το κόμμα της τεχνητής νοημοσύνης. Ο Clapper είναι σαν ένα πλήρωμα που αποτελείται από το πιο ισχυρό AI στον κλάδο. Η Clapper έχει ενσωματωμένη μια σειρά από «κορυφαία» μεγάλα μοντέλα όπως GPT-4o, Claude 3.5 (Sonnet) κ.λπ. Είναι σαν τον εκτελεστικό διευθυντή του Κόμματος Β, υπεύθυνος για τη σύνδεση των αναγκών σας με τον αντίστοιχο «διευθυντή AI».

Όπως φαίνεται από την παραπάνω εικόνα, το πρώτο κομμάτι αντιπροσωπεύει το σενάριο και μιλάει με το μεγάλο μοντέλο που είναι ενσωματωμένο στο Clapper. Θα καλέσει το μοντέλο του διαγράμματος Vincent μέσω του API και θα αφήσει τον δάσκαλο του πίνακα τεχνητής νοημοσύνης να δημιουργήσει την αντίστοιχη εικόνα ως βίντεο. εικόνα η βάση του.

Το παραπάνω μοντέλο γραφήματος κειμένου είναι προσβάσιμο μέσω του Clapper

Λαμβάνοντας ως παράδειγμα το δείγμα ταινίας που έδωσε ο Clapper, τα ακόλουθα κομμάτια αντιστοιχούν στη σκηνή, την αφήγηση, την προοπτική της κάμερας, τη μουσική υπόκρουση και τα ηχητικά εφέ. Μπορείτε να ζητήσετε από το ElevenLabs ή το Fal.ai να δημιουργήσουν μερικούς ήχους ανέμου από ερείπια ή ήχους έκρηξης από πυρομαχίες για αυτήν την ιστορία της δυτικής ερημιάς.

Ο Clapper έχει επίσης μια άλλη λειτουργία που μπορεί πραγματικά να κάνει ένα μεγάλο βήμα προς το όνειρο του «κάνοντας ταινίες μιλώντας». Μπορούμε να εισάγουμε απευθείας το σενάριο στο Clapper και να δημιουργήσουμε προσεκτικά έναν χαρακτήρα για τον πρωταγωνιστή σας στη στήλη "Story".

Λαμβάνοντας ως παράδειγμα το "The Wizard of Oz", μπορούμε όχι μόνο να προσθέσουμε πιο εξατομικευμένες περιγραφές χαρακτήρων στους χαρακτήρες, αλλά και να ανεβάσουμε φωτογραφίες για να διαμορφώσουμε την οπτική εικόνα της ηρωίδας Dorothy. Αυτό σημαίνει ότι μπορούμε να ζητήσουμε από οποιονδήποτε ηθοποιό στον κόσμο να παίξει αυτόν τον ρόλο, ακόμα κι αν θέλετε να δείτε τον 18χρονο Ντι Κάπριο να παίζει την Ντόροθι, μπορείτε να το κάνετε. Οι λειτουργίες του Clapper είναι τόσο λεπτομερείς που μπορείτε να προσαρμόσετε την ηλικία και τη χροιά των χαρακτήρων, την επίπλωση κάθε σκηνής, τα έπιπλα στο δωμάτιο της Dorothy και πώς μοιάζει το σπίτι στον προορισμό περιπέτειας "Emerald City", όλα μπορούν να είναι προσαρμόζεται σε Clapper.

Φυσικά, μπορείτε επίσης να χρησιμοποιήσετε την τεχνητή νοημοσύνη για να σχεδιάσετε πρώτα μερικές εικόνες ατμόσφαιρας, οι οποίες μπορεί να τονώσουν περαιτέρω την έμπνευση και τη δημιουργικότητά σας.

Ωστόσο, αν και η λειτουργία του Clapper έχει λάβει πλήρως υπόψη τις ανάγκες δημιουργίας βίντεο, η επίδρασή του είναι κάπως μη ικανοποιητική. Όχι μόνο οι κινήσεις των χαρακτήρων της εικόνας είναι λίγο «φανταστικές», αλλά δεν συμμορφώνονται με τους νόμους της φυσικής κίνησης. Το συνολικό αποτέλεσμα του βίντεο μοιάζει περισσότερο με ένα κινούμενο PPT, χωρίς μεταβάσεις και συνέχεια μεταξύ των λήψεων, και το soundtrack είναι επίσης γεμάτο AI, που ακούγεται χωρίς μελωδία και με κάποιο θόρυβο.

Μπορεί να χρειαστεί πολύς χρόνος για να αλλάξει η παραγωγική τεχνητή νοημοσύνη για να αλλάξει τη διαδικασία παραγωγής βίντεο, αλλά η εμφάνιση του Clapper μπορεί να προσφέρει μια νέα ιδέα υλοποίησης για μεγάλους κατασκευαστές που εξακολουθούν να επεκτείνουν τις λειτουργίες AI για το παραδοσιακό λογισμικό επεξεργασίας βίντεο.

Περιεχόμενο αναφοράς:

https://news.ycombinator.com/item?id=41221399

https://x.com/aigclink/status/1818111874531205216