Le mie informazioni di contatto
Posta[email protected]
2024-08-13
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Rapporto sul cuore della macchina
Editore: Zenan, Jiaqi
Per realizzare video con Clapper devi solo essere il regista.
Con l’uscita di Sora, il settore video sembra essere entrato nell’era dell’intelligenza artificiale generativa. Ma fino ad oggi non abbiamo ancora utilizzato lo strumento ufficiale di generazione video di OpenAI e le persone che non vedono l'ora hanno iniziato a cercare altri metodi.
Nelle ultime settimane, Clapper, uno strumento di editing video open source, ha attirato l'attenzione.
A differenza dei generatori di video offerti da molte aziende tecnologiche, Clapper è uno strumento di visualizzazione di storie AI open source lanciato come prototipo un anno fa. Non è progettato per sostituire gli editor video tradizionali o i moderni editor AI che utilizzano scene 3D come input.
Il concetto di Clapper è quello di riunire varie tecnologie di intelligenza artificiale generativa per consentire a chiunque di creare video utilizzando l'intelligenza artificiale attraverso un processo interattivo, iterativo e intuitivo. Non sono richiesti strumenti esterni, capacità di produzione cinematografica o di ingegneria dell'intelligenza artificiale. In Clapper, non è necessario modificare direttamente le sequenze di file video e audio, puoi invece ripetere la tua storia basata su AI Agent regolando concetti astratti di alto livello come personaggi, luoghi, condizioni meteorologiche, periodi di tempo, stili, ecc. .
Julian Bilcke, l'autore di Clapper, è un ingegnere front-end dell'intelligenza artificiale presso HuggingFace. Ha detto che per continuare a lavorare in questa direzione, sta sviluppando anche una modalità regista: l'obiettivo è permettere agli utenti di riprodurre video a schermo intero, sedersi comodamente sulla sedia (o sul divano) del regista, gridare comandi all'Agente, e lasciare che l'intelligenza artificiale realizzi film.
Negli ultimi giorni, Julian Bilcke ha lanciato nuove funzionalità come la conversione di testo arbitrario in una sequenza temporale utilizzando modelli di grandi dimensioni. Anche la popolarità di Clapper è aumentata e conta già più di 1.100 Stelle su GitHub.
Come usare
Poiché si tratta di uno strumento open source, ciò che esaminiamo principalmente è ovviamente se è facile da usare.
Ricordi ancora l'esperienza del maestro dell'intelligenza artificiale Karpathy nella creazione di brevi video sull'intelligenza artificiale? Per trasformare le prime tre frasi di "Orgoglio e pregiudizio" in una versione animata, questo massimo esperto ha impiegato un'ora intera. Sebbene ci siano solo tre frasi e tre scene, questo flusso di lavoro è molto più complicato di tre frasi. Per prima cosa ha utilizzato Claude per generare una serie di parole di richiesta immagine basate sul testo originale, quindi ha inserito queste parole di richiesta nel modello grafico di Vincent per generare le immagini corrispondenti, quindi le ha passate al modello video per realizzare le animazioni dell'attività di doppiaggio è stato assegnato a Elevenlabs e infine a Veed Studio ha messo insieme tutti i pezzi.
Quindi, dopo che Karpathy ha finito, ha twittato e si è lamentato, dicendo: "Imprenditori, l'opportunità è arrivata! Il mercato ha urgente bisogno di uno strumento di intelligenza artificiale in grado di integrare e semplificare questi processi".
Clapper è una piattaforma unica che integra tutte queste funzioni.
Di solito, se desideri realizzare un breve video, devi seguire i seguenti passaggi. Innanzitutto, hai bisogno di una storia e di una sceneggiatura, quindi disegna storyboard basati sulla sceneggiatura, quindi gira o trova materiali basati sugli storyboard, mettili insieme nel software di editing, aggiungi effetti di animazione ed effetti speciali, quindi aggiungi selettivamente parole parlate e musica di sottofondo. O effetti sonori. Pertanto, è nata la divisione del lavoro nel settore della produzione cinematografica e televisiva come coreografia, regia, fotografia, montaggio, post-produzione e doppiaggio.
In Clapper la produzione video segue una logica diversa. Ogni traccia non corrisponde a materiale video o fotografico come Premier, Cutting e altri software di editing, ma corrisponde a un tipo specifico di lavoro.
traccia di materiale ritagliata
L'orbita di Clapper
Quando si tratta di utilizzare l’intelligenza artificiale per realizzare video, noi siamo il partito dell’intelligenza artificiale. Clapper è come un equipaggio composto dall'intelligenza artificiale più potente del settore. Clapper ha integrato una serie di modelli di grandi dimensioni "di prim'ordine" come GPT-4o, Claude 3.5 (Sonnet), ecc. È come il direttore esecutivo del Partito B, responsabile di collegare le tue esigenze al corrispondente "direttore dell'IA".
Come si può vedere dall'immagine sopra, la prima traccia rappresenta lo storyboard e comunica con il grande modello integrato in Clapper. Chiamerà il modello del diagramma di Vincent tramite l'API e consentirà all'insegnante dello storyboard AI di generare l'immagine corrispondente come video immagine.
È possibile accedere al modello grafico testuale sopra tramite Clapper
Prendendo come esempio il film campione fornito da Clapper, le tracce seguenti corrispondono alla scena, alla narrazione, alla prospettiva della telecamera, alla musica di sottofondo e agli effetti sonori. Puoi chiedere a ElevenLabs o Fal.ai di generare alcuni suoni del vento di rovine o suoni di esplosioni di scontri a fuoco per questa storia di terre desolate occidentali.
Clapper ha anche un'altra funzione che potrebbe davvero fare un grande passo avanti verso il sogno di "fare film parlando". Possiamo importare direttamente la sceneggiatura in Clapper e creare con cura un personaggio per il tuo protagonista nella colonna "Storia".
Prendendo come esempio "Il mago di Oz", non solo possiamo aggiungere descrizioni più personalizzate ai personaggi, ma anche caricare immagini per impostare l'immagine visiva dell'eroina Dorothy. Ciò significa che possiamo chiedere a qualsiasi attore al mondo di interpretare questo ruolo, anche se vuoi vedere il diciottenne DiCaprio interpretare Dorothy, puoi farlo. Le funzioni di Clapper sono così dettagliate che puoi regolare l'età e il timbro dei personaggi, l'arredamento di ogni scena, quali mobili ci sono nella stanza di Dorothy e come appare la casa nella loro destinazione avventurosa "Emerald City", tutto può essere regolato in Regolazione clapper.
Naturalmente, puoi anche utilizzare l'intelligenza artificiale per disegnare prima alcune immagini d'atmosfera, che potrebbero stimolare ulteriormente la tua ispirazione e creatività.
Tuttavia, sebbene la funzione di Clapper tenga pienamente conto delle esigenze della realizzazione di video, i suoi effetti sono alquanto insoddisfacenti. Non solo i movimenti dei personaggi nella foto sono un po' "spettrali", ma non sono conformi alle leggi del movimento fisico. L'effetto complessivo del video è più simile a un PPT in movimento, privo di transizioni e continuità tra le inquadrature, e anche la colonna sonora è piena di intelligenza artificiale, suona senza melodia e con un po' di rumore.
Potrebbe volerci molto tempo prima che l’intelligenza artificiale generativa cambi il processo di produzione video, ma l’emergere di Clapper potrebbe fornire una nuova idea di implementazione per i principali produttori che stanno ancora espandendo le funzioni AI per i tradizionali software di editing video.
Contenuto di riferimento:
https://news.ycombinator.com/item?id=41221399
https://x.com/aigclink/status/1818111874531205216