notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Macchina Cuore Originale

Autore: Wu Xin

Il 19 agosto, Kunlun Wanwei ha rilasciato SkyReels, la prima piattaforma al mondo per cortometraggi con intelligenza artificiale che integra modelli video di grandi dimensioni e modelli 3D di grandi dimensioni. La piattaforma SkyReels integra generazione di sceneggiature, personalizzazione dei personaggi, storyboard, trama, dialoghi/musica di sottofondo e sintesi video, consentendo ai creatori di creare drammi con un clic e produrre facilmente video AI di alta qualità. Questa è una breve commedia di 2 minuti e mezzo.

Collegamento video: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

"Dovremmo lasciare andare il nostro pensiero rigido e resistente e abbracciare questa era dell'informazione frammentata". All'inizio di dicembre 2023, il regista Huang Jianxin si è lamentato presso l'aula magna dell'Accademia cinematografica di Pechino che, rispetto ai film, l'ascesa dei cortometraggi su schermo verticale ha davvero formato un mondo. produzione globale.

Con singoli episodi che durano da pochi minuti a più di dieci minuti, un forte intrattenimento e trame frenetiche, gli utenti sono spesso "divertiti". In soli tre anni (entro il 2023), il mercato cinese dei cortometraggi ha raggiunto il livello dei film cinematografici annuali. Il 70% del botteghino.

Allo stesso tempo, un gran numero di app indipendenti per cortometraggi drammatici sono stati lanciati a livello globale. Il software cinese online per cortometraggi drammatici ReelShort ha ottenuto buoni risultati nelle classifiche iOS statunitensi, superando addirittura TikTok, che ha dominato a lungo le classifiche, e ha ottenuto un successo.

I cortometraggi sono diventati uno dei settori in più rapida crescita del cinema e della televisione negli ultimi anni e sono diventati anche un banco di prova per le nuove tecnologie. La "traduzione con un clic" e il "cambio di volto con l'intelligenza artificiale" sono comuni. Molte società di scrittura online hanno anche rilasciato modelli di generazione di contenuti di grandi dimensioni che possono aiutare gli autori nella scrittura. Con l’aiuto delle funzionalità di generazione video di modelli di grandi dimensioni dell’intelligenza artificiale, il breve tempo di produzione del dramma che prima richiedeva tre mesi, ora richiede solo metà mese.

Brevi videoclip creati dall'intelligenza artificiale possono ricevere milioni di visualizzazioni una volta pubblicati, ma la produzione di un breve dramma completo basato sull'intelligenza artificiale deve ancora affrontare molte sfide. I creatori devono "saltare" ripetutamente tra più strumenti AI come ChatGPT, Midjourney, Runway, Eleven Labs, ComfyUi, Adobe e Cutting, ma i risultati dei loro lavori sono ancora insoddisfacenti.

In questo contesto, Kunlun Wanwei, una società cinese di tecnologia di intelligenza artificiale con più di dieci anni di esperienza all'estero, ha lanciato SkyReels, la prima piattaforma di cortometraggi AI al mondo, una piattaforma di cortometraggi AI che integra modelli video di grandi dimensioni e modelli 3D di grandi dimensioni. Questa non è solo l'implementazione di successo di modelli nazionali su larga scala nel campo dei drammi brevi, ma annuncia anche l'avvento dell'era del "dramma con un clic" e "una persona, un dramma".

Allo stesso tempo, si prevede che questo strumento rivoluzionario porterà alla crescita esplosiva dei contenuti generati dagli utenti di brevi sceneggiati (UGC) e dei contenuti generati dagli utenti professionali (PUGC) e promuoverà l'ulteriore rapida crescita della creazione e della creazione di contenuti di brevi sceneggiati. mercato dei consumi.

1. Conosci SkyReels, la prima piattaforma di cortometraggi basata sull'intelligenza artificiale al mondo

Demo del funzionamento del prodotto SkyReels

Collegamento video: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Quando apro la pagina web di SkyReels, sento immediatamente che il design di "AI Short Drama" è molto diverso dalle altre piattaforme "AI Creative".

Entrambi sono guidati dall'intelligenza artificiale, ma la piattaforma "AI Creative" si concentra sulla generazione di immagini e video, mentre SkyReels integra la generazione di script, la personalizzazione dei personaggi, la progettazione dello storyboard, le riprese video e la sintesi, replicando completamente il processo di industrializzazione delle brevi opere teatrali.

SkyReels integra creatività della storia, generazione di sceneggiature, personalizzazione dei personaggi, progettazione di storyboard, riprese video e sintesi, replicando completamente il processo di industrializzazione delle brevi fiction.

La cosa più importante è avere una buona idea e trasformarla in una bella sceneggiatura.

Sebbene la creazione di testo sia la zona di comfort del grande modello linguistico LLM, la differenza tra SkyReels è che il grande modello responsabile della creazione del testo ha ricevuto una formazione professionale e sa come scrivere script "interessanti" e basati sul flusso.

Basta inserire un concetto o un'idea per una storia e fare clic su "Tipo di creazione", ad esempio un dramma emotivo, e il sistema genererà automaticamente una sceneggiatura che soddisfa i requisiti, con una struttura completa e una trama ricca.

Gli utenti possono anche caricare script già pronti e lasciare che l’intelligenza artificiale li aiuti a perfezionarli e ottimizzarli per renderli più professionali e leggibili.

Il sistema genererà automaticamente una sceneggiatura che soddisfa i requisiti sulla base di suggerimenti creativi e riassumerà anche le biografie dei personaggi coinvolti per prepararsi al successivo design dei personaggi.

Una volta che la sceneggiatura è pronta, il passo successivo è “trovare gli attori”. Su SkyReels, questo passaggio si chiama design dei personaggi.

Di solito, lasciamo prima che LLM scriva il testo del design, quindi lo inviamo a uno strumento grafico come Midjourney per generare l'immagine del personaggio. Per aggiungere voci fuori campo ai personaggi, si continua a ricorrere a strumenti audio come Elevenlabs.

Ora basta entrare nella pagina e inserire i requisiti corrispondenti (incluso il doppiaggio del personaggio) e potrai "generare" il personaggio con un clic, il che migliora notevolmente l'efficienza della produzione.

Basta entrare nella pagina e inserire i requisiti corrispondenti (incluso il doppiaggio del personaggio) e il personaggio può essere generato con un clic.

Prima dell'inizio delle riprese, oltre a cercare gli attori, il regista deve anche creare gli storyboard.Il cosiddetto storyboard scompone principalmente l'intera storia in una serie di immagini consecutive, ciascuna immagine rappresenta una scena o un'azione specifica.

Storyboard da "La città incantata" dello Studio Ghibli.

È molto problematico per un regista senza esperienza artistica completare il disegno dello storyboard con l'aiuto di un pittore. Ora possono consentire a LLM di generare la sceneggiatura del testo della ripresa e quindi utilizzare strumenti come Midjourney per disegnare lo storyboard.

Tuttavia, anche gli svantaggi di questo metodo sono evidenti: è difficile garantire la coerenza dei personaggi e delle scene. Ad esempio, nella miniserie AI a processo completo "Nuwa" lanciata sul canale AI di CCTV, Nuwa appare diversa ogni volta che appare, come se ci fossero diversi Nuwa.

Su SkyReels, l'intelligenza artificiale genererà le immagini dello storyboard e gli script di testo corrispondenti con un clic in base al contenuto dello script. Devi solo attendere 1-2 minuti per visualizzare l'effetto di ogni ripresa. Se non sei soddisfatto, puoi anche regolare l'effetto dello storyboard modificando il testo (come scene o azioni dei personaggi).

Ancora più importante, con il supporto della tecnologia sviluppata internamente, le immagini dello storyboard non sono solo ad alta definizione e ricche di dettagli, ma i personaggi e le scene possono mantenere coerenza e continuità nei diversi storyboard.

L'intelligenza artificiale genererà immagini dello storyboard e script di testo corrispondenti con un clic in base al contenuto dello script.

Dopo che gli storyboard sono stati progettati e gli attori sono stati posizionati, è il momento di entrare nella fase delle “riprese vere e proprie”.Attualmente il più grande ostacolo allo sviluppo dell’intelligenza artificiale cinematografica e televisiva è proprio qui, perché sono troppo poche le buone “macchine fotografiche” utilizzabili.

Un approccio comune consiste nell'utilizzare Pika e Runway per generare effetti dinamici, ma ci sono molti inconvenienti. Ad esempio, la qualità dell'immagine è scarsa, i movimenti del personaggio sono piccoli o addirittura irragionevoli (problema di mangiare i noodles) e le scene sono soggette a incoerenze. A volte il veicolo si muove ma le ruote non girano e gli schizzi d'acqua sono fermi la superficie dell'acqua in movimento durante il flusso dell'acqua. Le forme della bocca dei personaggi non corrispondono quando parlano e le loro espressioni sono rigide.

Attraverso la combinazione del motore 3D AI e del modello video di grandi dimensioni, SkyReels può convertire automaticamente gli storyboard in video continui, rendendo le scene e i personaggi generati più vividi e coerenti. Supporta inoltre l'uscita video 1080P a 60 fotogrammi, garantendo un'esperienza di visione drammatica.

Inoltre, la lunghezza del video che può essere generato alla volta arriva fino a 180 secondi, il che rappresenta un progresso significativo rispetto a Sora, che può generare un video di 60 secondi alla volta, e Keling, che può generare un video di 10 secondi. video alla volta.

SkyReels può convertire automaticamente gli storyboard in video continui.

Infine, tutti i risultati del processo possono essere integrati con un clic per generare rapidamente il cortometraggio finale. L'intelligenza artificiale genererà e consiglierà anche la musica di sottofondo e gli effetti sonori adatti in base al tema della sceneggiatura e alle scene specifiche, e gli utenti potranno aggiungerli con un solo clic.

È inoltre possibile aggiungere musica di sottofondo ed effetti sonori con un clic.

Supporta l'esportazione in video con un clic e può essere pubblicato su piattaforme di social media come Douyin con un clic.

Supporta la condivisione con un clic dei disegni dei personaggi.

2. Dietro il "dramma con un clic" ci sono tre livelli di innovazione tecnologica

Tre livelli di innovazione tecnologica, come tre pilastri, supportano il “dramma con un clic” di SkyReels:

SkyScript modello di grandi dimensioni con script autosviluppati, modello di grandi dimensioni con storyboard autosviluppato StoryboardGen e la prima piattaforma innovativa del settore WorldEngine che integra profondamente motori 3D AI e modelli video di grandi dimensioni.

SkyScript, un modello di sceneggiatura di grandi dimensioni, è responsabile della padronanza dell'"anima" del cortometraggio: la sceneggiatura.Infatti non solo la sceneggiatura, ma anche il modello testuale supporta l'intero processo creativo.

Alcuni autori di micro-cortometraggi hanno provato a utilizzare ChatGPT per generare sceneggiature, ma hanno scoperto che il risultato finale mancava di tensione emotiva e cambiamenti di trama ed era solo una pila di testo piatto. Kunlun Wanwei ha costruito SkyScript-100M, un set di dati strutturati di brevi drammi di alta qualità da 100 milioni di livelli. Questo set di dati contiene annotazioni di alta qualità per il ritmo della trama, punti emozionanti e cambiamenti emotivi di un gran numero di meravigliosi brevi drammi. ed è appositamente progettato per la creazione di script.

Diagramma schematico tecnico del modello di grandi dimensioni dello script SkyScript

Principio di generazione dello script dello storyboard del modello di grandi dimensioni dello script SkyScript.

Ad esempio, oltre ad apprendere i principi di base e i modelli comuni di creazione da enormi quantità di dati, se vuoi diventare un successo, devi anche capire alcune "routine" collaudate. Il pubblico spesso ha una chiara preferenza per trame con ritmo veloce, forti conflitti, suspense ripetuta e molteplici inversioni di tema come il contrattacco per cambiare il destino, una moglie prepotente, lotte familiari benestanti, viaggi nel tempo e rinascita, vampiri, lupi mannari, ecc. sono anche temi di cui non si stancano mai.

Il popolare cortometraggio drammatico di ReelShort "La doppia vita di mio marito miliardario" parla prima del matrimonio e poi dell'amore. Il singolo episodio dura circa 1 minuto e 30 secondi. A partire dal 12° episodio, i protagonisti maschili e femminili hanno rapidamente completato il riscaldamento della relazione nell'intensa intersezione della trama e coperto Contiene trame come un feroce ruolo femminile di supporto, un matrimonio contrattuale, un eroe che salva una bellezza e una lotta per la proprietà. Un rapporto approfondito sull'espansione all'estero delle brevi fiction cinesi di Guohai Securities.

Annotando attentamente i "punti interessanti" della storia che suscitano forte interesse da parte del pubblico, come l'aspetto del protagonista, la composizione dell'inquadratura e le emozioni espresse dai personaggi, SkyScript impara a prestare attenzione e a generare questi dettagli.

In termini di architettura del modello, al fine di garantire la professionalità e la controllabilità dei contenuti generati, SkyScript adotta anche un framework multi-agente. Attraverso la collaborazione di "creativi", "direttori del casting", "sceneggiatori", "scrittori di romanzi", "registi" e altri agenti intelligenti, il processo di produzione industriale viene imitato per completare la creazione della sceneggiatura.

Valutazione della qualità dello script di grandi dimensioni modello SkyScript.

In ultima analisi, un'opera breve è la presentazione di un linguaggio visivo. Pertanto, gli altri due livelli di innovazione - StoryboardGen e WorldEngine - si concentrano sulla "carne e sangue" dell'opera breve, ovvero le riprese.

Come SkyScript, anche StoryboardGen, un modello di storyboard su larga scala autosviluppato, è stato addestrato con esempi di storyboard professionali di alta qualità nel mondo reale. È appositamente progettato per la progettazione di storyboard ed è lontano dai modelli di generazione di immagini per uso generale .

Allo stesso modo, in base alla struttura multi-agente, diversi elementi dello storyboard (scene, inquadrature, personaggi, azioni, ecc.) vengono scomposti in più agenti per l'elaborazione, il che migliora notevolmente la controllabilità e la coerenza nel processo di produzione dello storyboard.

Diagramma schematico tecnico di StoryboardGen, un modello di storyboard di grandi dimensioni. Similmente alle riprese cinematografiche e alla produzione di animazioni, StoryboardGen basato sul framework multi-agente scompone il processo complessivo in più agenti, ciascun agente è responsabile di una capacità specifica, migliorando la controllabilità e la coerenza nel processo di produzione dello storyboard.

Supponiamo che ci sia una sceneggiatura che descrive una scena, ad esempio una persona che cammina nel parco.

Il pianificatore LLM suddividerà innanzitutto la sceneggiatura in due parti.

Tra questi, la descrizione globale (prompt globale): "Una persona sta camminando in un parco soleggiato";

Descrizione locale (prompt locale): "Questa persona è un maschio di mezza età, indossa abiti casual, tiene una tazza di caffè in mano e cammina a passo lento."

Nel processo di generazione, diversi agenti svolgono i propri compiti. Ad esempio, l'agente della scena genera lo sfondo e la disposizione del parco in base alla descrizione globale; l'agente del personaggio genera l'immagine e le azioni del personaggio maschile in base alla descrizione locale.

Infine, l'agente Storyboard integra questi contenuti generati e genera lo storyboard finale in base a tutte le informazioni e condizioni della descrizione.

Stato di valutazione della qualità di StoryboardGen del modello di storyboard di grandi dimensioni.

Oltre alla controllabilità e alla coerenza, al fine di rendere le immagini dello storyboard più espressive, StoryboardGen ha anche migliorato notevolmente la complessità e la precisione dei dettagli delle immagini.

Ad esempio, StoryboardGen utilizza un framework di generazione progressiva basato su DiT per creare l'immagine finale attraverso molteplici modifiche e miglioramenti. Rispetto ai tradizionali modelli di generazione una tantum, questo framework può sfruttare appieno le informazioni generate nel processo intermedio per generare storyboard con qualità superiore ed effetti visivi più ricchi.

Il terzo livello di innovazione tecnologica è una piattaforma innovativa World Engine, che è la prima nel settore a connettere perfettamente la tecnologia di generazione 3D e la tecnologia di generazione video attraverso la fusione dei livelli e altri metodi, il che equivale a fornire ai creatori una potente "fotocamera" " o anche “studio”.

WorldEngine combinaLa precisa controllabilità del motore (come simulazione dell'illuminazione, simulazione fisica, spazio 3D, interazione in tempo reale, ecc.) e la capacità di generazione di fantasia del grande modello video AI, fornisce una nuova modalità di creazione video ibrida online, che consente alla creazione video di passare dalla generazione fuzzy a quella più precisa e controllabile.

Supponiamo che tu stia realizzando una scena in cui un Pikachu si diverte sotto una fontana. Puoi lasciare che Sky3DGen crei una scena accurata della fontana e allo stesso tempo lasciare che il modello video generi un Pikachu realistico;

Caso video generato ibrido

Collegamento video: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Sappiamo che modelli video di grandi dimensioni come Sora possono facilmente generare effetti quasi realistici che non hanno eguali nei motori di gioco e sono pieni di immaginazione, ma non comprendono il mondo fisico e non possono simulare accuratamente alcune delle interazioni fisiche più elementari, come il vetro rompersi e mangiare. Faccia e così via.

Il vantaggio del motore di gioco risiede nella simulazione accurata delle leggi fisiche della vita reale. Attraverso complessi modelli matematici, può creare un ambiente virtuale coerente nello spazio e nel tempo e conforme alle leggi oggettive. Non solo garantisce la coerenza e la prevedibilità dei risultati di rendering, ma dimostra anche una profonda comprensione dello spazio tridimensionale.

Essendo una delle più grandi società di sviluppo e gestione di giochi in Cina, non sorprende che Kunlun Wanwei abbia sviluppato il proprio modello di grandi dimensioni Sky3DGen e "integra i suoi vantaggi" con il modello di grandi dimensioni video, fornendo ai creatori un nuovo modello di creazione ibrido.

Su SkyReels puoi modificare varie scene e forme 3D e persino le performance dei personaggi.

Custodia per la generazione di video di scena 3D

Collegamento video: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Caso di generazione video di scene 3D

Collegamento video: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

La performance dei personaggi è uno degli elementi fondamentali delle commedie brevi. Kunlun Wanwei ha sviluppato in modo indipendente il modello di generazione delle performance dei personaggi ActorShow, che ha capacità di generazione controllabili più forti delle espressioni della bocca e dei movimenti del corpo.

Collegamento video: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Valutazione della qualità dei modelli di generazione delle prestazioni dei personaggi.

Durante il processo di creazione, gli utenti possono anche definire liberamente lo studio di ripresa virtuale 3D.

Vuoi girare una storia nel deserto oggi? Con pochi clic l'intera scena si trasforma in un vasto deserto. Domani girerai sulla stazione spaziale? Con pochi clic in più, l'ambiente circostante si è trasformato nell'interno di una stazione spaziale high-tech.

Puoi anche posizionare e spostare le telecamere virtuali nello studio virtuale per provare vari angoli di ripresa. Regola la luce e aggiungi effetti speciali per ottenere un effetto di ripresa molto professionale.

Grazie all'utilizzo del motore, WorldEngine ha ottenuto una riduzione rivoluzionaria dei costi rispetto alla generazione video tradizionale e, allo stesso tempo, la velocità di generazione e la controllabilità sono state migliorate di diversi ordini di grandezza.

3. Scommetti su AI UGC e poi vai al tavolo da poker

SkyReels, la piattaforma di cortometraggi AI, è l'ultimo membro della matrice di prodotti del livello di applicazione AI di Kunlun Wanwei.

In precedenza, hanno creato con successo una gamma diversificata di prodotti tra cui ricerca AI, musica AI, video AI, social network AI, giochi AI, ecc., e alcune delle loro attività sono state commercializzate.

Essendo una delle prime aziende cinesi ad esplorare il mercato globale, con più di dieci anni di esperienza nel settore dei contenuti e dell'intrattenimento, Kunlun Wanwei ha capito che la piattaforma UGC (contenuti generati dagli utenti) ha mantenuto una tendenza duratura nel Si prevede inoltre che l’intervento dell’AIGC non solo diversificherà i metodi di creazione della proprietà intellettuale per articoli web, brevi rappresentazioni, animazioni e giochi, ma, cosa ancora più importante, abbasserà significativamente la soglia per la creazione di contenuti.

Come afferma l'industria, "Ogni volta che la soglia per la produzione di contenuti viene raddoppiata, il numero di persone che creano contenuti aumenterà di dieci volte: ciò indica enormi opportunità di mercato".

Pertanto, Kunlun si impegna a costruire una piattaforma UGC completa con l'IP come nucleo, in modo che tutti gli utenti che utilizzano l'intelligenza artificiale per creare possano completare l'intero ciclo chiuso dell'IP. Sanno molto bene che uno strumento in grado di nascondere tutti i dettagli tecnici e raggiungere la generazione di contenuti end-to-end ha un reale valore commerciale. Questa è anche la logica profonda dei prodotti di "generazione con un clic" come SkyReels.

Oltre a costruire una piattaforma AI UGC al livello superiore, Kunlun Wanwei si impegna anche al livello inferiore a sviluppare la base per modelli di grandi dimensioni per uso generale. Ciò deriva da un’intuizione semplice ma profonda: da un punto di vista tecnico, la saggezza umana è precipitata sotto forma di testo e tutti i modelli esclusivi per social network, giochi, musica e video sono inseparabili dal supporto di modelli testuali di grandi dimensioni.

Il modello Tiangong autosviluppato di Kunlun Wanwei è stato iterato alla versione 3.0. "Tiangong 3.0" adotta un'architettura MoE da 400 miliardi di parametri ed è attualmente uno dei modelli MoE open source con i parametri del modello più grandi e le prestazioni più elevate al mondo. In molti autorevoli risultati di valutazione multimodale come MMMBench, "Tiangong 3.0" ha superato GPT-4V e molti indicatori di valutazione hanno raggiunto il livello leader a livello mondiale.

Con una solida base di modelli di grandi dimensioni per scopi generali, Kunlun Wanwei si è mossa passo dopo passo verso i campi dei contenuti e dell'intrattenimento, estendendo orizzontalmente le sue capacità di modello - dalla musica, ai diagrammi letterari, alla generazione di video alla generazione di brevi drammi, e successivamente ha lanciato SkyMusic AI music large modello, modello di grandi dimensioni multimodale Skywork -MM, modello di grandi dimensioni con script SkyScript, modello di grandi dimensioni storyboard StoryboardGen, modello di grandi dimensioni Sky3DGen 3D, ecc.

Fang Han, presidente e CEO di Kunlun Wanwei, una volta predisse che, proprio come le fotocamere hanno rivoluzionato i metodi di ripresa e generato un gran numero di piattaforme per video brevi come Douyin e Kuaishou, l'intelligenza artificiale genererà anche un gran numero di nuovi UGC AI. piattaforme. Crede fermamente che solo il modello "free + to C" possa generare vere e proprie aziende giganti nell'era dell'intelligenza artificiale.

Per la Kunlun Technology, che possiede geni 2C profondi, l’ascesa dell’AIGC è senza dubbio una rara opportunità. Questa azienda, che ha sempre sognato di diventare un'azienda leader nella tecnologia dell'intelligenza artificiale, inizialmente pensava di aver perso l'opportunità di salire sul tavolo da poker, ma non si aspettava che l'AIGC avrebbe aperto loro una nuova porta. Stanno lavorando duro, stanno dando il massimo. ‍

Indirizzo dell'applicazione beta interna: https://skyreels.ai/beta