Kunlun Wanwei lancia SkyReels, la prima piattaforma di cortometraggi basata sull'intelligenza artificiale al mondo
2024-08-19
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Il 19 agosto, Kunlun Wanwei ha rilasciato SkyReels, la prima piattaforma al mondo per cortometraggi con intelligenza artificiale che integra modelli video di grandi dimensioni e modelli 3D di grandi dimensioni. La piattaforma SkyReels integra generazione di sceneggiature, personalizzazione dei personaggi, storyboard, trama, dialoghi/musica di sottofondo e sintesi video, consentendo ai creatori di "creare un dramma con un clic" e produrre facilmente video AI di alta qualità.
Film fantasy di successo, struggente sadomasochismo, commedie esilaranti... Basta inserire una semplice idea e SkyReels può completare l'intero processo di produzione, dalla sceneggiatura al cortometraggio finito.
La piattaforma SkyReels integra il modello di grandi dimensioni SkyScript di script autosviluppato di Kunlun Wanwei, il modello di grandi dimensioni di storyboard autosviluppato StoryboardGen, il modello di grandi dimensioni generato in 3D autosviluppato Sky3DGen e la prima piattaforma innovativa del settore WorldEngine che integra profondamente motori 3D AI e modelli video di grandi dimensioni.
SkyReels è in vantaggio rispetto a modelli di grandi dimensioni come GPT-4o nella valutazione della qualità della sceneggiatura, della qualità dello storyboard, della performance dei personaggi e di altre dimensioni.
SkyReels può generare script completi, storyboard, dialoghi dei personaggi e musica di sottofondo con un clic tramite l'intelligenza artificiale. Supporta regolazioni personalizzate su immagini, suoni e storyboard dei personaggi e può convertire automaticamente i contenuti in video ad alta definizione 1080P a 60 fotogrammi e può generare. video in una volta sola. La durata raggiunge i 180 secondi, il che è un progresso significativo rispetto a Sora che può generare un video di 60 secondi alla volta e Keling che può generare un video di 10 secondi alla volta. Integra tutti i risultati creativi con un clic, migliorando notevolmente l'efficienza della creazione di video, riducendo i costi di creazione e accelerando l'era di "una persona, un dramma".
Allo stesso tempo, WorldEngine combina la controllabilità precisa del motore (come simulazione dell'illuminazione, simulazione fisica, spazio 3D, interazione in tempo reale, ecc.) con la capacità di generazione fantastica di modelli video AI di grandi dimensioni, fornendo un nuovo video ibrido online modalità di creazione, che consente alla creazione di video di passare dalla generazione fuzzy a quella più precisa e controllabile.
I punti salienti di SkyReels sono i seguenti:
Generazione di script completamente automatizzata: gli utenti inseriscono concetti o idee e l'intelligenza artificiale genererà uno script con una struttura completa e trame ricche con un clic e supporta la disposizione automatica e il perfezionamento degli script esistenti per migliorare l'efficienza creativa.
Design della trama di alta qualità: il sistema genera trame di alta qualità, conflitti drammatici, punti emozionanti ed espressioni emotive analizzando un gran numero di trame della sceneggiatura per garantire la ricchezza e l'attrattiva della sceneggiatura.
Generazione intelligente dello storyboard: in base al contenuto dello script, le immagini dello storyboard e i corrispondenti script di testo vengono generati con un clic. Gli utenti possono anche regolare liberamente parametri come storyboard, angoli di ripresa e metodi di movimento della telecamera per garantire l'accurata realizzazione della creatività.
Dialogo emotivo/BGM: attraverso la tecnologia di sintesi vocale emotiva, ai personaggi vengono fornite pause naturali tra le frasi, espressioni emotive e cadenze, e la BGM AI viene generata automaticamente in base al contenuto video per integrare perfettamente l'immagine e la musica.
Personalizzazione personalizzata: supporta la generazione intelligente e la regolazione personalizzata di immagini di personaggi, timbri e storyboard per soddisfare le esigenze individuali dei creatori e fornisce una varietà di scelte di stile visivo come animazioni, cartoni animati e 3D live-action per adattarsi alle preferenze e le preferenze dei diversi creatori. Il contenuto esprime i bisogni.
Coerenza e accuratezza dei contenuti: garantisci la coerenza dei personaggi e delle scene nei diversi storyboard e deduci automaticamente le performance dei personaggi in base alle descrizioni delle storie per ottenere il coordinamento delle espressioni, delle azioni e delle battute dei personaggi per migliorare l'espressione della storia.
Generazione video efficiente: converti automaticamente gli storyboard in video continui ad alta definizione, fornendo un output 1080P a 60 fotogrammi per garantire un'esperienza visiva fluida.
Comoda sintesi post-produzione: integra tutti i risultati creativi con un clic e può esportare e condividere rapidamente. Supporta il download in più formati per facilitare il post-editing.
La funzione di generazione di script AI di SkyReels si basa sul modello di script di grandi dimensioni autosviluppato SkyScript di Kunlun Wanwei. Per fare in modo che le sceneggiature generate dall'intelligenza artificiale avessero la trama ad alta densità ed emozionante dei brevi drammi, Kunlun Wanwei ha prima creato un set di dati strutturati per brevi drammi di alta qualità a miliardi di livelli SkyScript-100M. Questo set di dati mira al ritmo della trama e all'eccitazione di enormi brevi drammi. I punti e i cambiamenti emotivi sono annotati con alta qualità;
In secondo luogo, il team dell'algoritmo ha progettato un quadro di generazione di script generato progressivamente, consentendo al modello di produrre script altamente strutturati ed entusiasmanti. Sia gli autori alle prime armi che i drammaturghi esperti possono utilizzarlo per stimolare la creatività e creare facilmente script di brevi spettacoli coinvolgenti.
Un altro passo importante nella creazione di brevi drammi: la generazione di storyboard, il modello di grandi dimensioni StoryboardGen autosviluppato da Kunlun Wanwei fornisce la tecnologia di base. StoryboardGen è il primo modello di generazione di storyboard di Kunlun Wanwei basato sull'architettura DiT-MoE (architettura di esperti ibridi Mixed-of-Experts basata sulla tecnologia Diffusion Transformer). Può ottenere la generazione di informazioni sullo storyboard ad alta densità e migliorare notevolmente le capacità di espressione narrativa visiva.
Dopo aver inserito la sceneggiatura, il modello StoryboardGen scomporrà la sceneggiatura in due parti: la parte globale e la parte principale. La parte globale include la descrizione generale dello storyboard come scene, scene, composizioni, ecc. La parte principale include la personalizzazione di immagini di personaggi e action figure, che vengono infine raccolte negli agenti Storyboard che generano storyboard completi. L'architettura multi-agente specializzata di StoryboardGen può garantire efficacemente la controllabilità e la coerenza di personaggi e scene e creare storyboard di alta qualità di livello industriale.
Kunlun Wanwei StoryboardGen diagramma schematico tecnico del modello di storyboard di grandi dimensioni
Nel processo di generazione delle immagini finale, WorldEngine è la prima piattaforma innovativa del settore che integra profondamente il motore 3D AI e i modelli video di grandi dimensioni. Si tratta di un'innovazione tecnologica epocale. WorldEngine utilizza la tecnologia di fusione dei livelli come ponte per creare una modalità di creazione ibrida senza precedenti di 3D e video.
Quando gli utenti utilizzano SkyReels per generare video AI, possono scegliere liberamente di utilizzare la generazione del motore AI 3D o la generazione di modelli video di grandi dimensioni per qualsiasi elemento. Questo modello innovativo risolve i problemi di "rottura degli schemi" e "antigravità" che spesso si verificano attuali modelli di grandi dimensioni video AI Il fenomeno della legge anti-fisica raggiunge nella massima misura la perfetta fusione tra la precisione della simulazione fisica e la creatività fantastica dei modelli video di grandi dimensioni. Da allora, i modelli di grandi dimensioni della generazione di video AI passeranno dall’era del “controllo fuzzy” all’era della “controllabilità precisa”.
In termini di motore AI 3D, il modello di grandi dimensioni Sky3DGen autosviluppato da Kunlun Wanwei può generare diversi elementi e scene 3D, dai paesaggi naturali alle città future, dagli oggetti statici ai personaggi dinamici, e fornisce funzionalità di interazione con scene 3D in tempo reale, consentendo agli utenti di vedi immediatamente gli effetti delle regolazioni e delle modifiche, accelerando il processo creativo. Con il supporto di WorldEngine, gli utenti possono anche creare facilmente uno studio virtuale 3D per ottenere un'esperienza da sogno di riprese virtuali.
La performance dei personaggi è uno degli anelli fondamentali nella presentazione di brevi commedie. Pertanto, in termini di prestazioni dei personaggi AI, il team di Kunlun SkyReels ha sviluppato appositamente il modello di generazione dei personaggi ActorShow, in modo che i personaggi AI generati da SkyReels abbiano capacità di generazione controllabili più forti delle espressioni della bocca e dei movimenti del corpo e la presentazione dei personaggi sia più naturale.
In risposta alle differenze di illuminazione, alle differenze di stile e ad altre esigenze incontrate nella post-sintesi dei video, il team di Kunlun SkyReels ha addestrato separatamente uno speciale modello di generazione della fusione, in modo che la fusione del video dopo lo strato presenti una buona coerenza.
Il lancio della piattaforma di cortometraggi AI Kunlun Wanwei SkyReels segna un salto tecnologico nella creazione globale di cortometraggi con intelligenza artificiale. Sovvertirà completamente il processo di creazione di contenuti video, liberando i creatori dal noioso e complesso processo di produzione per concentrarsi sulla realizzazione creativa e sull'espressione ispiratrice che rendono il. il sogno di "una persona, un dramma" diventa realtà.
La piattaforma di cortometraggi con intelligenza artificiale di SkyReels non solo fornisce potenti strumenti creativi per i creatori di contenuti professionali, ma abbassa anche notevolmente la soglia per la creazione di cortometraggi con intelligenza artificiale, facilitando l'avvio per gli utenti non professionisti. Si prevede che questo strumento rivoluzionario porterà alla crescita esplosiva dei contenuti generati dagli utenti (UGC) di breve durata dell'intelligenza artificiale e dei contenuti generati dagli utenti professionali (PUGC), infonderà una vitalità senza precedenti nell'ecosistema dei contenuti di breve drammaticità e promuoverà lo sviluppo della breve fiction. mercato della creazione e del consumo di contenuti in ulteriore rapida crescita. Sta arrivando un’era di creazione e consumo di brevi drammi guidati dalla tecnologia AI.
Kunlun Technology è sempre impegnata a fornire strumenti più intelligenti, efficienti e personalizzati ai creatori di contenuti globali attraverso la tecnologia AIGC avanzata. Spinta dalla strategia "All in AGI e AIGC", Kunlun Technology è sempre stata impegnata a "realizzare l'intelligenza artificiale generale e consentire a tutti di modellarsi ed esprimersi meglio" come missione. In futuro, Kunlun Wanwei continuerà a innovare e fornire agli utenti prodotti e servizi AIGC di alta qualità attraverso un'esplorazione approfondita del mercato globale.
tradurre
ricerca
copia
