notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Testo/Tecnologia Tencent Zhou Xiaoyan

Lascia che ti dica qualcosa di nuovo: nei brevi drammi che guarderai in futuro, dal davanti al dietro le quinte, potrebbero non esserci "persone".

Nel modello tradizionale, la catena di produzione di un breve dramma, dallo sviluppo della sceneggiatura, alla produzione fino alla distribuzione, è piena di "persone". Ma ora, a causa dell'avvento dell'intelligenza artificiale, potrebbe essere necessaria solo una persona che possa muovere il mouse davanti allo schermo. Il regista può completare tutti i processi.

Il 19 agosto, Kunlun Wanwei ha rilasciato SkyReels, la prima piattaforma al mondo per cortometraggi con intelligenza artificiale che integra modelli video di grandi dimensioni e modelli 3D di grandi dimensioni. La piattaforma SkyReels integra generazione di sceneggiature, personalizzazione dei personaggi, storyboard, trama, dialoghi/musica di sottofondo e sintesi video, consentendo ai creatori di "creare un dramma con un clic" e produrre facilmente video AI di alta qualità. Il lancio della piattaforma di cortometraggi AI Kunlun Wanwei SkyReels segna un importante salto tecnologico nella creazione globale di cortometraggi con intelligenza artificiale.

In altre parole, non è necessario assumere attori o trovare una location. Puoi sfruttare la potenza dell'intelligenza artificiale per creare una breve rappresentazione aprendo SkyReels e azionando la tastiera.

L'intelligenza artificiale esegue scenette e inizia a entrare nella "terra di nessuno".

L’ambizione di Kunlun Wanwei nel breve dramma sull’intelligenza artificiale: creare una nuova specie che sovverta il modello di produzione originale

Andare all'estero per fare brevi commedie non è una novità.

Nel 2022, il prodotto di cortometraggi drammatici di Chinese Online ReelShort è stato lanciato e un anno dopo si è classificato al primo posto nell'elenco di intrattenimento iOS degli Stati Uniti gratuitamente. Poco dopo, anche stelle nascenti come ShortTV e DramaBox hanno continuato a produrre cortometraggi di successo. I loro temi sono principalmente boss, amore e lupi mannari. Il cortometraggio drammatico di successo di ReelShort "La doppia vita del mio marito miliardario" include "eroi che salvano bellezze", "lotte per la proprietà" e altri segmenti.

Questo tipo di brevi drammi sono solitamente originali locali, ovvero le squadre straniere devono combinare la cultura locale e gli interessi degli utenti per creare sceneggiature che soddisfino i gusti estetici degli utenti locali. Possono catturare accuratamente i punti della trama che rendono "attraenti" le persone locali.

Il problema principale di queste brevi commedie è che richiedono una comprensione e uno studio sufficienti della cultura locale, il ciclo di produzione è lungo e una certa quantità di costi viene spesa per trovare attori locali.

In effetti, il modello iniziale dei cortometraggi all'estero è molto semplice e rozzo. Di solito sottotitolano direttamente i drammi locali cinesi e poi li trasmettono localmente. Per ridurre il senso di dissonanza, alcune squadre straniere utilizzano l'intelligenza artificiale per parlare con gli attori brevi drammi Il modello è stato ottimizzato per farlo sembrare "un attore con una faccia cinese che parla in inglese", ma alcuni spettatori lo trovano ancora rigido, proprio come quando guardiamo film e serie TV europee e americane in Cina. vedere attori europei e americani con gli occhi azzurri e i capelli verdi è come se le persone parlassero cinese con un tono strano, rendendo difficile per il pubblico avere un reale senso di coinvolgimento.

Di conseguenza, alcune squadre straniere utilizzeranno l’intelligenza artificiale per “cambiare i volti” degli attori in brevi rappresentazioni, in modo che possano essere più accettati dalla gente del posto.

Si può vedere che in passato, per realizzare un breve dramma popolare, le squadre d'oltremare escogitavano vari "trucchi" e bruciavano molta CPU del cervello.

Quindi, nell’era dei grandi modelli, esiste un breve prodotto drammatico in grado di rompere le differenze culturali, essere indipendente dalle restrizioni linguistiche e utilizzare l’intelligenza artificiale per risolvere tutti gli aspetti?

È successo lo stesso anno in cui ReelShort è andato per mare, Kunlun Wanwei se ne è accorto.AIGCopportunità sistematiche Analizzando i modelli di successo nell'era di Internet mobile, abbiamo scoperto che la parola d'ordine sta nel modello "gratuito + To C" E se osserviamo le aziende "giganti" che sono ancora vive e vegete, lo scopriremo molti di loro lo faranno. Una certa specie ha raggiunto il massimo. Sulla base di questo giudizio, Fang Han, presidente e amministratore delegato di Kunlun Wanwei, può seguire questa logica per attaccare il mercato AIGC.

Kunlun Wanwei ha pensato a “AI Contenuti generati dall'utente"La strategia inizia con scenari ad alta frequenza sul lato C, come l'esplorazione di ritratti di unicorni in tracce suddivise come articoli online, brevi rappresentazioni, animazioni, musica, ecc. Tra questi, anche le brevi rappresentazioni sono diventate un'opzione importante per Kunlun Wanwei I dirigenti sperano di creare una nuova specie che sovverta il modello originale di produzione dei cortometraggi.

Anche la piattaforma AI per cortometraggi drammatici SkyReels è nata con questa logica. È una piattaforma unica per la creazione di cortometraggi drammatici guidata dall'intelligenza artificiale. Dalla generazione della sceneggiatura, alla generazione dei personaggi, alla fusione delle inquadrature fino alla generazione finale dei cortometraggi, è gestita dall'intelligenza artificiale generato.

Nel complesso, SkyReels funziona come l'agente AI di un regista, trasformando un'idea semplice in una breve commedia.

Agente dall'inizio alla fine

diSoraDopo l'emergere del modello di generazione video AI rappresentato da , molti attori in patria e all'estero hanno successivamente lanciato modelli di generazione video di grandi dimensioni, come Pixverse,Facile e veloce, Zhiying Qingyuan, e ci sono anche numerosi registi emergenti che utilizzano questi grandi modelli per produrre opere cinematografiche e televisive. Sebbene l'utilizzo di questi modelli possa ottenere buoni effetti di generazione video, se si desidera realizzare un film maturo, ci sono ancora alcuni requisiti per le capacità professionali dell'utente. È necessario possedere elevate capacità di sceneggiatura e abilità estetiche artistiche.

Ad esempio, gli utenti devono comporre lo scatto in anticipo, immaginare lo scatto desiderato e quindi utilizzare istruzioni contenenti termini professionaliA metà viaggioDopo aver eseguito il debug di un'immagine soddisfacente sul prodotto, importala nel prodotto di generazione video per apportare regolazioni all'obiettivo e infine esportare il lavoro.

Sebbene questi strumenti abbiano anche accorciato di molto la filiera produttiva delle opere cinematografiche e televisive, essi sono maggiormente orientatiPUGCGruppi e SkyReels hanno una soglia di utilizzo inferiore. L'intero processo operativo è semplice e intelligente. Inserisci un'idea e il resto può essere lasciato all'intelligenza artificiale.In confronto, SkyReels, in quanto prima piattaforma di cortometraggi basata sull'intelligenza artificiale al mondo, è un prodotto UGC con un pubblico più ampio.

(Dimostrazione del prodotto SkyReels)

SkyReels è la prima piattaforma di creazione video al mondo che unisce motori 3D e intelligenza artificiale generativa. Anche il processo di utilizzo è molto semplice. Dopo aver scelto di creare un cortometraggio, inserisci le tue idee creative e scegli lo stile video che desideri, come lo stile anime, il realismo e lo stile Ghibli Aspetta, puoi generare uno script con un clic. Il sistema genererà automaticamente i personaggi in base alle esigenze della sceneggiatura e della storia, quindi l'utente potrà visualizzare la sceneggiatura dello storyboard generata automaticamente, convertirla in un video con un clic e convertire automaticamente il contenuto1080P 60 fotogrammivideo HD;La lunghezza del video può essere generata fino a 180 secondi alla volta, rispetto a Sora, che può generare un video di 60 secondi alla volta, e Keling, che può generare un video di 10 secondi alla volta, un passo avanti significativo.

Nel complesso, la catena di produzione completa di un breve dramma copre la generazione della sceneggiatura, la personalizzazione dei personaggi, la generazione dello storyboard, le riprese degli episodi e la post-produzione, e SkyReels può migliorare l'efficienza di questa catena di produzione con tre modelli di grandi dimensioni sviluppati autonomamente.

Nel processo di sviluppo dei contenuti, il tradizionale metodo di produzione di cortometraggi,Seleziona alcuni capitoli da romanzi online già pronti e poi li adatta secondo le caratteristiche del breve dramma. Lo sceneggiatore deve saper coniugare gli interessi del pubblico e impostare abilmente i punti di svolta della trama, in modo da aumentare. la disponibilità dell'utente a pagare per il capitolo successivo.

SkyReels utilizza modelli di script di grandi dimensioni sviluppati autonomamente in questo collegamentoScrittura del cielo, sostituendo lo sviluppo manuale dei contenuti dei cortometraggi tradizionali. Kunlun Wanwei ha costruito per primo SkyScript-100M, un set di dati strutturati di brevi drammi di alta qualità a 100 milioni di livelli. Questo set di dati contiene annotazioni di alta qualità per il ritmo della trama, punti emozionanti e cambiamenti emotivi di un gran numero di meravigliosi brevi drammi; inoltre, il team dell'algoritmo ha progettato il framework di generazione di script generato progressivamente che consente al modello di produrre script altamente strutturati ed entusiasmanti. Sia gli sceneggiatori principianti che quelli esperti possono creare script di brevi spettacoli attraenti attraverso questo modello.

Dopo aver realizzato una storia commovente, il passo successivo è convertire queste storie in sceneggiature. Nel modello di produzione tradizionale, questo collegamento richiede l'invito degli attori e l'impostazione delle scene offline. Il regista deve comunicare con gli attori sugli elementi essenziali prima delle riprese comporta manodopera e costi fissi. Ma questi possono essere tutti sostituiti da grandi modelli di intelligenza artificiale. SkyReels utilizza Kunlun Wanwei in questo collegamento.Modello di storyboard di grandi dimensioni autosviluppato StoryboardGen,Questo modello esegue l'elaborazione inversa dei dati di animazione cinematografica e televisiva per ottenere un set di dati di storyboard di alta qualità di livello industriale e progetta una struttura multi-agente dello storyboard per ottenere una generazione di scene, inquadrature, personaggi e azioni di alta qualità. In termini di effetti di generazione delle immagini, Kunlun Wanwei utilizza il modello DiT-Moe auto-sviluppato per migliorare la qualità dell'immagine.

Proprio come nel processo formale di ripresa, le riprese devono essere integrate organicamente per ottenere un sistema narrativo completo.SkyReels utilizza WorldEngine, la prima piattaforma innovativa del settore che integra profondamente motori 3D AI e modelli video di grandi dimensioni per ottenere la generazione 3D, la generazione video e la creazione ibrida 3D e video.。

La piattaforma di innovazione WorldEngine è composta da più collegamenti secondari, ognuno dei quali utilizza un modello diverso.

Nel modulo di generazione 3D,Viene utilizzato il modello di grandi dimensioni Sky3DGen sviluppato autonomamente, che può generare una varietà di elementi e scene 3D, dai paesaggi naturali alle città future, dagli oggetti statici ai personaggi dinamici, e fornisce funzionalità di interazione della scena 3D in tempo reale in modo che gli utenti possano visualizzare immediatamente Regola e modifica gli effetti per accelerare il processo creativo. Con il supporto di WorldEngine, gli utenti possono costruire uno studio virtuale 3D per ottenere un'esperienza di ripresa virtuale.

(Generazione intelligente di scene 3D)

Nel modulo di creazione ibrida 3D e video, Kunlun Wanwei utilizza la tecnologia di fusione dei livelli come nucleo per creare un modello di creazione ibrida 3D e video. Qualsiasi elemento nel video può essere scelto liberamente per essere generato utilizzando un motore AI 3D o un modello video di grandi dimensioni. Inoltre, Kunlun Wanwei ha addestrato separatamente il modello di generazione della fusione per i dettagli dell'illuminazione e le differenze di stile incontrate nel missaggio, in modo che la fusione del video dopo lo strato presenti una migliore coerenza.

(Misto per generare video)

Grazie all'utilizzo del motore, WorldEngine ha ottenuto una riduzione dei costi rispetto alla generazione video tradizionale e, allo stesso tempo, anche la velocità di generazione è aumentata di diversi ordini di grandezza.

Sebbene qui sia stato sostanzialmente generato un breve video, le persone che guardano spesso le fiction sentiranno anche che buone abilità di battuta e la presentazione della trama da parte della musica di sottofondo hanno l'effetto di ottenere il doppio del risultato con la metà dello sforzo.

In termini di linee, la tecnologia di comprensione del testo basata sull’intelligenza artificiale di SkyReels, dopo l’apprendimento approfondito di decine di migliaia di romanzi, può identificare automaticamente i dialoghi dei personaggi e le espressioni emotive dal testo e prevedere pause ragionevoli tra le frasi. In termini di narrazione, SkyReels utilizza la tecnologia di sintesi vocale emotiva per aiutare la narrazione a utilizzare ritmi di alti e bassi per rendere il dialogo dei personaggi pieno di ricche emozioni.

Kunlun Wanwei ha rivelato che l'agente intelligente di SkyReels non solo può comprendere il testo, ma anche analizzare in modo intelligente l'atmosfera della scena nella sceneggiatura. "Sulla base delle capacità avanzate di recupero multimodale e di generazione di musica di sottofondo (BGM), possiamo abbinare l'intelligenza video con un sottofondo ragionevole. la musica rende ogni fotogramma perfettamente amalgamato con la musica."

SkyReels, la piattaforma di cortometraggi AI di Kunlun Wanwei, è uno strumento rivoluzionario che dovrebbe portare una crescita esplosiva dei contenuti generati dagli utenti (UGC) e dei contenuti generati dagli utenti professionali (PUGC), iniettando una vitalità senza precedenti nell'ecologia dei contenuti drammatici brevi l'ulteriore rapida crescita della creazione di brevi contenuti drammatici e del mercato di consumo. Sta arrivando un’era di creazione e consumo di brevi drammi guidati dalla tecnologia AI.

Layout globale di Kunlun Wanwei AI UGC

Il rapporto di ricerca di Guohai Securities afferma che si prevede che l’intelligenza artificiale aumenterà la capacità di produzione di brevi sceneggiati e ridurrà i costi. Si prevede prudentemente che lo spazio di mercato per i cortometraggi d'oltremare sia di circa 36 miliardi di dollari.

SkyReels è l’epitome della strategia di layout all’estero di Kunlun Wanwei, dietro la quale c’è il loro pensiero strategico All in AIGC.

Nel 2020, il fondatore di Kunlun Wanwei, Zhou Yahui, ha visto il potenziale dell'AIGC e ha predetto che il sistema di intelligenza artificiale avrebbe inaugurato un'epoca d'oro di nuovi contenuti.

Fang Han, presidente e amministratore delegato di Kunlun Wanwei, ha esaminato le opportunità nell'era di Internet mobile, ha riassunto le regole dei prodotti di contenuto più diffusi e ha scoperto che la maggior parte di essi è un modello "gratuito + fino a C", perché la base del gruppo è abbastanza ampia, purché il prodotto può colpire gli utenti Identificando i punti di domanda, possiamo ottenere una crescita esponenziale degli utenti. Costruire una piattaforma "AI UGC" è diventata la strategia principale di Kunlun Worldwide, che consiste nel fornire servizi all'1% dei creatori di contenuti e consentire al 99% degli utenti di farlo. consumare contenuti.

Allora, quali sono le immagini dei prodotti diventati popolari nell’era dell’AIGC?

Fang Han ritiene che quando nasceranno nuovi hardware lato terminale e nuovi telefoni cellulari adattati all'intelligenza artificiale, l'AIGC potrebbe ottenere risultati dirompenti, ma questo processo richiederà ancora dai 3 ai 5 anni e l'attuale compito principale è identificare le opportunità. Fare previsioni e approfitta dell'AIGC.

Secondo le regole dell'era di Internet mobile, ogni paese può avere la propria super App, oppure una super App può dividere il territorio in più paesi contemporaneamente. Dopo aver riflettuto un po', Fang Han credeva che avrebbe dovuto occupare prima i paesi con prestazioni e accettazione ad alto costo per l'utente, come Europa, Stati Uniti, Giappone, Corea del Sud e Cina, e poi diffondersi gradualmente in Medio Oriente, Sud-Est asiatico, Sud America e altre regioni.

Dopo aver delineato i paesi, il management di Kunlun Wanwei ha iniziato a pensare a categorie verticali che potessero dare vita a super app. Continuavano a chiedersi: "Come possiamo diventare un gigante?" I giganti dei contenuti che sono ancora vivi nell'era precedente sono fondamentalmente profondi coinvolti in un determinato settore dell'intrattenimento verticale, come articoli online, brevi rappresentazioni e animazioni, la stessa logica verrà ripetuta su AIGC.

Allo stato attuale, Kunlun Wanwei ha effettuato un layout sistematico in Cina in risposta alla strategia "AI UGC" e ha costruito una matrice di prodotti in modelli di grandi dimensioni, ricerca AI, musica AI e altri settori.

Tra questi, il grande modello di Kunlun Wanwei ha attraversato molte iterazioni:

Nuova versione lanciata a febbraioMinistero dell'IstruzioneIl grande modello linguistico "Tiangong 2.0" e la nuova versione dell'APP "Tiangong AI Intelligent Assistant";

Ad aprile, il modello base "Tiangong 3.0" e il modello musicale "Tiangong SkyMusic" sono stati ufficialmente lanciati per i test pubblici;

A giugno, Kunlun Wanwei ha reso open source il modello Skywork-MoE di grandi dimensioni da 200 miliardi, che fa parte di "Tiangong 3.0".IA apertaAffermando di bloccare il traffico API da paesi e regioni non supportati, Tiangong Open Platform ha lanciato un "piano di trasferimento con un clic" per gli utenti API OpenAl e ha fornito risorse per chiamate API di 150 milioni di token, inclusi Tiangong 2.0 e Tiangong 3.0 Model.

Durante l'iterazione di modelli di grandi dimensioni, anche la ricerca AI è diventata l'obiettivo principale di Fang Han. Kunlun Wanwei ha predisposto la ricerca AI un anno prima di SearchGPT di OpenAI e quest'anno ha aggiornato il prodotto di ricerca per supportare la ricerca di testi, immagini, video, ecc. nella sezione degli utenti. può presentare risultati sotto forma di mappe mentali, tabelle, contorni, ecc. e può salvare contorni e mappe mentali per generare direttamente PPT.

Oltre al livello di prodotto, Kunlun Wanweiya ha collaborato con università internazionali per sviluppare il toolkit di ricerca e sviluppo per agenti digitali open source AgentStudio per fornire a ricercatori e sviluppatori una piattaforma completa che copra l'intero processo di sviluppo degli agenti.

Che sia nazionale o estero, ogni sistema linguistico ha bisogno del proprio set di prodotti. Kunlun Wanwei ritiene che il periodo del dividendo globale della piattaforma AIGC stia per arrivare.