Kunlun Wanwei lanseeraa maailman ensimmäisen AI-lyhytdraamaalustan SkyReelsin
2024-08-19
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Kunlun Wanwei julkaisi 19. elokuuta SkyReelsin, maailman ensimmäisen AI-lyhytdraamaalustan, joka yhdistää suuret videomallit ja 3D-suuret mallit. SkyReels-alusta integroi käsikirjoituksen luomisen, hahmojen mukauttamisen, kuvakäsikirjoitukset, juonen, dialogin/BGM- ja videosynteesin, jolloin tekijät voivat "tehdä draaman yhdellä napsautuksella" ja tuottaa helposti korkealaatuisia tekoälyvideoita.
Fantasiafilmejä, koskettavaa sadomasokismia, hauskoja komedioita... Syötä vain yksinkertainen idea ja SkyReels voi suorittaa koko tuotantoprosessin käsikirjoituksesta valmiiseen lyhytnäytelmään.
SkyReels-alusta integroi Kunlun Wanwein itse kehittämän käsikirjoituksen suuren mallin SkyScriptin, itse kehitetyn kuvakäsikirjoituksen suuren mallin StoryboardGenin, itse kehitetyn 3D:n luoman suuren mallin Sky3DGenin ja alan ensimmäisen innovatiivisen alustan WorldEngine, joka integroi syvästi tekoälyn 3D-moottorit ja suuret videomallit.
SkyReels on edellä suuria malleja, kuten GPT-4o, käsikirjoituksen laadun, kuvakäsikirjoituksen laadun, hahmojen suorituskyvyn ja muiden ulottuvuuksien laadun arvioinnissa.
SkyReels voi luoda täydellisiä käsikirjoituksia, kuvakäsikirjoituksia, hahmodialogeja ja taustamusiikkia yhdellä napsautuksella tekoälyn kautta. Se tukee hahmojen kuvien, äänien ja kuvakäsikirjoituksen mukautettuja säätöjä ja voi muuntaa sisällön automaattisesti 1080P 60-kehyksen teräväpiirtovideoiksi ja luoda. videot kerralla Pituus saavuttaa 180 sekuntia, mikä on merkittävä läpimurto verrattuna Soraan, joka voi tuottaa 60 sekunnin videon kerralla, ja Kelingiin, joka voi tuottaa 10 sekunnin videon kerralla. Integroi kaikki luovat tulokset yhdellä napsautuksella, mikä parantaa huomattavasti videoiden luomisen tehokkuutta, alentaa luomiskustannuksia ja nopeuttaa "yksi henkilö, yksi draama" aikakautta.
Samaan aikaan WorldEngine yhdistää moottorin tarkan ohjattavuuden (kuten valaistussimulaatio, fyysinen simulaatio, 3D-avaruus, reaaliaikainen vuorovaikutus jne.) AI-videosuurten mallien fantasiatuotantokykyyn, mikä tarjoaa uuden online-hybridivideon. luontitila, joka mahdollistaa videoiden luomisen. Siirtyminen sumeasta sukupolvesta tarkempaan ja hallittavampaan.
SkyReelsin kohokohdat ovat seuraavat:
Täysin automatisoitu skriptien luominen: Käyttäjät syöttävät käsitteitä tai ideoita, ja tekoäly luo skriptin, jossa on täydellinen rakenne ja monipuoliset juonet yhdellä napsautuksella. Se tukee olemassa olevien komentosarjojen automaattista järjestämistä ja hiomista luovan tehokkuuden parantamiseksi.
Laadukas juonisuunnittelu: Järjestelmä luo korkealaatuisia juonilinjoja, dramaattisia konflikteja, jännittäviä kohtia ja tunneilmaisuja analysoimalla suuren määrän käsikirjoitusjuttuja varmistaakseen käsikirjoituksen rikkauden ja houkuttelevuuden.
Älykäs kuvakäsikirjoituksen luominen: Käsikirjoituksen sisällön perusteella kuvakäsikirjoituksen kuvat ja vastaavat tekstiskriptit luodaan yhdellä napsautuksella. Käyttäjät voivat myös vapaasti säätää parametreja, kuten kuvakäsikirjoituksia, kamerakulmia ja kameran liikemenetelmiä varmistaakseen luovuuden tarkan toteuttamisen.
Emotionaalinen dialogi/BGM: Emotionaalisen puhesynteesitekniikan avulla hahmoille annetaan luonnollisia lauseiden välisiä taukoja, tunneilmaisuja ja kadenssia, ja tekoälyn taustamusiikki luodaan automaattisesti videosisällön perusteella kuvan ja musiikin täydelliseksi integroimiseksi.
Henkilökohtainen räätälöinti: tukee hahmokuvien, sointisävyjen ja kuvakäsikirjoituksen älykästä luomista ja mukauttamista vastaamaan tekijöiden yksilöllisiin tarpeisiin ja tarjoaa erilaisia visuaalisia tyylivaihtoehtoja, kuten animaatioita, sarjakuvia ja live-action 3D:tä mukautumaan mieltymyksiin ja eri tekijöiden mieltymykset Sisältö ilmaisee tarpeet.
Sisällön johdonmukaisuus ja tarkkuus: Varmista, että hahmot ja kohtaukset ovat johdonmukaisia eri kuvakäsikirjoituksissa, ja päättele automaattisesti hahmojen esitykset tarinan kuvausten perusteella, jotta hahmojen ilmaisut, toiminnot ja linjat sovitetaan yhteen tarinan ilmaisun parantamiseksi.
Tehokas videoiden luominen: Muunna kuvakäsikirjoitukset automaattisesti jatkuviksi teräväpiirtovideoiksi, mikä tarjoaa 1080P 60-kehyksen ulostulon tasaisen katselukokemuksen varmistamiseksi.
Kätevä jälkituotannon synteesi: Integroi kaikki luovat tulokset yhdellä napsautuksella ja voit nopeasti viedä ja jakaa. Se tukee lataamista useissa muodoissa jälkimuokkauksen helpottamiseksi.
SkyReelsin tekoälykomentosarjan luontitoiminto perustuu Kunlun Wanwein itse kehittämään suureen skriptimalliin SkyScript. Jotta tekoälyn luomilla skripteillä olisi tiheä ja jännittävä lyhytdraamajuoni, Kunlun Wanwei rakensi ensin miljarditason korkealaatuisen lyhytdraaman strukturoidun tietojoukon SkyScript-100M Massiivisten lyhyiden draamien kohdat ja tunnemuutokset on merkitty laadukkaasti.
Toiseksi, algoritmiryhmä suunnitteli asteittain luodun käsikirjoituksen luontikehyksen, jonka avulla malli voi tuottaa erittäin jäsenneltyjä ja jännittäviä käsikirjoituksia sekä aloittelevat kirjoittajat että kokeneet näytelmäkirjailijat voivat käyttää sitä luovuuden stimuloimiseen ja kiinnostavien lyhyiden skriptien luomiseen.
Toinen tärkeä askel lyhyiden draamien luomisessa - kuvakäsikirjoituksen sukupolvi, Kunlun Wanwein itse kehittämä kuvakäsikirjoituksen sukupolven suuri malli StoryboardGen tarjoaa taustalla olevan teknologian. StoryboardGen on Kunlun Wanwein ensimmäinen kuvakäsikirjoituksen sukupolvimalli, joka perustuu DiT-MoE-arkkitehtuuriin (Mixed-of-Experts -hybridiasiantuntijaarkkitehtuuri, joka perustuu Diffusion Transformer -tekniikkaan. Se voi tuottaa tiheitä kuvakäsikirjoituksen tietoja ja parantaa huomattavasti visuaalisen kerronnan ilmaisukykyä).
Käsikirjoituksen syöttämisen jälkeen StoryboardGen-malli jakaa käsikirjoituksen kahteen osaan: yleiseen osaan ja pääosaan. Yleinen osa sisältää kuvakäsikirjoituksen yleiskuvauksen, kuten kohtaukset, kohtaukset, sävellykset jne. Pääosa sisältää mukautuksen. hahmokuvista ja toimintahahmoista, jotka lopulta kerätään Storyboard-agentiksi, luovat kokonaisia kuvakäsikirjoituksia. StoryboardGenin erikoistunut moniagenttiarkkitehtuuri voi tehokkaasti varmistaa hahmojen ja kohtausten hallittavuuden ja johdonmukaisuuden sekä luoda korkealaatuisia teollisuustason kuvakäsikirjoituksia.
Kunlun Wanwei StoryboardGen suuren kuvakäsikirjoituksen mallin tekninen kaavio
Viimeisessä kuvien luontiprosessissa WorldEngine on alan ensimmäinen innovatiivinen alusta, joka integroi syvästi AI 3D -moottorin ja suuret videomallit. Tämä on käänteentekevä teknologinen innovaatio WorldEngine käyttää kerrosfuusioteknologiaa siltana luodakseen ennennäkemättömän 3D:n ja videon luontitilan.
Kun käyttäjät käyttävät SkyReelsiä tekoälyvideoiden luomiseen, he voivat vapaasti valita 3D-AI-moottorin tai videon suuren mallin sukupolven minkä tahansa elementin kohdalla Nykyiset AI-video suuret mallit Antifyysisen lain ilmiö saavuttaa täydellisen fyysisen simulaation tarkkuuden ja suurien videomallien fantasialuovuuden. Siitä lähtien AI-videosukupolven suuret mallit ovat siirtymässä "sumean ohjauksen" aikakaudesta "tarkan ohjattavuuden" aikakauteen.
3D AI -moottorin osalta Kunlun Wanwein itse kehittämä Sky3DGen-suuri malli voi luoda erilaisia 3D-elementtejä ja -kohtauksia luonnonmaisemista tulevaisuuden kaupunkeihin, staattisista kohteista dynaamisiin hahmoihin ja tarjoaa reaaliaikaisia 3D-kohtausten vuorovaikutusominaisuuksia, jolloin käyttäjät voivat näet heti säätöjen ja muokkausten vaikutukset, mikä nopeuttaa luovaa prosessia. WorldEnginen tuella käyttäjät voivat myös helposti rakentaa 3D-virtuaalistudion saavuttaakseen unenomaisen virtuaalikuvauksen.
Hahmoesitys on yksi keskeisistä linkeistä lyhytnäytelmien esittämisessä. Siksi Kunlun SkyReels -tiimi on kehittänyt tekoälyhahmojen suorituskyvyn kannalta erityisesti ActorShow-hahmojen sukupolvimallin, jotta SkyReelsin luomilla tekoälyhahmoilla on vahvemmat hallittavat suunilmaisujen ja kehon liikkeiden generointimahdollisuudet ja hahmojen esitys on luonnollisempaa. .
Vastauksena valoeroihin, tyylieroihin ja muihin videoiden synteesin jälkeisiin tarpeisiin Kunlun SkyReels -tiimi koulutti erikseen erityisen fuusiosukupolvimallin, jotta video kerrosfuusiossa on hyvä yhtenäisyys.
Kunlun Wanwei AI -lyhytdraaman alustan SkyReels lanseeraus merkitsee teknologista harppausta globaalissa tekoälyn lyhytdraaman luomisessa. Se kumoaa videosisällön luomisprosessin, vapauttaa sisällöntuottajat työlästä ja monimutkaisesta tuotantoprosessista ja keskittyy luovaan toteutukseen ja inspiroivaan ilmaisuun. unelma "yhdestä henkilöstä, yhdestä draamasta" on totta.
SkyReels AI-lyhytdraama-alusta ei ainoastaan tarjoa tehokkaita luovia työkaluja ammattimaisille sisällöntuottajille, vaan myös alentaa huomattavasti kynnystä tekoälyn lyhytdraaman luomiselle, mikä tekee ei-ammattimaisten käyttäjien helppoa aloittaa. Tämän vallankumouksellisen työkalun odotetaan saavan aikaan räjähdysmäisen kasvun tekoälyn lyhytdraaman käyttäjien luoman sisällön (UGC) ja ammattikäyttäjien luoman sisällön (PUGC) osalta, tuovan ennennäkemätöntä elinvoimaa lyhytdraaman sisällön ekosysteemiin ja edistävän lyhytdraaman kehitystä. sisällöntuotanto- ja kulutusmarkkinat kasvavat edelleen nopeasti. Tekoälytekniikan ohjaama lyhyt draama luomisen ja kulutuksen aikakausi on tulossa.
Kunlun Technology on aina ollut sitoutunut tarjoamaan älykkäämpiä, tehokkaampia ja yksilöllisempiä työkaluja maailmanlaajuisille sisällöntuottajille edistyneen AIGC-teknologian avulla. "All in AGI and AIGC" -strategian ohjaama Kunlun Technology on aina ollut sitoutunut "yleisen tekoälyn toteuttamiseen ja antaa kaikille mahdollisuuden muotoilla ja ilmaista itseään paremmin". Tulevaisuudessa Kunlun Wanwei jatkaa innovointia ja tarjoaa käyttäjille korkealaatuisia AIGC-tuotteita ja -palveluita tutkimalla syvällisesti globaaleja markkinoita.
kääntää
haku
kopioida
