berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Mesin Jantung Asli

Penulis: Wu Xin

Pada 19 Agustus, Kunlun Wanwei merilis SkyReels, platform drama pendek AI pertama di dunia yang mengintegrasikan model video besar dan model besar 3D. Platform SkyReels mengintegrasikan pembuatan skrip, penyesuaian karakter, papan cerita, plot, dialog/BGM, dan sintesis video, memungkinkan pembuat drama membuat drama dengan satu klik dan dengan mudah menghasilkan video AI berkualitas tinggi. Ini adalah permainan singkat 2 setengah menit.

Tautan video: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

“Kita harus melepaskan pemikiran kita yang kaku dan resisten serta merangkul era informasi yang terfragmentasi ini.” keluaran global.

Dengan episode tunggal yang berdurasi dari beberapa menit hingga lebih dari sepuluh menit, hiburan yang kuat, dan alur cerita yang bergerak cepat, pengguna sering kali "menikmatinya". Hanya dalam tiga tahun (pada tahun 2023), pasar drama pendek Tiongkok telah mencapai tingkat film teater tahunan. 70% dari box office.

Pada saat yang sama, sejumlah besar aplikasi drama pendek independen telah diluncurkan secara global. Perangkat lunak drama pendek online Tiongkok ReelShort telah berkinerja baik di peringkat iOS AS, bahkan melampaui TikTok, yang telah lama mendominasi peringkat tersebut, dan mencapai terobosan.

Drama pendek telah menjadi salah satu bidang film dan televisi dengan pertumbuhan tercepat dalam beberapa tahun terakhir, dan juga menjadi ajang uji coba teknologi baru. "Terjemahan sekali klik" dan "pengubahan wajah AI" adalah hal biasa. Banyak perusahaan penulisan online juga telah merilis model pembuatan konten besar yang dapat membantu penulis dalam menulis. Dengan bantuan kemampuan AI pembuatan video model besar, waktu produksi drama pendek yang biasanya memakan waktu tiga bulan kini hanya membutuhkan waktu setengah bulan.

Klip video pendek yang dibuat oleh AI dapat ditonton jutaan kali setelah dirilis, namun produksi drama pendek AI dengan proses penuh masih menghadapi banyak tantangan. Kreator perlu berkali-kali “melompat” di antara beberapa alat AI seperti ChatGPT, Midjourney, Runway, Eleven Labs, ComfyUi, Adobe, dan Cutting, namun hasil karyanya masih kurang memuaskan.

Dengan latar belakang ini, Kunlun Wanwei, sebuah perusahaan teknologi kecerdasan buatan asal Tiongkok yang memiliki pengalaman lebih dari sepuluh tahun di luar negeri, meluncurkan platform drama pendek AI pertama di dunia, SkyReels, sebuah platform drama pendek AI yang mengintegrasikan model besar video dan model besar 3D. Hal ini bukan hanya keberhasilan penerapan model skala besar dalam negeri di bidang drama pendek, tetapi juga menandai dimulainya era "drama satu klik" dan "drama satu orang".

Pada saat yang sama, alat revolusioner ini diharapkan dapat menghasilkan pertumbuhan eksplosif pada konten buatan pengguna (UGC) drama pendek AI dan konten buatan pengguna (PUGC) profesional, serta mendorong pertumbuhan pesat lebih lanjut dalam pembuatan konten drama pendek dan pasar konsumsi.

1. Kenali SkyReels – platform drama pendek AI pertama di dunia

Demo Pengoperasian Produk SkyReels

Tautan video: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Saat saya membuka halaman web SkyReels, saya langsung merasakan bahwa desain "AI Short Drama" sangat berbeda dengan platform "AI Creative" lainnya.

Keduanya digerakkan oleh AI, tetapi platform "AI Creative" berfokus pada pembuatan gambar dan video, sementara SkyReels mengintegrasikan pembuatan skrip, penyesuaian karakter, desain storyboard, perekaman dan sintesis video, yang sepenuhnya mereplikasi proses industrialisasi drama pendek.

SkyReels mengintegrasikan kreativitas cerita, pembuatan naskah, penyesuaian karakter, desain papan cerita, pengambilan gambar dan sintesis video, sepenuhnya mereplikasi proses industrialisasi drama pendek.

Yang terpenting punya ide bagus dan mengubahnya menjadi naskah yang keren.

Meskipun pembuatan teks adalah zona nyaman model bahasa besar LLM, perbedaan antara SkyReels adalah model besar yang bertanggung jawab atas pembuatan teks telah menerima pelatihan profesional dan mengetahui cara menulis skrip yang "keren" dan berbasis aliran.

Cukup masukkan konsep atau ide cerita dan klik "Jenis Pembuatan", seperti drama emosional, dan sistem akan secara otomatis menghasilkan naskah yang memenuhi persyaratan, dengan struktur lengkap dan plot yang kaya.

Pengguna juga dapat mengunggah skrip yang sudah jadi dan membiarkan AI membantu memoles dan mengoptimalkannya agar lebih profesional dan mudah dibaca.

Sistem akan secara otomatis menghasilkan skrip yang memenuhi persyaratan berdasarkan petunjuk kreatif, dan juga akan merangkum biografi karakter yang terlibat untuk mempersiapkan desain karakter selanjutnya.

Setelah naskah siap, langkah selanjutnya adalah “menemukan aktor”. Di SkyReels, langkah ini disebut desain karakter.

Biasanya, pertama-tama kita membiarkan LLM menulis teks desain, lalu melemparkannya ke alat grafis seperti Midjourney untuk menghasilkan gambar karakter. Untuk menambahkan sulih suara ke karakter, alat audio seperti Elevenlabs terus digunakan.

Sekarang, cukup masuk ke halaman dan masukkan persyaratan yang sesuai (termasuk sulih suara karakter), dan Anda dapat "menghasilkan" karakter dengan satu klik, yang sangat meningkatkan efisiensi produksi.

Cukup masuk ke halaman dan masukkan persyaratan yang sesuai (termasuk dubbing karakter), dan karakter dapat dibuat dengan satu klik.

Sebelum syuting dimulai, selain mencari aktor, sutradara juga perlu membuat storyboard.Yang disebut storyboard pada dasarnya memecah keseluruhan cerita menjadi serangkaian gambar yang berurutan, setiap gambar mewakili adegan atau tindakan tertentu.

Papan cerita dari "Spirited Away" Studio Ghibli.

Sangat merepotkan bagi seorang sutradara yang tidak memiliki latar belakang seni untuk menyelesaikan desain storyboard dengan bantuan seorang pelukis. Sekarang, mereka dapat membiarkan LLM membuat naskah teks pengambilan gambar, dan kemudian menggunakan alat seperti Midjourney untuk menggambar storyboard.

Namun, kelemahan metode ini juga terlihat jelas. Sulitnya memastikan konsistensi karakter dan adegan. Misalnya, dalam mini-seri AI proses penuh "Nuwa" yang diluncurkan di saluran AI CCTV, Nuwa terlihat berbeda setiap kali dia muncul, seolah-olah ada beberapa Nuwa.

Di SkyReels, AI akan menghasilkan gambar storyboard dan skrip teks terkait dengan satu klik berdasarkan konten skrip. Jika kurang puas, Anda juga dapat mengatur efek storyboard dengan memodifikasi teks (seperti adegan atau aksi karakter).

Lebih penting lagi, dengan dukungan teknologi yang dikembangkan sendiri, gambar storyboard tidak hanya berdefinisi tinggi dan kaya akan detail, tetapi karakter dan adegan dapat menjaga konsistensi dan kontinuitas di storyboard yang berbeda.

AI akan menghasilkan gambar storyboard dan skrip teks terkait dengan satu klik berdasarkan konten skrip.

Setelah storyboard dirancang dan para aktor sudah siap, saatnya memasuki tahap “pemotretan sebenarnya”.Saat ini, hambatan terbesar dalam pengembangan film dan televisi AI juga terjadi, karena terlalu sedikit “kamera” bagus yang dapat digunakan.

Pendekatan yang umum adalah menggunakan Pika dan Runway untuk menghasilkan efek dinamis, namun ada banyak kelemahan. Misalnya kualitas gambar yang buruk, gerakan karakter yang kecil atau bahkan tidak masuk akal (masalah makan mie), dan adegan yang rawan inkonsistensi. Terkadang kendaraan bergerak tetapi roda tidak berputar, dan percikan air tidak bergerak permukaan air yang bergerak selama aliran air. Bentuk mulut karakter tidak cocok saat berbicara, dan ekspresi mereka kaku.

Melalui kombinasi mesin AI 3D dan model video besar, SkyReels dapat secara otomatis mengubah storyboard menjadi video berkelanjutan, membuat adegan dan karakter yang dihasilkan lebih jelas dan konsisten. SkyReels juga mendukung output video 1080P 60-frame, memastikan pengalaman menonton drama.

Selain itu, durasi video yang dapat dihasilkan dalam satu waktu mencapai 180 detik, yang merupakan terobosan signifikan dibandingkan Sora yang dapat menghasilkan video berdurasi 60 detik sekaligus, dan Keling yang dapat menghasilkan video berdurasi 10 detik. video sekaligus.

SkyReels dapat secara otomatis mengubah storyboard menjadi video berkelanjutan.

Terakhir, semua hasil proses dapat diintegrasikan dengan satu klik untuk menghasilkan pemutaran pendek akhir dengan cepat. AI juga akan menghasilkan dan merekomendasikan musik latar dan efek suara yang sesuai berdasarkan tema skrip dan adegan tertentu, dan pengguna dapat menambahkannya hanya dengan satu klik.

Musik latar dan efek suara juga dapat ditambahkan dengan satu klik.

Ini mendukung ekspor sekali klik ke dalam video dan dapat dipublikasikan ke platform media sosial seperti Douyin dengan satu klik.

Mendukung berbagi desain karakter dengan satu klik.

2. Di balik "drama sekali klik", ada tiga lapisan inovasi teknologi

Tiga lapisan inovasi teknologi, seperti tiga pilar, mendukung “drama satu klik” SkyReels:

Skrip model besar SkyScript yang dikembangkan sendiri, model besar storyboard StoryboardGen yang dikembangkan sendiri, dan platform inovatif pertama di industri WorldEngine yang secara mendalam mengintegrasikan mesin AI 3D dan model video besar.

SkyScript, model naskah besar, bertanggung jawab untuk menguasai "jiwa" dari drama pendek - naskah.Faktanya, tidak hanya naskah, model teks juga mendukung keseluruhan proses kreatif.

Beberapa penulis drama mikro-pendek telah mencoba menggunakan ChatGPT untuk menghasilkan skrip, tetapi menemukan bahwa hasil akhirnya tidak memiliki ketegangan emosional dan perubahan plot, dan hanya berupa tumpukan teks datar. Kunlun Wanwei telah membuat SkyScript-100M, kumpulan data terstruktur drama pendek berkualitas tinggi dengan tingkat 100 juta. Kumpulan data ini memiliki anotasi berkualitas tinggi untuk ritme plot, poin menarik, dan perubahan emosional dari sejumlah besar drama pendek yang indah. , dan dirancang khusus untuk pembuatan skrip.

Skrip SkyScript diagram skema teknis model besar

Prinsip pembuatan skrip storyboard model besar skrip SkyScript.

Misalnya, selain mempelajari prinsip-prinsip dasar dan pola-pola umum penciptaan dari data yang sangat besar, jika Anda ingin menjadi sukses, Anda juga perlu memikirkan beberapa "rutinitas" yang terbukti benar. Penonton sering kali memiliki preferensi yang jelas terhadap desain plot dengan tempo yang cepat, konflik yang kuat, ketegangan yang berulang, dan berbagai tema yang terbalik seperti serangan balik untuk mengubah nasib, istri yang mendominasi, perkelahian keluarga kaya, perjalanan waktu dan kelahiran kembali, vampir, manusia serigala, dll. juga merupakan tema yang tidak pernah bosan.

Drama pendek populer ReelShort "The Double Life of My Billionaire Husband" adalah tentang pernikahan terlebih dahulu dan kemudian cinta. Episode tunggal ini berdurasi sekitar 1 menit 30 detik. Pada sekitar episode ke-12, protagonis pria dan wanita dengan cepat menyelesaikan pemanasan hubungan muncul di persimpangan plot intensif, dan tertutup Ini berisi plot seperti peran pendukung wanita yang kejam, pernikahan kontrak, pahlawan yang menyelamatkan kecantikan, dan perebutan properti. Laporan mendalam tentang perluasan drama pendek Tiongkok ke luar negeri dari Guohai Securities.

Dengan secara hati-hati memberi anotasi pada "poin keren" dalam cerita yang membangkitkan minat kuat penonton, seperti penampilan protagonis, komposisi pengambilan gambar, dan emosi yang diungkapkan oleh karakter, SkyScript belajar memperhatikan dan menghasilkannya. detail.

Dalam hal arsitektur model, untuk memastikan profesionalisme dan pengendalian konten yang dihasilkan, SkyScript juga mengadopsi kerangka kerja multi-agen. Melalui kolaborasi "orang-orang kreatif", "sutradara casting", "penulis skenario", "penulis novel", "sutradara" dan agen cerdas lainnya, proses produksi industri ditiru untuk menyelesaikan pembuatan naskah.

Penilaian kualitas skrip model besar SkyScript.

Pada analisa akhir, lakon pendek merupakan penyajian bahasa visual. Oleh karena itu, dua lapisan inovasi lainnya - StoryboardGen dan WorldEngine - fokus pada "darah dan daging" dari lakon pendek tersebut, yaitu pengambilan gambar.

Seperti SkyScript, StoryboardGen, model storyboard berskala besar yang dikembangkan sendiri, juga telah dilatih dengan contoh storyboard profesional berkualitas tinggi di dunia nyata. Model ini dirancang khusus untuk desain storyboard dan jauh dari model pembuatan gambar tujuan umum .

Demikian pula, berdasarkan kerangka multi-agen, berbagai elemen storyboard (adegan, pengambilan gambar, karakter, aksi, dll.) didekomposisi menjadi beberapa agen untuk diproses, yang sangat meningkatkan pengendalian dan konsistensi dalam proses produksi storyboard.

Diagram skema teknis StoryboardGen, model storyboard besar. Mirip dengan pembuatan film dan produksi animasi, StoryboardGen berdasarkan kerangka multi-agen menguraikan keseluruhan proses menjadi beberapa agen, masing-masing agen bertanggung jawab atas kemampuan tertentu, meningkatkan pengendalian dan konsistensi dalam proses produksi storyboard.

Misalkan ada naskah yang menggambarkan suatu adegan, misalnya seseorang sedang berjalan di taman.

Perencana LLM pertama-tama akan membagi skrip menjadi dua bagian.

Diantaranya, deskripsi global (global prompt): "Seseorang sedang berjalan di taman yang cerah";

Deskripsi lokal (perintah lokal): "Orang ini adalah pria paruh baya, mengenakan pakaian kasual, memegang cangkir kopi di tangannya, dan berjalan dengan santai."

Dalam proses pembangkitan, agen yang berbeda menjalankan tugasnya masing-masing. Misalnya, agen adegan menghasilkan latar belakang dan tata letak taman berdasarkan deskripsi global; agen karakter menghasilkan gambar dan tindakan karakter laki-laki berdasarkan deskripsi lokal.

Terakhir, agen Storyboard mengintegrasikan konten yang dihasilkan ini dan menghasilkan storyboard akhir berdasarkan semua informasi deskripsi dan kondisi.

Status penilaian kualitas StoryboardGen model storyboard besar.

Selain kemampuan kontrol dan konsistensi, untuk membuat gambar storyboard lebih ekspresif, StoryboardGen juga telah meningkatkan kompleksitas dan akurasi detail gambar secara signifikan.

Misalnya, StoryboardGen menggunakan kerangka generasi progresif berdasarkan DiT untuk membuat gambar akhir melalui berbagai modifikasi dan peningkatan. Dibandingkan dengan model pembuatan satu kali tradisional, kerangka kerja ini dapat memanfaatkan sepenuhnya informasi yang dihasilkan dalam proses perantara untuk menghasilkan storyboard dengan kualitas lebih tinggi dan efek visual yang lebih kaya.

Inovasi teknologi lapisan ketiga adalah platform inovatif World Engine, yang merupakan yang pertama di industri yang menghubungkan teknologi generasi 3D dan teknologi pembuatan video secara mulus melalui fusi lapisan dan metode lainnya, yang setara dengan menyediakan "kamera" yang kuat kepada para pembuat konten ” atau bahkan "studio".

WorldEngine menggabungkanPengendalian mesin yang tepat (seperti simulasi pencahayaan, simulasi fisik, ruang 3D, interaksi waktu nyata, dll.) dan kemampuan menghasilkan fantasi model besar video AI, menyediakan mode pembuatan video hybrid online baru, memungkinkan pembuatan video berpindah dari generasi fuzzy ke generasi yang lebih presisi dan terkendali.

Misalkan Anda membuat adegan di mana Pikachu sedang bersenang-senang di bawah air mancur. Anda dapat membiarkan Sky3DGen membuat pemandangan air mancur yang akurat; pada saat yang sama, biarkan model video menghasilkan Pikachu yang realistis.

Casing video yang dihasilkan secara hibrid

Tautan video: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Kita tahu bahwa model video besar seperti Sora dapat dengan mudah menghasilkan efek yang hampir realistis yang tidak tertandingi oleh mesin game dan penuh imajinasi, namun mereka tidak memahami dunia fisik dan tidak dapat secara akurat mensimulasikan beberapa interaksi fisik paling dasar, seperti kaca. melanggar dan makan.

Keuntungan mesin permainan terletak pada simulasi akurat hukum fisika kehidupan nyata. Melalui model matematika yang kompleks, hal ini dapat menciptakan lingkungan virtual yang koheren dalam ruang dan waktu serta sesuai dengan hukum objektif. Hal ini tidak hanya memastikan konsistensi dan prediktabilitas hasil rendering, tetapi juga menunjukkan pemahaman mendalam tentang ruang tiga dimensi.

Sebagai salah satu perusahaan pengembangan dan pengoperasian game terbesar di Tiongkok, tidak mengherankan jika Kunlun Wanwei telah mengembangkan model besar Sky3DGen miliknya sendiri dan "melengkapi keunggulannya" dengan model video besar, sehingga memberikan model kreasi hybrid baru kepada para pembuatnya.

Di SkyReels, Anda dapat mengubah berbagai adegan dan bentuk 3D, dan bahkan penampilan karakter.

Casing pembuatan video prop 3D

Tautan video: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Kasus pembuatan video adegan 3D

Tautan video: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Performa karakter adalah salah satu elemen inti dari drama pendek. Kunlun Wanwei telah secara mandiri mengembangkan model pembuatan performa karakter ActorShow, yang memiliki kemampuan pembangkitan ekspresi mulut dan gerakan tubuh yang lebih terkontrol.

Tautan video: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Penilaian kualitas model pembangkitan kinerja karakter.

Selama proses pembuatan, pengguna juga dapat dengan bebas menentukan studio pengambilan gambar virtual 3D.

Ingin mengambil gambar cerita di gurun hari ini? Dengan beberapa klik, seluruh pemandangan berubah menjadi gurun yang luas. Apakah Anda akan syuting di stasiun luar angkasa besok? Dengan beberapa klik lagi, lingkungan sekitar berubah menjadi interior stasiun luar angkasa berteknologi tinggi.

Anda bahkan dapat menempatkan dan memindahkan kamera virtual di studio virtual untuk mencoba berbagai sudut pengambilan gambar. Sesuaikan cahaya dan tambahkan efek khusus untuk mendapatkan efek pemotretan yang sangat profesional.

Karena penggunaan mesin tersebut, WorldEngine telah mencapai pengurangan biaya yang revolusioner dibandingkan dengan pembuatan video tradisional, dan pada saat yang sama, kecepatan pembuatan dan kemampuan pengendalian telah ditingkatkan beberapa kali lipat.

3. Bertaruh pada AI UGC lalu pergi ke meja poker

SkyReels, platform drama pendek AI, adalah anggota terbaru dari matriks produk lapisan aplikasi AI Kunlun Wanwei.

Sebelumnya, mereka telah berhasil membangun beragam produk termasuk pencarian AI, musik AI, video AI, jejaring sosial AI, game AI, dll., dan beberapa bisnis mereka telah dikomersialkan.

Sebagai salah satu perusahaan Tiongkok pertama yang menjajaki pasar global, dengan pengalaman lebih dari sepuluh tahun di industri konten dan hiburan, Kunlun Wanwei menyadari bahwa platform UGC (konten buatan pengguna) telah mempertahankan tren jangka panjang di pasar. Intervensi AIGC juga diperkirakan tidak hanya akan mendiversifikasi metode pembuatan IP untuk artikel web, drama pendek, animasi, dan game, namun yang lebih penting, menurunkan ambang batas pembuatan konten secara signifikan.

Seperti yang dikatakan oleh industri, "Setiap kali ambang produksi konten ditingkatkan dua kali lipat, jumlah orang yang membuat konten akan meningkat sepuluh kali lipat. Hal ini menunjukkan peluang pasar yang sangat besar."

Oleh karena itu, Kunlun berkomitmen untuk membangun platform UGC yang komprehensif dengan IP sebagai intinya, sehingga semua pengguna yang menggunakan AI untuk berkreasi dapat menyelesaikan loop tertutup penuh dari IP. Mereka tahu betul bahwa alat yang dapat menyembunyikan semua detail teknis dan mencapai pembuatan konten menyeluruh memiliki nilai komersial yang nyata. Ini juga merupakan logika mendalam dari produk "pembuatan sekali klik" seperti SkyReels.

Selain membangun platform AI UGC di tingkat atas, di tingkat bawah, Kunlun Wanwei juga berkomitmen untuk mengembangkan basis model besar untuk keperluan umum. Hal ini bermula dari wawasan yang sederhana namun mendalam: dari sudut pandang teknis, kebijaksanaan manusia dituangkan dalam bentuk teks, dan semua model eksklusif untuk jejaring sosial, game, musik, dan video tidak terlepas dari dukungan model teks besar.

Model Tiangong yang dikembangkan sendiri oleh Kunlun Wanwei telah diiterasi ke versi 3.0. "Tiangong 3.0" mengadopsi arsitektur MoE dengan 400 miliar parameter dan saat ini menjadi salah satu model MoE open source dengan parameter model terbesar dan kinerja terkuat di dunia. Dalam banyak hasil evaluasi multimodal resmi seperti MMBench, "Tiangong 3.0" melampaui GPT-4V, dan banyak indikator evaluasi mencapai tingkat terdepan di dunia.

Dengan basis model besar untuk tujuan umum yang solid, Kunlun Wanwei telah bergerak selangkah demi selangkah menuju bidang konten dan hiburan, memperluas kemampuan modelnya secara horizontal - mulai dari musik, diagram sastra, pembuatan video hingga pembuatan drama pendek, dan secara berturut-turut meluncurkan musik besar SkyMusic AI model, model besar multi-modal Skywork -MM, model besar skrip SkyScript, model besar storyboard StoryboardGen, model besar Sky3DGen 3D, dll.

Fang Han, ketua dan CEO Kunlun Wanwei, pernah meramalkan bahwa seperti halnya kamera yang telah merevolusi metode pengambilan gambar dan melahirkan sejumlah besar platform video pendek seperti Douyin dan Kuaishou, AI juga akan melahirkan sejumlah besar AI UGC baru. platform. Ia sangat yakin bahwa hanya model "free + to C" yang dapat melahirkan perusahaan raksasa nyata di era AI.

Bagi Teknologi Kunlun, yang memiliki gen 2C yang dalam, kebangkitan AIGC tidak diragukan lagi merupakan peluang langka. Perusahaan yang selama ini selalu bermimpi untuk berkembang menjadi perusahaan teknologi kecerdasan buatan terkemuka ini awalnya mengira telah melewatkan kesempatan untuk ikut serta dalam permainan poker, namun tidak menyangka bahwa AIGC akan membukakan pintu baru bagi mereka. Mereka bekerja keras, mereka berusaha sekuat tenaga. ‍

Alamat aplikasi beta internal: https://skyreels.ai/beta