2024-08-19
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Text/Tencent-Technologie Zhou Xiaoyan
Lassen Sie mich Ihnen etwas Neues sagen: In den Kurzdramen, die Sie in Zukunft sehen, von vorne bis hinter die Kulissen, werden möglicherweise keine „Menschen“ darin sein.
Im traditionellen Modell ist die Produktionskette eines Kurzdramas, von der Drehbuchentwicklung über die Produktion bis zum Vertrieb, voller „Menschen“. Aufgrund des Aufkommens der KI ist jedoch möglicherweise nur eine Person erforderlich, die die Maus bedienen kann Vor dem Bildschirm kann der Regisseur alle Vorgänge abschließen.
Am 19. August veröffentlichte Kunlun Wanwei SkyReels, die weltweit erste KI-Plattform für Kurzdramen, die große Videomodelle und große 3D-Modelle integriert. Die SkyReels-Plattform integriert Drehbucherstellung, Charakteranpassung, Storyboards, Handlung, Dialoge/Hintergrundmusik und Videosynthese und ermöglicht es Entwicklern, „mit einem Klick ein Drama zu erstellen“ und auf einfache Weise hochwertige KI-Videos zu produzieren. Der Start der Kunlun Wanwei KI-Kurzdramenplattform SkyReels markiert einen großen Technologiesprung in der weltweiten KI-Kurzdramenproduktion.
Mit anderen Worten: Sie müssen keine Schauspieler engagieren oder einen Veranstaltungsort finden. Sie können die Kraft der KI nutzen, um ein kurzes Stück zu erstellen, indem Sie SkyReels öffnen und die Tastatur bedienen.
KI führt Sketche auf und beginnt, das „Niemandsland“ zu betreten.
Für Kurzaufführungen ins Ausland zu gehen, ist nichts Neues.
Im Jahr 2022 wurde das Kurzdrama-Produkt ReelShort von Chinese Online auf den Markt gebracht und belegte ein Jahr später den ersten Platz auf der US-amerikanischen iOS-Unterhaltungsliste. Bald darauf produzierten auch aufstrebende Stars wie ShortTV und DramaBox weiterhin erfolgreiche Kurzdramen. Ihre Themen sind hauptsächlich Bosse, Liebe und Werwölfe. ReelShorts erfolgreiches Kurzdrama „Das Doppelleben meines milliardenschweren Mannes“ umfasst „Helden, die Schönheiten retten“, „Eigentumskämpfe“ und andere Abschnitte.
Bei dieser Art von Kurzdramen handelt es sich in der Regel um lokale Originale, das heißt, ausländische Teams müssen lokale Kultur und Benutzerinteressen kombinieren, um Drehbücher zu erstellen, die den ästhetischen Vorlieben der lokalen Benutzer entsprechen. Sie können die Handlungspunkte genau erfassen, die die Menschen vor Ort „attraktiv“ machen.
Das Kernproblem dieser Kurzstücke besteht darin, dass sie ein ausreichendes Verständnis und Studium der lokalen Kultur erfordern, der Produktionszyklus lang ist und ein gewisser Kostenaufwand für die Suche nach lokalen Schauspielern anfällt.
Tatsächlich ist das ursprüngliche Kurzdrama-Modell aus Übersee sehr einfach und grob. Sie untertiteln chinesische lokale Dramen normalerweise direkt und senden sie dann vor Ort. Um das Gefühl der Dissonanz zu reduzieren, verwenden einige ausländische Teams KI, um mit den Schauspielern zu sprechen Die Form wurde so optimiert, dass sie aussieht wie „ein Schauspieler mit chinesischem Gesicht, der Zeilen auf Englisch spricht“, aber einige Zuschauer finden sie immer noch steif, genau wie wenn wir in China europäische und amerikanische Filme und Fernsehserien sehen Sehen Sie europäische und amerikanische Schauspieler mit blauen Augen und grünen Haaren. Es ist, als würden Menschen in einem seltsamen Tonfall Chinesisch sprechen, was es für das Publikum schwierig macht, ein echtes Gefühl der Beteiligung zu entwickeln.
Aus diesem Grund werden einige ausländische Teams KI nutzen, um die Gesichter von Schauspielern in kurzen Theaterstücken zu „verändern“, damit sie von den Einheimischen besser akzeptiert werden.
Es ist ersichtlich, dass sich ausländische Teams in der Vergangenheit verschiedene „Tricks“ einfallen ließen und viel Gehirn-CPU verbrauchten, um ein beliebtes Kurzdrama zu machen.
Gibt es also im Zeitalter der großen Models ein Kurzfilmprodukt, das kulturelle Unterschiede überwinden, unabhängig von Sprachbeschränkungen sein und KI zur Lösung aller Aspekte nutzen kann?
Es war zufällig dasselbe Jahr, in dem ReelShort zur See ging, und Kunlun Wanwei wurde darauf aufmerksam.AIGCSystemische Chancen. Bei der Betrachtung der erfolgreichen Modelle im Zeitalter des mobilen Internets haben wir herausgefunden, dass das Schlüsselwort im „Free + To C“-Modell liegt. Und wenn wir die „riesigen“ Unternehmen beobachten, die noch am Leben sind, werden wir das finden Viele von ihnen werden es tun. Eine bestimmte Spezies hat das Höchste erreicht. Basierend auf diesem Urteil kann Fang Han, Vorsitzender und CEO von Kunlun Wanwei, dieser Logik folgen, um den AIGC-Markt anzugreifen.
Kunlun Wanwei dachte an „KI Benutzergenerierter Inhalt„Strategie: Beginnen Sie mit hochfrequenten Szenarien auf der C-Seite, wie zum Beispiel der Erkundung von Einhornporträts in unterteilten Tracks wie Online-Artikeln, Kurzstücken, Animationen, Musik usw. Unter diesen sind auch Kurzstücke für Kunlun Wanwei zu einer wichtigen Option geworden Führungskräfte Ich hoffe, eine neue Spezies zu schaffen, die das ursprüngliche Produktionsmodell für Kurzdramen untergräbt.
Die KI-Plattform für Kurzdramen, SkyReels, ist ebenfalls auf Grundlage dieser Logik entstanden. Dabei handelt es sich um eine Komplettlösung für die Erstellung von Kurzdramen, die von der KI gesteuert wird. Von der Drehbucherstellung über die Charaktergenerierung bis hin zur finalen Erstellung von Kurzdramen generiert.
Insgesamt funktioniert SkyReels wie der KI-Agent eines Regisseurs und verwandelt eine einfache Idee in ein kurzes Stück.
vonSoraNach dem Aufkommen des KI-Videogenerierungsmodells, das durch dargestellt wird, haben viele Akteure im In- und Ausland nacheinander große Videogenerierungsmodelle wie Pixverse auf den Markt gebracht.Schnell und einfach, Zhiying Qingyuan, und es gibt auch eine Reihe aufstrebender Regisseure, die diese großen Modelle für die Produktion von Film- und Fernsehwerken nutzen. Obwohl mit diesen Modellen gute Videogenerierungseffekte erzielt werden können, bestehen für die Erstellung eines ausgereiften Films dennoch bestimmte Anforderungen an die eigenen beruflichen Fähigkeiten des Benutzers. Er muss über hohe Drehbuchfähigkeiten und künstlerische ästhetische Fähigkeiten verfügen.
Beispielsweise müssen Benutzer die Aufnahme im Voraus zusammenstellen, sich die gewünschte Aufnahme vorstellen und dann Eingabeaufforderungen mit Fachbegriffen verwendenMitten auf der ReiseNachdem Sie ein zufriedenstellendes Bild auf dem Produkt debuggt haben, importieren Sie es in das Videogenerierungsprodukt, um Objektivanpassungen vorzunehmen, und exportieren Sie schließlich die Arbeit.
Obwohl diese Tools auch die Produktionskette von Film- und Fernsehwerken stark verkürzt haben, sind sie eher darauf ausgerichtetPUGCGruppen und SkyReels haben einen niedrigeren Schwellenwert für die Nutzung. Der gesamte Vorgang ist einfach und intelligent. Geben Sie eine Idee ein und der Rest kann der KI überlassen werden.Im Vergleich dazu ist SkyReels als weltweit erste KI-Plattform für Kurzdramen ein UGC-Produkt mit einem größeren Publikum.
(SkyReels-Produktdemonstration)
SkyReels ist die weltweit erste Plattform zur Videoerstellung, die 3D-Engines und generative KI kombiniert. Nachdem Sie sich für die Erstellung eines Kurzfilms entschieden haben, geben Sie Ihre kreativen Ideen ein und wählen Sie den gewünschten Videostil, z. B. Anime-Stil oder Realismus , und Ghibli-Stil. Warten Sie, Sie können mit einem Klick ein Skript erstellen. Das System generiert automatisch Charaktere entsprechend den Anforderungen des Drehbuchs und der Geschichte. Anschließend kann der Benutzer das automatisch generierte Storyboard-Skript anzeigen, es mit einem Klick in ein Video umwandeln und den Inhalt automatisch umwandeln1080P 60 BilderHD-Video;Es kann eine Videolänge von bis zu 180 Sekunden am Stück generiert werdenIm Vergleich zu Sora, das jeweils ein 60-Sekunden-Video erstellen kann, und Keling, das jeweils ein 10-Sekunden-Video erstellen kann, ein bedeutender Durchbruch.
Insgesamt umfasst die komplette Produktionskette eines Kurzdramas die Drehbucherstellung, Charakteranpassung, Storyboard-Erstellung, Episodendreh und Postproduktion, und SkyReels kann die Effizienz dieser Produktionskette mit drei selbst entwickelten großen Modellen verbessern.
Im Prozess der Inhaltsentwicklung wird die traditionelle Produktionsmethode für Kurzdramen verwendet.Es wählt einige Kapitel aus vorgefertigten Online-Romanen aus und passt sie dann entsprechend den Merkmalen des Kurzdramas an. Der Drehbuchautor muss in der Lage sein, die Interessen des Publikums zu vereinen und die Wendepunkte der Handlung gekonnt zu setzen, um sie zu steigern die Zahlungsbereitschaft des Nutzers für das nächste Kapitel.
SkyReels verwendet in diesem Link selbst entwickelte Skript-GroßmodelleSkyScriptund ersetzt die manuelle Inhaltsentwicklung traditioneller Kurzstücke. Kunlun Wanwei erstellte zunächst SkyScript-100M, einen hochwertigen strukturierten Datensatz für Kurzdramen mit 100 Millionen Ebenen. Dieser Datensatz enthält hochwertige Anmerkungen für den Handlungsrhythmus, spannende Punkte und emotionale Veränderungen einer großen Anzahl wunderbarer Kurzdramen. Darüber hinaus hat das Algorithmenteam das schrittweise generierte Skriptgenerierungs-Framework entwickelt, das es dem Modell ermöglicht, hochstrukturierte und spannende Skripte auszugeben. Sowohl Anfänger als auch erfahrene Drehbuchautoren können mit diesem Modell attraktive Kurzspielskripte erstellen.
Nach einer bewegenden Geschichte besteht der nächste Schritt darin, diese Geschichten in Drehbücher umzuwandeln. Im traditionellen Produktionsmodell erfordert diese Verbindung die Einladung von Schauspielern und die Offline-Einrichtung der Szenen erfordert Personal- und Setkosten. Aber diese können alle durch große KI-Modelle ersetzt werden. SkyReels verwendet Kunlun Wanwei in diesem Link.Selbstentwickeltes großes Storyboard-Modell StoryboardGen,Dieses Modell verarbeitet Film- und Fernsehanimationsdaten rückwärts, um einen hochwertigen Storyboard-Datensatz in Industriequalität zu erhalten, und entwirft ein Storyboard-Multiagenten-Framework, um eine qualitativ hochwertige Generierung von Szenen, Aufnahmen, Charakteren und Aktionen zu erreichen. In Bezug auf Bilderzeugungseffekte verwendet Kunlun Wanwei das selbst entwickelte DiT-Moe-Modell, um die Bildqualität zu verbessern.
Genau wie beim formellen Drehprozess müssen die Aufnahmen organisch integriert werden, um ein vollständiges Story-System zu erhalten.SkyReels nutzt WorldEngine, die branchenweit erste innovative Plattform, die KI-3D-Engines und große Videomodelle umfassend integriert, um 3D-Generierung, Videogenerierung sowie 3D- und Video-Hybrid-Erstellung zu erreichen.。
Die WorldEngine-Innovationsplattform besteht aus mehreren Unterlinks, die jeweils ein anderes Modell verwenden.
Im Modul 3D-GenerierungEs wird das selbst entwickelte Sky3DGen-Großmodell verwendet, das eine Vielzahl von 3D-Elementen und -Szenen generieren kann, von natürlichen Landschaften bis hin zu zukünftigen Städten, von statischen Objekten bis hin zu dynamischen Charakteren, und Echtzeit-Interaktionsfunktionen für 3D-Szenen bietet, sodass Benutzer diese sofort anzeigen können Passen Sie Effekte an und bearbeiten Sie sie, um den kreativen Prozess zu beschleunigen. Mit der Unterstützung von WorldEngine können Benutzer ein virtuelles 3D-Studio aufbauen, um ein virtuelles Aufnahmeerlebnis zu erzielen.
(Intelligente Generierung von 3D-Szenen)
Im 3D- und Video-Hybrid-Erstellungsmodul verwendet Kunlun Wanwei die Layer-Fusion-Technologie als Kern, um ein 3D- und Video-Hybrid-Erstellungsmodell zu erstellen. Jedes Element im Video kann frei ausgewählt und mithilfe einer 3D-KI-Engine oder eines großen Videomodells generiert werden. Darüber hinaus trainierte Kunlun Wanwei das Fusionsgenerierungsmodell separat für die Details der Beleuchtung und die Stilunterschiede, die beim Mischen auftreten, sodass das Video nach der Ebenenfusion eine bessere Konsistenz aufweist.
(Gemischt, um ein Video zu generieren)
Durch den Einsatz der Engine konnte WorldEngine im Vergleich zur herkömmlichen Videogenerierung eine Kostenreduzierung erzielen und gleichzeitig die Generierungsgeschwindigkeit um mehrere Größenordnungen steigern.
Obwohl hier im Grunde ein kurzes Video erstellt wurde, werden Leute, die sich oft Dramen ansehen, auch das Gefühl haben, dass gute Linienfähigkeiten und die Darstellung der Handlung durch Hintergrundmusik dazu führen, dass man mit halbem Aufwand das doppelte Ergebnis erzielt.
In Bezug auf Zeilen kann die KI-Textverständnistechnologie von SkyReels nach tiefgreifendem Lernen aus Zehntausenden von Romanen automatisch Charakterdialoge und emotionale Ausdrücke aus dem Text identifizieren und angemessene Pausen zwischen Sätzen vorhersagen. Was die Erzählung betrifft, nutzt SkyReels die Technologie der emotionalen Sprachsynthese, um der Erzählung zu helfen, Höhen- und Tiefenrhythmen zu nutzen, um den Charakterdialog voller Emotionen zu gestalten.
Kunlun Wanwei enthüllte, dass der intelligente Agent von SkyReels nicht nur Text verstehen, sondern auch die Szenenatmosphäre im Drehbuch intelligent analysieren kann. „Basierend auf fortschrittlichen multimodalen Abruf- und Hintergrundmusik-Generierungsfunktionen können wir Videointelligenz mit angemessenem Hintergrund abgleichen.“ Musik sorgt dafür, dass jedes Bild perfekt mit der Musik verschmilzt.“
Kunlun Wanweis KI-Kurzdrama-Plattform SkyReels ist ein revolutionäres Tool, das ein explosives Wachstum von benutzergenerierten KI-Kurzdrama-Inhalten (UGC) und professionellen benutzergenerierten Inhalten (PUGC) bewirken und der Ökologie von Kurzdrama-Inhalten eine beispiellose Vitalität verleihen soll das weitere schnelle Wachstum der Erstellung von Kurzfilminhalten und des Verbrauchermarktes. Eine Ära der Erstellung und des Konsums von Kurzdramen, die durch KI-Technologie vorangetrieben wird, steht vor der Tür.
In einem Forschungsbericht von Guohai Securities wurde erwähnt, dass KI voraussichtlich die Produktionskapazität von Kurzfilmen erhöhen und die Kosten senken wird. Der Markt für ausländische Kurzdramen wird vorsichtig auf etwa 36 Milliarden US-Dollar prognostiziert.
SkyReels ist ein Inbegriff der Auslands-Layout-Strategie von Kunlun Wanwei, hinter der ihr strategisches All-in-AIGC-Denken steht.
Im Jahr 2020 erkannte der Gründer von Kunlun Wanwei, Zhou Yahui, das Potenzial von AIGC und sagte voraus, dass das KI-System ein goldenes Zeitalter neuer Inhalte einläuten würde.
Fang Han, Vorsitzender und CEO von Kunlun Wanwei, überprüfte die Möglichkeiten im Zeitalter des mobilen Internets, fasste die Regeln beliebter Content-Produkte zusammen und stellte fest, dass die meisten davon „Free + To C“-Modelle sind, da die Gruppenbasis groß genug ist, solange Das Produkt kann Benutzer erreichen. Durch die Identifizierung der Nachfragepunkte können wir ein exponentielles Benutzerwachstum erzielen. Der Aufbau einer „AI UGC“-Plattform ist zur Kernstrategie von Kunlun Worldwide geworden, die darin besteht, 1 % der Content-Ersteller Dienste bereitzustellen und 99 % der Benutzer zu ermöglichen Inhalte konsumieren.
Was sind also die Bilder der Produkte, die in der AIGC-Ära populär wurden?
Fang Han glaubt, dass AIGC bei der Geburt neuer terminalseitiger Hardware und neuer, an KI angepasster Mobiltelefone möglicherweise disruptive Ergebnisse erzielen wird, dieser Prozess jedoch noch 3 bis 5 Jahre dauern wird und die derzeitige Kernaufgabe darin besteht, Chancen zu erkennen und zu ermitteln Nutzen Sie AIGC.
Gemäß den Regeln des Zeitalters des mobilen Internets kann jedes Land seine eigene Super-App haben, oder eine Super-App kann das Territorium gleichzeitig in mehrere Länder aufteilen. Nach einigem Nachdenken glaubte Fang Han, dass es zunächst Länder mit hoher Benutzerkostenleistung und -akzeptanz wie Europa, die Vereinigten Staaten, Japan, Südkorea und China besetzen und sich dann schrittweise auf den Nahen Osten, Südostasien und Südamerika ausbreiten sollte und andere Regionen.
Nachdem das Management von Kunlun Wanwei die Länder abgegrenzt hatte, begann es über vertikale Kategorien nachzudenken, die Super-Apps hervorbringen könnten. Sie fragten sich immer wieder: „Wie können wir ein Gigant werden?“ Die Content-Giganten, die in der vorherigen Ära noch am Leben sind, sind im Grunde tiefgreifend Wenn Sie in einer bestimmten vertikalen Unterhaltungsbranche tätig sind, wie z. B. Online-Artikel, kurze Theaterstücke und Animationen, wird die gleiche Logik auf AIGC wiederholt.
Derzeit hat Kunlun Wanwei als Reaktion auf die „AI UGC“-Strategie ein systematisches Layout in China durchgeführt und eine Produktmatrix in den Bereichen große Modelle, KI-Suche, KI-Musik und anderen Bereichen aufgebaut.
Unter anderem hat das große Modell von Kunlun Wanwei viele Iterationen durchlaufen:
Neue Version im Februar veröffentlichtBildungsministeriumDas große Sprachmodell „Tiangong 2.0“ und die neue Version der APP „Tiangong AI Intelligent Assistant“;
Im April wurden das Basismodell „Tiangong 3.0“ und das Musikmodell „Tiangong SkyMusic“ offiziell zum öffentlichen Test eingeführt;
Im Juni veröffentlichte Kunlun Wanwei das 200 Milliarden spärliche Großmodell Skywork-MoE, das Teil von „Tiangong 3.0“ ist, als Open Source.OpenAIMit dem Anspruch, API-Verkehr aus nicht unterstützten Ländern und Regionen zu blockieren, startete Tiangong Open Platform einen „One-Click-Relocation-Plan“ für OpenAl-API-Benutzer und stellte API-Aufrufressourcen in Höhe von 150 Millionen Tokens zur Verfügung, darunter das Tiangong 2.0- und das Tiangong 3.0-Modell.
Bei der Iteration großer Modelle ist die KI-Suche auch in den Fokus von Fang Han gerückt, ein Jahr früher als OpenAIs SearchGPT, und hat das Suchprodukt dieses Jahr aktualisiert, um die Suche nach Text, Bildern, Videos usw. für Benutzer zu unterstützen kann Ergebnisse in Form von Mindmaps, Tabellen, Umrissen usw. präsentieren und Umrisse und Mindmaps speichern, um direkt PPT zu generieren.
Zusätzlich zur Produktebene hat Kunlun Wanweiya in Zusammenarbeit mit internationalen Universitäten das Open-Source-F&E-Toolkit für digitale Agenten AgentStudio entwickelt, um Forschern und Entwicklern eine umfassende Plattform zu bieten, die den gesamten Entwicklungsprozess von Agenten abdeckt.
Ob im Inland oder im Ausland, jedes Sprachsystem benötigt seine eigenen Produkte. Kunlun Wanwei glaubt, dass die globale Dividendenperiode der AIGC-Plattform bald bevorsteht.
Sammeln und organisieren Sie die neuesten Nachrichteninformationen und stellen Sie sie für alle kostenlos zur Verfügung.
