Kunlun Wanwei startet die weltweit erste KI-Kurzfilmplattform SkyReels
2024-08-19
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Am 19. August veröffentlichte Kunlun Wanwei SkyReels, die weltweit erste KI-Plattform für Kurzdramen, die große Videomodelle und große 3D-Modelle integriert. Die SkyReels-Plattform integriert Drehbucherstellung, Charakteranpassung, Storyboards, Handlung, Dialoge/Hintergrundmusik und Videosynthese und ermöglicht es Entwicklern, „mit einem Klick ein Drama zu erstellen“ und auf einfache Weise hochwertige KI-Videos zu produzieren.
Fantasy-Blockbuster, ergreifender Sadomasochismus, urkomische Komödien ... Geben Sie einfach eine einfache Idee ein und SkyReels kann den gesamten Produktionsprozess vom Drehbuch bis zum fertigen Kurzspiel abwickeln.
Die SkyReels-Plattform integriert Kunlun Wanweis selbst entwickeltes Skript-Großmodell SkyScript, das selbst entwickelte Storyboard-Großmodell StoryboardGen, das selbst entwickelte 3D-generierte Großmodell Sky3DGen und die branchenweit erste innovative Plattform WorldEngine, die KI-3D-Engines und Video-Großmodelle umfassend integriert.
SkyReels ist großen Modellen wie GPT-4o bei der Qualitätsbewertung von Drehbuchqualität, Storyboard-Qualität, Charakterleistung und anderen Dimensionen voraus.
SkyReels kann mit einem Klick durch KI komplette Skripte, Storyboards, Charakterdialoge und Hintergrundmusik generieren. Es unterstützt benutzerdefinierte Anpassungen an Charakterbildern, Sounds und Storyboards und kann Inhalte automatisch in 1080P 60-Frame-High-Definition-Videos konvertieren und generieren Die Länge erreicht 180 Sekunden, was einen bedeutenden Durchbruch im Vergleich zu Sora darstellt, das jeweils ein 60-Sekunden-Video erstellen kann, und Keling, das jeweils ein 10-Sekunden-Video erstellen kann. Integrieren Sie alle kreativen Ergebnisse mit einem Klick, wodurch die Effizienz der Videoerstellung erheblich verbessert, die Erstellungskosten gesenkt und die Ära „Eine Person, ein Drama“ beschleunigt wird.
Gleichzeitig kombiniert WorldEngine die präzise Steuerbarkeit der Engine (z. B. Lichtsimulation, physikalische Simulation, 3D-Raum, Echtzeitinteraktion usw.) mit der Fantasiegenerierungsfähigkeit großer KI-Videomodelle und stellt so ein neues Online-Hybridvideo bereit Der Erstellungsmodus ermöglicht den Übergang von der Fuzzy-Generierung zu einer präziseren und kontrollierbaren Videoerstellung.
Die Highlights von SkyReels sind wie folgt:
Vollautomatische Skripterstellung: Benutzer geben Konzepte oder Ideen ein, und die KI generiert mit einem Klick ein Skript mit vollständiger Struktur und umfangreichen Plots und unterstützt die automatische Anordnung und Verfeinerung bestehender Skripte, um die kreative Effizienz zu verbessern.
Hochwertiges Handlungsdesign: Das System generiert hochwertige Handlungsstränge, dramatische Konflikte, spannende Punkte und emotionale Ausdrücke, indem es eine große Anzahl von Drehbuchhandlungen analysiert, um den Reichtum und die Attraktivität des Drehbuchs sicherzustellen.
Intelligente Storyboard-Generierung: Basierend auf dem Inhalt des Skripts werden mit einem Klick Storyboard-Bilder und entsprechende Textskripte generiert. Benutzer können außerdem Parameter wie Storyboards, Kamerawinkel und Kamerabewegungsmethoden frei anpassen, um die genaue Umsetzung der Kreativität sicherzustellen.
Emotionaler Dialog/Hintergrundmusik: Durch die Technologie der emotionalen Sprachsynthese erhalten die Charaktere natürliche Zwischensatzpausen, emotionale Ausdrücke und Kadenzen, und KI-Hintergrundmusik wird automatisch basierend auf dem Videoinhalt generiert, um Bild und Musik perfekt zu integrieren.
Personalisierte Anpassung: Unterstützt die intelligente Generierung und Anpassung von Charakterbildern, Klangfarben und Storyboards, um den individuellen Anforderungen der Ersteller gerecht zu werden, und bietet eine Vielzahl visueller Stiloptionen wie Animation, Cartoons und Live-Action-3D zur Anpassung an die Vorlieben und Anforderungen Vorlieben verschiedener Ersteller: Inhalte drücken Bedürfnisse aus.
Inhaltskonsistenz und -genauigkeit: Stellen Sie die Konsistenz von Charakteren und Szenen in verschiedenen Storyboards sicher und leiten Sie automatisch Charakterleistungen auf der Grundlage von Story-Beschreibungen ab, um eine Koordination von Charakterausdrücken, Aktionen und Zeilen zu erreichen und den Story-Ausdruck zu verbessern.
Effiziente Videogenerierung: Wandeln Sie Storyboards automatisch in kontinuierliche hochauflösende Videos um und sorgen Sie für eine 1080P-Ausgabe mit 60 Bildern, um ein reibungsloses Seherlebnis zu gewährleisten.
Bequeme Postproduktionssynthese: Integrieren Sie alle kreativen Ergebnisse mit einem Klick und können Sie sie schnell exportieren und teilen. Unterstützt das Herunterladen in mehreren Formaten, um die Nachbearbeitung zu erleichtern.
Die KI-Skriptgenerierungsfunktion von SkyReels basiert auf dem von Kunlun Wanwei selbst entwickelten großen Skriptmodell SkyScript. Um den von der KI generierten Drehbüchern die hohe Dichte und Spannung von Kurzdramen zu verleihen, erstellte Kunlun Wanwei zunächst einen hochwertigen, strukturierten Datensatz für Kurzdramen SkyScript-100M. Dieser Datensatz zielt auf den Handlungsrhythmus und die Spannung ab von massiven Kurzdramen werden mit hoher Qualität kommentiert;
Zweitens hat das Algorithmenteam ein schrittweise generiertes Skriptgenerierungs-Framework entwickelt, das es dem Modell ermöglicht, hochstrukturierte und spannende Skripte auszugeben. Sowohl unerfahrene Autoren als auch erfahrene Dramatiker können damit ihre Kreativität anregen und auf einfache Weise ansprechende Kurzspielskripte erstellen.
Ein weiterer wichtiger Schritt bei der Erstellung von Kurzdramen ist die Storyboard-Generierung. Kunlun Wanweis selbst entwickeltes großes Storyboard-Generierungsmodell StoryboardGen stellt die zugrunde liegende Technologie bereit. StoryboardGen ist Kunlun Wanweis erstes Storyboard-Generierungsmodell, das auf der DiT-MoE-Architektur (Mixed-of-Experts-Hybrid-Expertenarchitektur basierend auf der Diffusion Transformer-Technologie) basiert und eine Storyboard-Informationsgenerierung mit hoher Dichte erreichen und die visuellen narrativen Ausdrucksmöglichkeiten erheblich verbessern kann.
Nach der Eingabe des Skripts zerlegt das StoryboardGen-Modell das Skript in zwei Teile: den globalen Teil und den Hauptteil. Der globale Teil enthält die Gesamtbeschreibung des Storyboards wie Szenen, Szenen, Kompositionen usw. Der Hauptteil umfasst die Anpassung aus Charakterbildern und Actionfiguren, die schließlich in Storyboard-Agenten gesammelt werden, generieren komplette Storyboards. Die spezialisierte Multi-Agent-Architektur von StoryboardGen kann die Steuerbarkeit und Konsistenz von Charakteren und Szenen effektiv sicherstellen und hochwertige Storyboards in Industriequalität erstellen.
Kunlun Wanwei StoryboardGen großes Storyboard-Modell, technisches schematisches Diagramm
Im endgültigen Bildgenerierungsprozess ist WorldEngine die erste innovative Plattform der Branche, die die KI-3D-Engine und Video-Großmodelle tief integriert. Dabei handelt es sich um eine bahnbrechende technologische Innovation, die die Layer-Fusion-Technologie als Brücke nutzt, um einen beispiellosen Hybrid-Erstellungsmodus aus 3D und Video zu schaffen.
Wenn Benutzer SkyReels zum Generieren von KI-Videos verwenden, können sie frei wählen, ob sie für jedes Element die 3D-KI-Engine-Generierung oder die Video-Großmodellgenerierung verwenden möchten. Dieses innovative Modell überwindet die Probleme des „Formbrechens“ und der „Anti-Schwerkraft“, die häufig auftreten Aktuelle KI-Video-Großmodelle erreichen die perfekte Verschmelzung der Präzision der physikalischen Simulation und der Fantasie-Kreativität von Video-Großmodellen. Seitdem werden große Modelle der KI-Videoerzeugung von der Ära der „Fuzzy-Steuerung“ in die Ära der „präzisen Steuerbarkeit“ übergehen.
Was die 3D-KI-Engine betrifft, kann Kunlun Wanweis selbst entwickeltes Sky3DGen-Großmodell verschiedene 3D-Elemente und Szenen generieren, von natürlichen Landschaften bis hin zu zukünftigen Städten, von statischen Objekten bis hin zu dynamischen Charakteren, und bietet Echtzeit-Interaktionsfunktionen für 3D-Szenen, sodass Benutzer dies können Sehen Sie sofort die Auswirkungen von Anpassungen und Bearbeitungen und beschleunigen Sie so den kreativen Prozess. Mit der Unterstützung von WorldEngine können Benutzer auch ganz einfach ein virtuelles 3D-Studio aufbauen, um ein traumhaftes Erlebnis virtueller Dreharbeiten zu erzielen.
Die Darstellung der Charaktere ist eines der zentralen Elemente bei der Präsentation von Kurzstücken. Daher hat das Kunlun SkyReels-Team im Hinblick auf die Leistung von KI-Charakteren speziell das ActorShow-Charaktergenerierungsmodell entwickelt, sodass die von SkyReels generierten KI-Charaktere über stärker kontrollierbare Generierungsfähigkeiten von Mundausdrücken und Körperbewegungen verfügen und die Charakterpräsentation natürlicher ist .
Als Reaktion auf die Beleuchtungsunterschiede, Stilunterschiede und andere Anforderungen, die bei der Postsynthese von Videos auftreten, hat das Kunlun SkyReels-Team separat ein spezielles Fusionsgenerationsmodell trainiert, damit das Video nach der Ebenenfusion eine gute Konsistenz aufweist.
Die Einführung der Kunlun Wanwei KI-Kurzspielplattform SkyReels stellt einen Technologiesprung in der globalen KI-Kurzspielproduktion dar. Sie wird den Prozess der Erstellung von Videoinhalten vollständig untergraben, die Ersteller von dem mühsamen und komplexen Produktionsprozess befreien und sich auf die kreative Umsetzung und den inspirierenden Ausdruck konzentrieren Der Traum von „einer Person, einem Drama“ wird Wirklichkeit.
Die SkyReels AI-Kurzdramenplattform bietet nicht nur leistungsstarke kreative Tools für professionelle Content-Ersteller, sondern senkt auch die Schwelle für die Erstellung von KI-Kurzdramen erheblich und erleichtert so nicht-professionellen Benutzern den Einstieg. Es wird erwartet, dass dieses revolutionäre Tool das explosive Wachstum von benutzergenerierten KI-Kurzdrama-Inhalten (UGC) und professionellen benutzergenerierten Inhalten (PUGC) bewirken, dem Ökosystem der Kurzdrama-Inhalte beispiellose Vitalität verleihen und die Entwicklung des Kurzdramas fördern wird Der Markt für Content-Erstellung und -Konsum wächst weiterhin rasant. Eine Ära der Erstellung und des Konsums von Kurzdramen, die durch KI-Technologie vorangetrieben wird, steht vor der Tür.
Kunlun Technology ist seit jeher bestrebt, globalen Content-Erstellern durch fortschrittliche AIGC-Technologie intelligentere, effizientere und personalisiertere Tools bereitzustellen. Angetrieben von der „All in AGI and AIGC“-Strategie hat sich Kunlun Technology seit jeher zum Ziel gesetzt, „allgemeine künstliche Intelligenz zu verwirklichen und es jedem zu ermöglichen, sich besser zu formen und auszudrücken“. Kunlun Wanwei wird auch in Zukunft durch eine eingehende Erkundung des globalen Marktes Innovationen vorantreiben und den Nutzern hochwertige AIGC-Produkte und -Dienstleistungen anbieten.
übersetzen
suchen
Kopie
