2024-08-13
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Maschinenherzbericht
Herausgeber: Zenan, Jiaqi
Um mit Clapper Videos zu erstellen, müssen Sie nur der Regisseur sein.
Mit der Veröffentlichung von Sora scheint die Videobranche in die Ära der generativen KI eingetreten zu sein. Aber bis heute haben wir das offizielle Tool zur Videogenerierung von OpenAI noch nicht verwendet, und Leute, die es kaum erwarten können, haben begonnen, nach anderen Methoden zu suchen.
In den letzten Wochen hat Clapper, ein Open-Source-Videobearbeitungstool, für Aufsehen gesorgt.
Im Gegensatz zu den Videogeneratoren, die von vielen Technologieunternehmen angeboten werden, ist Clapper ein Open-Source-Tool zur Visualisierung von KI-Storys, das vor einem Jahr als Prototyp auf den Markt kam. Es ist nicht dazu gedacht, herkömmliche Videoeditoren oder moderne KI-Editoren zu ersetzen, die 3D-Szenen als Eingabe verwenden.
Das Konzept von Clapper besteht darin, verschiedene generative KI-Technologien zusammenzuführen, um es jedem zu ermöglichen, mithilfe von KI durch einen interaktiven, iterativen und intuitiven Prozess Videos zu erstellen. Es sind keine externen Tools, Filmemachen oder KI-Ingenieurkenntnisse erforderlich. In Clapper müssen Sie Video- und Audiodateisequenzen nicht direkt bearbeiten, sondern können Ihre Geschichte basierend auf AI Agent iterieren, indem Sie allgemeine, abstrakte Konzepte wie Charaktere, Orte, Wetter, Zeiträume, Stile usw. anpassen .
Julian Bilcke, der Autor von Clapper, ist KI-Frontend-Ingenieur bei HuggingFace. Er sagte, dass er, um in dieser Richtung weiterzuarbeiten, auch einen Regisseurmodus entwickelt: Ziel ist es, Benutzern die Möglichkeit zu geben, Videos im Vollbildmodus abzuspielen, bequem auf dem Regiestuhl (oder Sofa) zu sitzen, dem Agenten Befehle zuzurufen, und lassen Sie die KI Filme machen.
In den letzten Tagen hat Julian Bilcke neue Funktionen wie die Umwandlung von beliebigem Text in eine Zeitleiste mithilfe großer Modelle vorgestellt. Auch die Popularität von Clapper hat zugenommen und es hat bereits mehr als 1.100 Sterne auf GitHub.
Wie zu verwenden
Da es sich um ein Open-Source-Tool handelt, achten wir natürlich vor allem darauf, ob es einfach zu bedienen ist.
Erinnern Sie sich noch an die Erfahrung von KI-Meister Karpathy bei der Erstellung von KI-Kurzvideos? Um die ersten drei Sätze von „Pride and Prejudice“ in eine animierte Version zu verwandeln, brauchte dieser Top-Experte eine ganze Stunde. Obwohl es nur drei Sätze und drei Szenen gibt, ist dieser Arbeitsablauf weitaus komplizierter als drei Sätze. Er verwendete zunächst Claude, um eine Reihe von Bildaufforderungswörtern basierend auf dem Originaltext zu generieren, gab diese Aufforderungswörter dann in das Vincent-Grafikmodell ein, um die entsprechenden Bilder zu generieren, und übergab sie dann an das Videomodell, um Animationen zu erstellen wurde Elevenlabs zugewiesen und schließlich in Veed Studio alle Teile zusammengefügt.
Nachdem Karpathy fertig war, twitterte er und beschwerte sich mit den Worten: „Unternehmer, die Gelegenheit ist gekommen! Der Markt braucht dringend ein KI-Tool, das diese Prozesse integrieren und vereinfachen kann.“
Clapper ist eine One-Stop-Plattform, die alle diese Funktionen integriert.
Wenn Sie ein kurzes Video erstellen möchten, müssen Sie normalerweise die folgenden Schritte ausführen. Zuerst benötigen Sie eine Geschichte und ein Drehbuch, dann zeichnen Sie Storyboards auf der Grundlage des Drehbuchs, dann drehen oder suchen Sie Materialien basierend auf den Storyboards, fügen sie in einer Bearbeitungssoftware zusammen, fügen Animationseffekte und Spezialeffekte hinzu und fügen dann selektiv gesprochenes Wort und Hintergrundmusik hinzu Oder Soundeffekte. Daraus entstand die Arbeitsteilung in der Film- und Fernsehproduktionsbranche wie Choreografie, Regie, Fotografie, Schnitt, Postproduktion und Synchronisation.
Bei Clapper folgt die Videoproduktion einer anderen Logik. Jede Spur davon entspricht nicht Video- oder Bildmaterial wie Premier, Cutting und anderen Bearbeitungsprogrammen, sondern entspricht einer bestimmten Art von Arbeit.
abgeschnittene Materialspur
Clappers Orbit
Wenn es um den Einsatz von KI zur Erstellung von Videos geht, sind wir die KI-Partei. Clapper ist wie eine Crew, die aus der leistungsstärksten KI der Branche besteht. Clapper hat eine Reihe „erstklassiger“ großer Modelle wie GPT-4o, Claude 3.5 (Sonnet) usw. eingebaut. Es ist wie der Geschäftsführer von Partei B, der dafür verantwortlich ist, Ihre Bedürfnisse mit dem entsprechenden „KI-Direktor“ zu verbinden.
Wie aus dem Bild oben ersichtlich ist, stellt der erste Track das Storyboard dar und kommuniziert mit dem in Clapper integrierten großen Modell. Es ruft das Vincent-Diagrammmodell über die API auf und lässt den KI-Storyboard-Lehrer das entsprechende Bild als Video generieren Bild.
Auf das obige Textdiagrammmodell kann über Clapper zugegriffen werden
Am Beispiel des Beispielfilms von Clapper entsprechen die folgenden Titel der Szene, dem Erzählstil, der Kameraperspektive, der Hintergrundmusik und den Soundeffekten. Sie können ElevenLabs oder Fal.ai bitten, für diese westliche Ödlandgeschichte Windgeräusche von Ruinen oder Explosionsgeräusche von Schießereien zu erzeugen.
Clapper verfügt außerdem über eine weitere Funktion, die dem Traum vom „Filmemachen durch Sprechen“ wirklich einen großen Schritt näher kommen könnte. Wir können das Drehbuch direkt in Clapper importieren und in der Spalte „Story“ sorgfältig einen Charakter für Ihren Protagonisten erstellen.
Am Beispiel von „Der Zauberer von Oz“ können wir den Charakteren nicht nur individuellere Charakterbeschreibungen hinzufügen, sondern auch Bilder hochladen, um das visuelle Bild der Heldin Dorothy festzulegen. Das bedeutet, dass wir jeden Schauspieler auf der Welt bitten können, diese Rolle zu spielen, selbst wenn Sie den 18-jährigen DiCaprio in der Rolle der Dorothy sehen möchten, können Sie es tun. Die Funktionen von Clapper sind so detailliert, dass Sie das Alter und die Klangfarbe der Charaktere, die Einrichtung jeder Szene, die Möbel in Dorothys Zimmer und das Aussehen des Hauses in ihrem Abenteuerziel „Emerald City“ anpassen können – alles kann angepasst werden in der Klappeneinstellung angepasst.
Natürlich können Sie die KI auch verwenden, um zunächst einige Atmosphärenbilder zu zeichnen, was Ihre Inspiration und Kreativität weiter anregen kann.
Obwohl die Funktion von Clapper die Anforderungen beim Erstellen von Videos vollständig berücksichtigt, ist ihre Wirkung etwas unbefriedigend. Die Bewegungen der Figuren im Bild sind nicht nur etwas „gespenstisch“, sie entsprechen auch nicht den Gesetzen der körperlichen Bewegung. Der Gesamteffekt des Videos gleicht eher einem bewegten PPT, es mangelt an Übergängen und Kontinuität zwischen den Aufnahmen, und auch der Soundtrack ist voller KI und klingt ohne Melodie und mit etwas Rauschen.
Es kann lange dauern, bis generative KI den Videoproduktionsprozess verändert, aber das Aufkommen von Clapper könnte großen Herstellern, die immer noch KI-Funktionen für herkömmliche Videobearbeitungssoftware erweitern, eine neue Implementierungsidee bieten.
Referenzinhalt:
https://news.ycombinator.com/item?id=41221399
https://x.com/aigclink/status/1818111874531205216