ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

マシンハートレポート

編集者: ゼナン、ジアチー

Clapper でビデオを作成するには、ディレクターになる必要があるだけです。

Sora のリリースにより、ビデオ分野は生成 AI の時代に入ったようです。しかし、今日に至るまで、私たちは OpenAI の公式ビデオ生成ツールをまだ使用しておらず、待ちきれない人々は他の方法を探し始めています。

ここ数週間、オープンソースのビデオ編集ツールである Clapper が注目を集めています。

多くのテクノロジー企業が提供するビデオ ジェネレーターとは異なり、Clapper は 1 年前にプロトタイプとしてリリースされたオープンソースの AI ストーリー視覚化ツールです。従来のビデオ エディタや、3D シーンを入力として使用する最新の AI エディタを置き換えるように設計されたものではありません。

Clapper のコンセプトは、さまざまな生成 AI テクノロジーを統合し、インタラクティブで反復的かつ直感的なプロセスを通じて、誰でも AI を使用してビデオを作成できるようにすることです。外部ツール、映画制作、AI エンジニアリングのスキルは必要ありません。 Clapper では、ビデオやオーディオ ファイルのシーケンスを直接編集する必要はなく、キャラクター、場所、天気、期間、スタイルなどの高レベルの抽象的な概念を調整することで、AI エージェントに基づいてストーリーを反復できます。 。

Clapper の著者である Julian Bilcke は、HuggingFace の AI フロントエンド エンジニアです。同氏は、この方向で作業を続けるために、ディレクター モードも開発中であると述べました。目標は、ユーザーが全画面でビデオを再生し、ディレクターの椅子 (またはソファ) に快適に座り、エージェントにコマンドを叫ぶことができるようにすることです。そしてAIに映画を作ってもらいましょう。

最近、Julian Bilcke は、大きなモデルを使用して任意のテキストをタイムラインに変換するなどの新機能を発表しました。 Clapper の人気も高まり、GitHub にはすでに 1,100 個以上のスターが付いています。

• GitHub リンク: https://github.com/jbilcke-hf/clapper
• HuggingFace 链接：https://huggingface.co/spaces/jbilcke-hf/clapper/tree/main
• 体験版URL：https://clapper.app/

使用方法

オープンソースのツールなので、当然使いやすいかどうかが主に見られます。

AI マスター Karpathy が AI ショートビデオを作成した経験をまだ覚えていますか? 「高慢と偏見」の最初の 3 文をアニメ版にするために、この一流の専門家は丸 1 時間かかりました。文は 3 つ、シーンは 3 つだけですが、このワークフローは 3 つの文よりもはるかに複雑です。彼はまずクロードを使用して元のテキストに基づいて一連の画像プロンプト ワードを生成し、次にこれらのプロンプト ワードをヴィンセント グラフ モデルに入力して対応する画像を生成し、それをビデオ モデルに渡してアニメーションを作成しました。イレブンラボに割り当てられ、最後に Veed Studio ですべての部分をまとめました。

そこで、カルパシー氏は終了後、ツイートして「起業家の皆さん、チャンスが来た！市場はこれらのプロセスを統合し、簡素化できるAIツールを緊急に必要としている。」と不満を述べた。

Clapperは、これらすべての機能を統合したワンストッププラットフォームです。

通常、短いビデオを作成したい場合は、次の手順を実行する必要があります。まず、ストーリーと台本が必要です。次に、台本に基づいて絵コンテを描き、次に絵コンテに基づいて素材を撮影または検索し、編集ソフトウェアでそれらをまとめ、アニメーション効果と特殊効果を追加し、その後、セリフと BGM を選択的に追加します。あるいは効果音とか。そこで、映画・テレビ制作業界では、振付、演出、撮影、編集、ポストプロダクション、吹き替えといった分業体制が生まれました。

Clapper では、ビデオ制作は別のロジックに従っています。その各トラックは、Premier や Cutting などの編集ソフトウェアのようなビデオや写真素材に対応するものではなく、特定の種類の作品に対応します。

クリップされた素材トラック

クラッパーの軌道

AI を使用してビデオを作成することに関しては、私たちは AI 当事者です。 Clapper は、業界で最も強力な AI で構成された乗組員のようなものです。 Clapper には、GPT-4o、Claude 3.5 (Sonnet) などの一連の「一流」大型モデルが組み込まれています。これは当事者 B のエグゼクティブ ディレクターのようなもので、お客様のニーズを対応する「AI ディレクター」に結び付ける責任があります。

上の写真からわかるように、最初のトラックはストーリーボードを表し、Clapper に組み込まれた大きなモデルと通信し、API を通じて Vincent ダイアグラム モデルを呼び出し、AI ストーリーボード教師に対応する画像をビデオとして生成させます。の基礎となる写真。

上記のテキスト グラフ モデルには、Clapper を通じてアクセスできます。

Clapper が提供したサンプル フィルムを例に挙げると、次のトラックはシーン、ナレーション、カメラ視点、BGM、効果音に対応します。この西部の荒野の物語で、廃墟の風の音や銃撃戦の爆発音を生成するよう、イレブンラボや Fal.ai に依頼できます。

Clapperには、「しゃべって映画を作る」という夢に向けて、本当に大きな一歩を踏み出すかもしれない機能がもうひとつある。スクリプトを Clapper に直接インポートし、「ストーリー」列で主人公のキャラクターを慎重に作成できます。

「オズの魔法使い」を例に挙げると、キャラクターにさらにパーソナライズされたキャラクターの説明を追加できるだけでなく、写真をアップロードしてヒロインのドロシーのビジュアルイメージを設定することもできます。これは、世界中の俳優にこの役を演じてもらうことができ、たとえ18歳のディカプリオがドロシーを演じるのを見たいとしても、それができることを意味します。 Clapperの機能は非常に細かく、キャラクターの年齢や音色、各シーンの家具、ドロシーの部屋の家具、冒険の目的地「エメラルドシティ」の家の様子など、すべてを調整することができます。クラッパー調整で調整します。

もちろん、AI を使用して最初に雰囲気のある絵を描くこともでき、インスピレーションと創造性をさらに刺激することができます。

しかし、Clapperの機能は動画制作のニーズを十分に考慮しているものの、その効果はやや物足りない。絵の中の登場人物の動きは少し「幽霊的」であるだけでなく、物理的な動きの法則に従っていません。ビデオ全体の効果は動く PPT のようで、ショット間のトランジションや連続性が欠けており、サウンドトラックも AI でいっぱいで、メロディーがなく、多少のノイズが含まれています。

生成 AI がビデオ制作プロセスを変えるには長い時間がかかるかもしれませんが、Clapper の登場は、従来のビデオ編集ソフトウェアの AI 機能をまだ拡張している大手メーカーに新たな実装アイデアを提供するかもしれません。

参考内容：

https://news.ycombinator.com/item?id=41221399

https://x.com/aigclink/status/1818111874531205216