Kunlun Wanwei が世界初の AI 短編ドラマ プラットフォーム SkyReels をローンチ
2024-08-19
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
8月19日、Kunlun Wanweiは、ビデオラージモデルと3Dラージモデルを統合した世界初のAI短編ドラマプラットフォームであるSkyReelsをリリースしました。 SkyReels プラットフォームは、脚本の生成、キャラクターのカスタマイズ、絵コンテ、プロット、セリフ/BGM、ビデオ合成を統合しており、クリエイターは「ワンクリックでドラマを作る」ことができ、高品質な AI ビデオを簡単に制作できます。
ファンタジーの大ヒット作、痛切なサドマゾヒズム、陽気なコメディ…簡単なアイデアを入力するだけで、SkyReels は台本から短編劇の完成までの制作プロセス全体を完了できます。
SkyReels プラットフォームは、Kunlun Wanwei の自社開発スクリプト大型モデル SkyScript、自社開発のストーリーボード大型モデル StoryboardGen、自社開発の 3D 生成大型モデル Sky3DGen、および AI 3D エンジンとビデオ大型モデルを深く統合する業界初の革新的なプラットフォーム WorldEngine を統合しています。
SkyReels は、脚本の品質、絵コンテの品質、キャラクターのパフォーマンスなどの品質評価において、GPT-4o などの大型モデルを上回っています。
SkyReels は、AI を通じてワンクリックで完全なスクリプト、ストーリーボード、キャラクターのダイアログ、BGM を生成でき、キャラクターの画像、サウンド、ストーリーボードのカスタム調整をサポートし、コンテンツを 1080P 60 フレームの高解像度ビデオに自動的に変換して生成できます。これは、一度に 60 秒のビデオを生成できる Sora や一度に 10 秒のビデオを生成できる Keling と比較すると、大幅な進歩です。すべてのクリエイティブ結果をワンクリックで統合することで、動画制作の効率を大幅に向上させ、制作コストを削減し、「1人1ドラマ」の時代を加速させます。
同時に、WorldEngine は、エンジンの正確な制御性 (照明シミュレーション、物理シミュレーション、3D 空間、リアルタイム インタラクションなど) と AI ビデオ大型モデルのファンタジー生成能力を組み合わせ、新しいオンライン ハイブリッド ビデオを提供します。作成モードにより、ビデオ作成が曖昧な生成からより正確で制御可能なものに移行します。
SkyReelsのハイライトは次のとおりです。
完全に自動化されたスクリプト生成: ユーザーがコンセプトやアイデアを入力すると、AI がワンクリックで完全な構造と豊富なプロットを備えたスクリプトを生成し、既存のスクリプトの自動配置と洗練をサポートしてクリエイティブ効率を向上させます。
高品質のプロット設計: このシステムは、多数の脚本プロットを分析して、高品質のストーリーライン、ドラマチックな対立、刺激的なポイント、感情表現を生成し、脚本の豊かさと魅力を保証します。
インテリジェントなストーリーボード生成: スクリプトの内容に基づいて、ストーリーボードの画像と対応するテキスト スクリプトがワンクリックで生成され、ユーザーはストーリーボード、カメラ アングル、カメラの移動方法などのパラメーターを自由に調整して、創造性を正確に実現できます。
感情豊かなセリフ・BGM：感情豊かな音声合成技術により、キャラクターに自然な文間の間・感情表現・リズムを与え、映像内容に基づいてAI BGMを自動生成し、映像と音楽を完璧に融合させます。
パーソナライズされたカスタマイズ: クリエイターの個々のニーズを満たすキャラクター画像、音色、ストーリーボードのインテリジェントな生成とカスタム調整をサポートし、好みに適応するためにアニメーション、漫画、実写 3D などのさまざまなビジュアル スタイルの選択肢を提供します。さまざまなクリエイターの好みがニーズを表します。
コンテンツの一貫性と正確性: 異なるストーリーボード内のキャラクターとシーンの一貫性を確保し、ストーリーの説明に基づいてキャラクターのパフォーマンスを自動的に推定して、キャラクターの表情、アクション、セリフを調整してストーリー表現を向上させます。
効率的なビデオ生成: ストーリーボードを連続高解像度ビデオに自動的に変換し、1080P 60 フレーム出力を提供してスムーズな視聴体験を保証します。
便利なポストプロダクション合成: ワンクリックですべてのクリエイティブな結果を統合し、ポスト編集を容易にするために複数の形式でのダウンロードをサポートします。
SkyReels の AI スクリプト生成機能は、Kunlun Wanwei が自社開発した大規模スクリプト モデル SkyScript に基づいています。 AI によって生成された脚本に、短編ドラマの高密度で刺激的なプロットを持たせるために、クンルン ワンウェイはまず、10 億レベルの高品質な短編ドラマ構造化データ セット SkyScript-100M を構築しました。このデータ セットは、プロットのリズムと興奮をターゲットとしています。大量の短いドラマのポイントと感情の変化が高品質で注釈されています。
次に、アルゴリズム チームは、段階的に生成される脚本生成フレームワークを設計しました。これにより、モデルが高度に構造化されたエキサイティングな脚本を出力できるようになり、初心者の作家も経験豊富な劇作家も、それを使用して創造性を刺激し、魅力的な短編劇の脚本を簡単に作成できます。
短編ドラマの作成におけるもう 1 つの重要なステップであるストーリーボード生成では、Kunlun Wanwei が自社開発したストーリーボード生成大型モデル StoryboardGen が基礎となるテクノロジーを提供します。 StoryboardGen は、DiT-MoE アーキテクチャ (Diffusion Transformer テクノロジーに基づく Mixed-of-Experts ハイブリッド エキスパート アーキテクチャ) に基づいた Kunlun Wanwei の最初のストーリーボード生成モデルであり、高密度のストーリーボード情報生成を実現し、視覚的なナラティブ表現機能を大幅に向上させることができます。
スクリプトを入力すると、StoryboardGen モデルはスクリプトをグローバル部分とメイン部分の 2 つの部分に分解します。グローバル部分には、シーン、シーン、コンポジションなどのストーリーボードの全体的な記述が含まれます。メイン部分にはカスタマイズが含まれます。キャラクター画像とアクションフィギュアのデータが最終的にストーリーボードエージェントに収集され、完全なストーリーボードが生成されます。 StoryboardGen の特殊なマルチエージェント アーキテクチャは、キャラクターとシーンの制御性と一貫性を効果的に確保し、高品質の工業グレードのストーリーボードを作成できます。
Kunlun Wanwei StoryboardGen 大型ストーリーボード モデルの技術概略図
WorldEngine は、最終的な画像生成プロセスにおいて、AI 3D エンジンとビデオ大規模モデルを深く統合する業界初の革新的なプラットフォームです。これは画期的な技術革新であり、レイヤー フュージョン技術をブリッジとして使用し、これまでにない 3D とビデオのハイブリッド作成モードを実現します。
ユーザーは、SkyReels を使用して AI ビデオを生成する際、任意の要素に対して 3D AI エンジンの生成を使用するか、ビデオの大規模モデルの生成を使用するかを自由に選択できます。この革新的なモデルは、ゲーム内でよく発生する「型破り」と「反重力」の問題を突破します。現在の AI ビデオ大型モデルでは、反物理法則現象により、物理シミュレーションの精度とビデオ大型モデルのファンタジーの創造性が最大限に融合されています。以降、AI動画生成大型モデルは「ファジー制御」の時代から「精密な制御性」の時代へ移行していきます。
3D AI エンジンに関しては、Kunlun Wanwei が自社開発した Sky3DGen 大型モデルは、自然の風景から未来の都市、静的なオブジェクトから動的なキャラクターに至るまで、多様な 3D 要素とシーンを生成でき、リアルタイムの 3D シーン インタラクション機能を提供し、ユーザーは調整や編集の効果を即座に確認できるため、クリエイティブなプロセスがスピードアップします。 WorldEngine のサポートにより、ユーザーは 3D 仮想スタジオを簡単に構築して、夢のような仮想撮影体験を実現することもできます。
キャラクターのパフォーマンスは、短編劇のプレゼンテーションにおける重要な要素の 1 つです。したがって、AI キャラクターのパフォーマンスの点で、Kunlun SkyReels チームは ActorShow キャラクター生成モデルを特別に開発しました。これにより、SkyReels によって生成された AI キャラクターは、口の表情や体の動きの制御可能な生成能力が強化され、キャラクターのプレゼンテーションがより自然になります。
ライティングの違い、スタイルの違い、およびビデオ合成後のニーズに対応して、Kunlun SkyReels チームは特別なフュージョン生成モデルを個別にトレーニングし、レイヤーフュージョン後のビデオが良好な一貫性を示すようにしました。
Kunlun Wanwei AI ショート ドラマ プラットフォーム SkyReels の立ち上げは、世界的な AI ショート ドラマ作成における技術的飛躍を示し、ビデオ コンテンツ作成プロセスを完全に覆し、クリエイターを退屈で複雑な制作プロセスから解放し、クリエイティブな実現とインスピレーションを与える表現に集中できるようにします。 「1人1ドラマ」の夢が現実に。
SkyReels AI ショート ドラマ プラットフォームは、プロのコンテンツ クリエイターに強力なクリエイティブ ツールを提供するだけでなく、AI ショート ドラマ作成の敷居を大幅に下げ、プロ以外のユーザーでも簡単に始められるようにします。この革新的なツールは、AIショートドラマユーザー生成コンテンツ（UGC）とプロフェッショナルユーザー生成コンテンツ（PUGC）の爆発的な成長をもたらし、ショートドラマコンテンツエコシステムに前例のない活力を注入し、ショートドラマの発展を促進すると期待されています。コンテンツ制作・消費市場はさらに急成長。 AI技術が牽引する短編ドラマの制作・消費の時代が到来する。
Kunlun Technology は、先進的な AIGC テクノロジーを通じて、よりインテリジェントで効率的でパーソナライズされたツールを世界中のコンテンツ クリエイターに提供することに常に取り組んできました。 Kunlun Technology は、「All in AGI and AIGC」戦略を推進し、その使命として「汎用人工知能を実現し、誰もが自分自身をより良く形成し表現できるようにする」ことに常に取り組んできました。今後もKunlun Wanweiは世界市場の徹底した探索を通じて革新を続け、高品質のAIGC製品とサービスをユーザーに提供していきます。
翻訳する
検索
コピー
