новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Машинное Сердце Оригинал

Автор: У Синь

19 августа Куньлунь Ванвэй выпустил SkyReels, первую в мире платформу для короткометражных драм с искусственным интеллектом, которая объединяет большие видеомодели и большие 3D-модели. Платформа SkyReels объединяет генерацию сценариев, настройку персонажей, раскадровки, сюжет, диалоги/фоновую музыку и синтез видео, что позволяет создателям создавать драмы одним щелчком мыши и легко создавать высококачественные видеоролики с искусственным интеллектом. Это короткая пьеса продолжительностью две с половиной минуты.

Ссылка на видео: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

«Мы должны отказаться от нашего жесткого и сопротивляющегося мышления и принять этот век фрагментированной информации». глобальный вывод.

Отдельные эпизоды продолжительностью от нескольких минут до десяти и более, насыщенная зрелищность и динамичные сюжеты часто «наслаждают» пользователей. Всего за три года (к 2023 году) рынок короткометражных драм в Китае достиг ежегодного уровня театральных фильмов. 70% кассы.

В то же время по всему миру было запущено большое количество независимых приложений для короткометражных драм. Китайское программное обеспечение для короткометражных онлайн-драм ReelShort хорошо зарекомендовало себя в рейтингах iOS в США, даже превзойдя TikTok, который долгое время доминировал в рейтингах, и добился прорыва.

Короткометражные драмы стали одной из самых быстрорастущих областей кино и телевидения в последние годы, а также стали полигоном для испытаний новых технологий. «Перевод в один клик» и «изменение лица с помощью искусственного интеллекта» являются обычным явлением. Многие онлайн-писательские компании также выпустили большие модели создания контента, которые могут помочь авторам в написании. Благодаря возможностям создания видео для крупных моделей искусственного интеллекта время производства короткого сериала, которое раньше занимало три месяца, теперь занимает всего полмесяца.

Короткие видеоклипы, созданные с помощью ИИ, могут получить миллионы просмотров после выхода, но создание полноценной короткометражной драмы с использованием ИИ по-прежнему сталкивается со многими проблемами. Создателям приходится неоднократно «перепрыгивать» между несколькими инструментами искусственного интеллекта, такими как ChatGPT, Midjourney, Runway, Eleven Labs, ComfyUi, Adobe и Cutting, но результаты их работ по-прежнему остаются неудовлетворительными.

На этом фоне Kunlun Wanwei, китайская компания, занимающаяся технологиями искусственного интеллекта с более чем десятилетним опытом работы за рубежом, запустила первую в мире платформу для короткометражных драм с искусственным интеллектом SkyReels - платформу для короткометражных драм с искусственным интеллектом, которая объединяет большие видеомодели и большие 3D-модели. Это не только успешная реализация отечественных масштабных моделей в области короткометражных драм, но и знаменует наступление эпохи «драмы одного клика» и «один человек – одна драма».

В то же время ожидается, что этот революционный инструмент приведет к взрывному росту пользовательского контента короткометражных драм (UGC) и профессионального пользовательского контента (PUGC), а также будет способствовать дальнейшему быстрому росту создания и создания короткометражного контента. потребительский рынок.

1. Познакомьтесь со SkyReels — первой в мире платформой для короткометражных драм с искусственным интеллектом.

Демонстрация работы продукта SkyReels

Ссылка на видео: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Когда я открываю веб-страницу SkyReels, я сразу чувствую, что дизайн «AI Short Drama» сильно отличается от дизайна других платформ «AI Creative».

Оба основаны на искусственном интеллекте, но платформа AI Creative фокусируется на создании изображений и видео, а SkyReels объединяет генерацию сценариев, настройку персонажей, дизайн раскадровки, видеосъемку и синтез, полностью повторяя процесс индустриализации короткометражных пьес.

SkyReels объединяет создание сюжетов, создание сценариев, настройку персонажей, дизайн раскадровки, видеосъемку и синтез, полностью повторяя процесс индустриализации коротких драм.

Самое главное — иметь хорошую идею и превратить ее в крутой сценарий.

Хотя создание текста является зоной комфорта большой языковой модели LLM, отличие SkyReels в том, что большая модель, отвечающая за создание текста, прошла профессиональную подготовку и умеет писать «крутые» и потоковые сценарии.

Просто введите концепцию или идею сюжета и нажмите «Тип создания», например, эмоциональная драма, и система автоматически сгенерирует сценарий, соответствующий требованиям, с полной структурой и насыщенным сюжетом.

Пользователи также могут загружать готовые сценарии, а ИИ поможет их отшлифовать и оптимизировать, чтобы сделать более профессиональными и читабельными.

Система автоматически сгенерирует соответствующий требованиям сценарий на основе творческих подсказок, а также обобщит биографии задействованных персонажей для подготовки к последующему дизайну персонажей.

Когда сценарий готов, следующим шагом будет «найти актеров». На SkyReels этот шаг называется дизайном персонажей.

Обычно мы сначала позволяем LLM написать дизайн-текст, а затем передаем его в графический инструмент, такой как Midjourney, для создания изображения персонажа. Чтобы добавить озвучку персонажей, по-прежнему используются аудиоинструменты, такие как Elevenlabs.

Теперь просто зайдите на страницу и введите соответствующие требования (включая дубляж персонажа), и вы сможете «сгенерировать» персонажа одним щелчком мыши, что значительно повышает эффективность производства.

Просто зайдите на страницу и укажите соответствующие требования (включая озвучку персонажа), и персонажа можно будет сгенерировать одним щелчком мыши.

Перед началом съемок, помимо поиска актеров, режиссеру необходимо еще и создать раскадровку.Так называемая раскадровка в основном разбивает всю историю на ряд последовательных картинок, каждая картинка представляет собой определенную сцену или действие.

Раскадровка из фильма «Унесенные призраками» студии Ghibli.

Режиссеру без художественного образования очень хлопотно завершить оформление раскадровки с помощью художника. Теперь они могут позволить LLM сгенерировать текстовый сценарий кадра, а затем использовать такие инструменты, как Midjourney, для рисования раскадровки.

Однако очевидны и недостатки этого метода. Трудно обеспечить согласованность персонажей и сцен. Например, в полнометражном мини-сериале об искусственном интеллекте «Нува», запущенном на канале CCTV AI, Нува каждый раз выглядит по-другому, как будто их несколько.

На SkyReels искусственный интеллект сгенерирует изображения раскадровки и соответствующие текстовые сценарии одним щелчком мыши на основе содержимого сценария. Вам нужно всего лишь подождать 1-2 минуты, чтобы увидеть эффект каждого кадра. Если вас что-то не устраивает, вы также можете настроить эффект раскадровки, изменив текст (например, сцены или действия персонажей).

Что еще более важно, благодаря поддержке собственной разработки, изображения раскадровки не только имеют высокое разрешение и богаты деталями, но и персонажи и сцены могут сохранять последовательность и непрерывность в различных раскадровках.

ИИ будет генерировать изображения раскадровки и соответствующие текстовые сценарии одним щелчком мыши на основе содержимого сценария.

После того, как раскадровки разработаны и актеры расставлены, пора переходить к этапу «настоящих съемок».В настоящее время здесь также находится самое большое узкое место в развитии ИИ-кино и телевидения, поскольку хороших «камер», которые можно использовать, слишком мало.

Распространенным подходом является использование Pika и Runway для создания динамических эффектов, но есть много недостатков. Например, качество изображения плохое, движения персонажа мелкие или даже необоснованные (проблема с поеданием лапши), а сцены склонны к несоответствиям. Иногда транспортное средство движется, но колеса не вращаются, а брызги воды остаются неподвижными. движущаяся поверхность воды во время течения воды. Формы губ персонажей не совпадают, когда они говорят, а выражения их лиц напряжены.

Благодаря сочетанию 3D-движка AI и большой модели видео SkyReels может автоматически преобразовывать раскадровки в непрерывные видеоролики, делая сгенерированные сцены и персонажей более яркими и последовательными. Он также поддерживает вывод 60-кадрового видео 1080P, обеспечивая незабываемые впечатления от просмотра.

Кроме того, длина видео, которое может быть сгенерировано за раз, составляет до 180 секунд, что является значительным прорывом по сравнению с Sora, которая может генерировать 60-секундное видео за раз, и Keling, который может генерировать 10-секундное видео. видео за раз.

SkyReels может автоматически конвертировать раскадровки в непрерывные видеоролики.

Наконец, все результаты процесса можно интегрировать одним щелчком мыши, чтобы быстро создать окончательную короткую пьесу. ИИ также будет генерировать и рекомендовать подходящую фоновую музыку и звуковые эффекты на основе темы сценария и конкретных сцен, и пользователи могут добавлять их одним щелчком мыши.

Фоновую музыку и звуковые эффекты также можно добавить одним щелчком мыши.

Он поддерживает экспорт в видео одним щелчком мыши и может быть опубликован на платформах социальных сетей, таких как Douyin, одним щелчком мыши.

Поддерживает обмен дизайнами персонажей одним щелчком мыши.

2. За «драматией в один клик» скрываются три уровня технологических инноваций.

Три слоя технологических инноваций, как три столпа, поддерживают «драму одного клика» SkyReels:

Большая модель сценария собственной разработки SkyScript, большая модель раскадровки собственной разработки StoryboardGen и первая в отрасли инновационная платформа WorldEngine, глубоко интегрирующая 3D-движки искусственного интеллекта и большие видеомодели.

SkyScript, большая модель сценария, отвечает за освоение «души» короткометражного спектакля — сценария.Фактически не только сценарий, но и текстовая модель поддерживает весь творческий процесс.

Некоторые авторы микрокороткометражных драм пытались использовать ChatGPT для создания сценариев, но обнаружили, что в конечном результате не было эмоционального напряжения и изменений сюжета, а была просто куча плоского текста. Куньлунь Ванвэй создал SkyScript-100M, высококачественный структурированный набор данных для коротких драм на 100 миллионов уровней. Этот набор данных содержит высококачественные аннотации для ритма сюжета, захватывающих моментов и эмоциональных изменений большого количества замечательных коротких драм. , и специально разработан для создания сценариев.

Техническая схема большой модели сценария SkyScript

Принцип создания раскадровки сценария большой модели сценария SkyScript.

Например, если вы хотите стать хитом, помимо изучения основных принципов и распространенных моделей создания больших объемов данных, вам также необходимо изучить некоторые проверенные «программы». Зрители часто отдают явное предпочтение сюжетам с быстрым темпом, сильными конфликтами, повторяющимся напряжением и множеством разворотов, таких как контратака, чтобы изменить судьбу, властная жена, ссоры в богатых семьях, путешествия во времени и возрождение, вампиры, оборотни и т. д. это также темы, от которых они никогда не устанут.

Популярная короткометражка ReelShort «Двойная жизнь моего мужа-миллиардера» рассказывает сначала о браке, а потом о любви. Единственный эпизод длится около 1 минуты и 30 секунд. Примерно к 12-му эпизоду главные герои мужского и женского пола быстро завершили потепление отношений. находится в интенсивном пересечении сюжетов и покрыт. Он содержит такие сюжеты, как порочная женская роль второго плана, договорной брак, герой, спасающий красавицу, и борьба за собственность. Подробный отчет о зарубежной экспансии китайских короткометражных драм от Guohai Securities.

Тщательно аннотируя «крутые моменты» истории, вызывающие сильный интерес у аудитории, такие как внешний вид главного героя, композиция кадра и эмоции, выражаемые персонажами, SkyScript учится обращать внимание на эти моменты и генерировать их. подробности.

Что касается архитектуры модели, чтобы обеспечить профессионализм и управляемость генерируемого контента, SkyScript также использует мультиагентную структуру. Благодаря сотрудничеству «творческих людей», «директоров по кастингу», «сценаристов», «писателей романов», «режиссеров» и других интеллектуальных агентов имитируется процесс промышленного производства для завершения создания сценария.

Оценка качества сценария большой модели SkyScript.

В конечном счете, короткая пьеса — это представление визуального языка. Поэтому два других слоя инноваций — StoryboardGen и WorldEngine — фокусируются на «плоти и крови» короткометражного спектакля, то есть съемки.

Как и SkyScript, StoryboardGen, самостоятельно разработанная крупномасштабная модель раскадровки, также была обучена на высококачественных профессиональных примерах раскадровки в реальном мире. Она специально разработана для проектирования раскадровки и далека от моделей генерации изображений общего назначения. .

Аналогичным образом, на основе мультиагентной структуры различные элементы раскадровки (сцены, кадры, персонажи, действия и т. д.) разлагаются на несколько агентов для обработки, что значительно повышает управляемость и последовательность процесса создания раскадровки.

Техническая схематическая диаграмма StoryboardGen, большой модели раскадровки. Подобно съемкам фильмов и производству анимации, StoryboardGen на основе мультиагентной структуры разбивает весь процесс на несколько агентов, каждый из которых отвечает за определенную функцию, что повышает управляемость и последовательность процесса создания раскадровки.

Предположим, есть сценарий, описывающий сцену, например, человека, идущего в парке.

Планировщик LLM сначала разобьет сценарий на две части.

Среди них глобальное описание (глобальная подсказка): «Человек гуляет в солнечном парке»;

Местное описание (подсказка): «Этот человек — мужчина средних лет, одетый в повседневную одежду, держит в руке чашку кофе и идет неторопливым шагом».

В процессе генерации разные агенты выполняют свои обязанности. Например, агент сцены генерирует фон и планировку парка на основе глобального описания, агент персонажа генерирует образ и действия персонажа мужского пола на основе локального описания.

Наконец, агент раскадровки интегрирует это сгенерированное содержимое и создает окончательную раскадровку на основе всей описанной информации и условий.

Статус оценки качества StoryboardGen большой модели раскадровки.

Помимо управляемости и последовательности, чтобы сделать изображения раскадровки более выразительными, StoryboardGen также значительно улучшил сложность и точность детализации изображений.

Например, StoryboardGen использует структуру прогрессивной генерации на основе DiT для создания окончательного изображения посредством многочисленных модификаций и улучшений. По сравнению с традиционными моделями однократной генерации эта платформа может в полной мере использовать информацию, сгенерированную в промежуточном процессе, для создания раскадровок более высокого качества и с более богатыми визуальными эффектами.

Третий уровень технологических инноваций — это инновационная платформа World Engine, которая первой в отрасли плавно соединяет технологию генерации 3D и технологию генерации видео посредством слияния слоев и других методов, что эквивалентно предоставлению создателям мощной «камеры»». или даже «студия».

WorldEngine объединяетТочная управляемость двигателя (например, моделирование освещения, физическое моделирование, трехмерное пространство, взаимодействие в реальном времени и т. д.) и возможность генерации фантазий большой модели видео AI., предоставляет новый онлайн-режим создания гибридного видео, позволяющий перейти от нечеткой генерации видео к более точному и контролируемому.

Предположим, вы создаете сцену, в которой Пикачу веселится под фонтаном. Вы можете позволить Sky3DGen одновременно создать точную сцену с фонтаном, а видеомодель создаст реалистичного Пикачу.

Гибридный видеокейс

Ссылка на видео: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Мы знаем, что большие видеомодели, такие как Сора, могут легко создавать почти реалистичные эффекты, не имеющие аналогов в игровых движках и полные воображения, но они не понимают физический мир и не могут точно моделировать некоторые из самых основных физических взаимодействий, таких как стекло. ломать и есть. Лицо и так далее.

Преимущество игрового движка заключается в точной имитации реальных физических законов. С помощью сложных математических моделей он может создать виртуальную среду, согласованную в пространстве и времени и соответствующую объективным законам. Это не только обеспечивает согласованность и предсказуемость результатов рендеринга, но и демонстрирует глубокое понимание трехмерного пространства.

Неудивительно, что компания Kunlun Wanwei, одна из крупнейших компаний по разработке и эксплуатации игр в Китае, разработала собственную большую модель Sky3DGen и «дополняет свои преимущества» большой моделью видео, предоставляя создателям новую гибридную модель создания.

На SkyReels вы можете менять различные 3D-сцены и формы и даже поведение персонажей.

Чехол для создания 3D-видео

Ссылка на видео: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Случай создания видео 3D-сцены

Ссылка на видео: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Игра персонажей — один из основных элементов коротких пьес. Куньлунь Ванвэй независимо разработал модель создания персонажей ActorShow, которая обладает более сильными управляемыми возможностями создания выражений рта и движений тела.

Ссылка на видео: https://mp.weixin.qq.com/s/4w5eOquY6p2Z7pXIUuKf9w

Оценка качества моделей генерации характеристик персонажей.

В процессе создания пользователи также могут свободно определять виртуальную 3D-студию съёмки.

Хотите сегодня снять сюжет в пустыне? Всего за несколько кликов вся сцена превращается в огромную пустыню. Ты собираешься завтра сниматься на космической станции? Еще несколько щелчков мышью, и все вокруг превратилось в интерьер высокотехнологичной космической станции.

Вы даже можете размещать и перемещать виртуальные камеры в виртуальной студии, чтобы попробовать разные углы съемки. Отрегулируйте свет и добавьте специальные эффекты, чтобы получить очень профессиональный эффект съемки.

За счет использования движка WorldEngine удалось добиться революционного снижения стоимости по сравнению с традиционной генерацией видео, при этом скорость генерации и управляемость улучшились на несколько порядков.

3. Сделайте ставку на AI UGC и перейдите к покерному столу.

SkyReels, платформа для короткометражных драм на базе искусственного интеллекта, является последним членом матрицы продуктов прикладного уровня искусственного интеллекта компании Kunlun Wanwei.

До этого они успешно создали разнообразную линейку продуктов, включая поиск с использованием ИИ, музыку с использованием ИИ, видео с использованием ИИ, социальные сети с использованием ИИ, игры с использованием ИИ и т. д., а некоторые из их предприятий были коммерциализированы.

Будучи одной из первых китайских компаний, вышедших на мировой рынок, с более чем десятилетним опытом работы в индустрии контента и развлечений, Kunlun Wanwei осознала, что платформа UGC (пользовательский контент) поддерживает долгосрочную тенденцию в Также прогнозируется, что вмешательство AIGC не только разнообразит методы создания интеллектуальной собственности для веб-статей, коротких пьес, анимации и игр, но, что более важно, значительно снизит порог создания контента.

Как говорят представители отрасли: «Каждый раз, когда порог создания контента удваивается, количество людей, создающих контент, увеличивается в десять раз». Это указывает на огромные рыночные возможности.

Поэтому Куньлунь стремится создать комплексную платформу пользовательского контента с IP в качестве ядра, чтобы все пользователи, использующие ИИ для создания, могли завершить полный замкнутый цикл IP. Они прекрасно знают, что инструмент, который может скрыть все технические детали и обеспечить сквозную генерацию контента, имеет реальную коммерческую ценность. В этом также глубокая логика продуктов «генерации в один клик», таких как SkyReels.

Помимо создания платформы AI UGC на верхнем и нижнем уровне, Куньлунь Ванвэй также занимается разработкой базы для больших моделей общего назначения. Это вытекает из простого, но глубокого понимания: с технической точки зрения человеческая мудрость выражается в форме текста, и все эксклюзивные модели для социальных сетей, игр, музыки и видео неотделимы от поддержки больших текстовых моделей.

Модель Tiangong, разработанная Куньлунь Ванвэем самостоятельно, была усовершенствована до версии 3.0. «Tiangong 3.0» использует архитектуру MoE с 400 миллиардами параметров и в настоящее время является одной из моделей MoE с открытым исходным кодом с самыми большими параметрами модели и самой высокой производительностью в мире. Во многих авторитетных результатах мультимодальной оценки, таких как MMBench, «Tiangong 3.0» превзошел GPT-4V, а многие показатели оценки достигли лидирующего мирового уровня.

Обладая прочной базой крупных моделей общего назначения, Kunlun Wanwei шаг за шагом продвигалась в области контента и развлечений, расширяя возможности своих моделей по горизонтали — от музыки, литературных диаграмм, создания видео до создания коротких драм, а также последовательно запустила масштабную музыкальную программу SkyMusic AI. модель, мультимодальная большая модель Skywork -MM, большая модель сценария SkyScript, большая модель раскадровки StoryboardGen, большая 3D-модель Sky3DGen и т. д.

Фан Хан, председатель и генеральный директор Kunlun Wanwei, однажды предсказал, что точно так же, как камеры произвели революцию в методах съемки и породили большое количество платформ для коротких видео, таких как Douyin и Kuaishou, ИИ также породит большое количество новых AI UGC. платформы. Он твердо уверен, что только модель «свободно + до C» может породить настоящие гигантские компании в эпоху искусственного интеллекта.

Для Kunlun Technology, обладающей глубокими генами 2C, появление AIGC, несомненно, представляет собой редкую возможность. Эта компания, которая всегда мечтала стать ведущей компанией в области технологий искусственного интеллекта, изначально думала, что упустила возможность попасть за покерный стол, но не ожидала, что AIGC откроет для них новую дверь. Они много работают, выкладываются изо всех сил. ‍

Адрес внутреннего бета-приложения: https://skyreels.ai/beta.