новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Текст/Tencent Technology Чжоу Сяоянь

Скажу вам кое-что новое - в коротких дорамах, которые вы будете смотреть в будущем, от авансцены до закулисья, "людей" может и не быть.

В традиционной модели производственная цепочка короткометражной драмы, от разработки сценария, производства до проката, полна «людей». Но теперь, в связи с появлением ИИ, может потребоваться только один человек, который может управлять мышкой. перед экраном Режиссер может завершить все процессы.

19 августа Куньлунь Ванвэй выпустил SkyReels, первую в мире платформу для короткометражных драм с искусственным интеллектом, которая объединяет большие видеомодели и большие 3D-модели. Платформа SkyReels объединяет генерацию сценариев, настройку персонажей, раскадровки, сюжет, диалоги/фоновую музыку и синтез видео, что позволяет создателям «создавать драму одним щелчком мыши» и легко создавать высококачественные видеоролики с искусственным интеллектом. Запуск платформы короткометражных драм с использованием искусственного интеллекта Kunlun Wanwei SkyReels знаменует собой крупный технологический прорыв в глобальном создании короткометражных драм с использованием искусственного интеллекта.

Другими словами, нет необходимости нанимать актеров или искать место проведения. Вы можете использовать возможности искусственного интеллекта для создания короткого спектакля, открыв SkyReels и нажимая на клавиатуру.

ИИ разыгрывает сценки и начинает проникать на «ничейную территорию».

Амбиции Куньлуня Ванвэя в короткометражной драме об искусственном интеллекте: создать новый вид, который подрывает исходную модель производства.

Поездка за границу для участия в короткометражных пьесах – не новость.

В 2022 году на канале Chinese Online был запущен короткометражный драматический продукт ReelShort, а год спустя он занял первое место в списке бесплатных развлечений для iOS в США. Вскоре после этого восходящие звезды, такие как ShortTV и DramaBox, также продолжили выпускать популярные короткометражные драмы. Их темы - в основном боссы, любовь и оборотни. Популярная короткометражка ReelShort "Двойная жизнь моего мужа-миллиардера" включает в себя "героев, спасающих красавиц", "бои за собственность" и другие фрагменты.

Короткие драмы такого типа обычно представляют собой местные оригиналы, то есть зарубежным командам необходимо объединить местную культуру и интересы пользователей для создания сценариев, отвечающих эстетическим вкусам местных пользователей. Они могут точно уловить сюжетные моменты, которые делают местных жителей «привлекательными».

Основная проблема этих короткометражных пьес в том, что они требуют достаточного понимания и изучения местной культуры, производственный цикл длительный, а на поиск местных актеров тратится определенная сумма затрат.

На самом деле, первоначальная модель зарубежных короткометражных драм очень проста и груба. Обычно китайские местные драмы субтитрируются, а затем транслируются на местном уровне. Чтобы уменьшить чувство диссонанса, некоторые зарубежные команды используют искусственный интеллект для общения с актерами. короткие драмы Форма была оптимизирована так, что она выглядит как «актер с китайским лицом, говорящий реплики на английском языке», но некоторым зрителям она по-прежнему кажется жесткой, точно так же, как мы смотрим европейские и американские фильмы и сериалы в Китае. увидеть европейских и американских актеров с голубыми глазами и зелеными волосами. Это похоже на то, как будто люди говорят по-китайски странным тоном, что мешает зрителям почувствовать настоящее участие.

В результате некоторые зарубежные команды будут использовать ИИ, чтобы «изменять лица» актеров в коротких пьесах, чтобы они были более приняты местными жителями.

Видно, что раньше, чтобы снять популярную короткометражную драму, зарубежные команды придумывали различные «хитрости» и сжигали много ресурсов процессора.

Итак, существует ли в эпоху больших моделей короткометражный драматический продукт, который сможет преодолеть культурные различия, быть независимым от языковых ограничений и использовать ИИ для решения всех аспектов?

Это случилось в тот же год, когда ReelShort вышел в море, на это обратил внимание Куньлунь Ванвэй.АИГКСистемные возможности. Анализируя успешные модели в эпоху мобильного Интернета, мы обнаружили, что пароль кроется в модели «бесплатно + To C». И если мы понаблюдаем за «гигантскими» компаниями, которые все еще живы и здоровы, мы обнаружим это. многие из них будут. Определенный вид достиг высшего предела. Основываясь на этом суждении, Фан Хан, председатель и генеральный директор Kunlun Wanwei, может следовать этой логике для атаки на рынок AIGC.

Куньлунь Ванвэй подумал об «ИИ Пользовательский контент«Стратегия: начните с высокочастотных сценариев на стороне C, таких как изучение портретов единорогов в разделенных треках, таких как онлайн-статьи, короткие пьесы, анимация, музыка и т. д. Среди них короткие пьесы также стали важным вариантом для Куньлунь Ванвэй. Руководители: Я надеюсь создать новый вид, который разрушит первоначальную модель производства короткометражных драм.

Платформа для короткометражных драматических фильмов с искусственным интеллектом SkyReels также родилась в соответствии с этой логикой. Это универсальная платформа для создания короткометражных видеороликов, управляемая искусственным интеллектом. От создания сценария, создания персонажей, объединения кадров до окончательного создания короткометражных драм - все это контролируется искусственным интеллектом. генерируется.

В целом SkyReels работает как ИИ-агент режиссера, превращая простую идею в короткую пьесу.

Агент от начала до конца

кСораПосле появления модели генерации видео AI, представленной , многие игроки в стране и за рубежом последовательно запустили крупные модели генерации видео, такие как Pixverse,Быстро и легко, Чжиин Цинъюань, а также ряд начинающих режиссеров, которые используют эти большие модели для создания фильмов и телеработ. Хотя использование этих моделей позволяет добиться хороших эффектов создания видео, если вы хотите снять зрелый фильм, все же существуют определенные требования к собственным профессиональным способностям пользователя. Они должны иметь высокие способности к написанию сценариев и художественно-эстетические способности.

Например, пользователям необходимо заранее составить кадр, представить себе желаемый кадр, а затем использовать подсказки, содержащие профессиональные термины, чтобыВ середине путиПосле отладки удовлетворительного изображения на продукте импортируйте его в продукт для создания видео, чтобы отрегулировать объектив, и, наконец, экспортируйте работу.

Хотя эти инструменты также значительно сократили производственную цепочку кино- и телепроизведений, они больше ориентированы наПУГКГруппы и SkyReels имеют более низкий порог использования. Весь процесс работы прост и интеллектуален. Введите идею, а все остальное можно оставить на усмотрение ИИ.Для сравнения, SkyReels, первая в мире платформа короткометражных драм с искусственным интеллектом, представляет собой пользовательский продукт с более широкой аудиторией.

(Демонстрация продукта SkyReels)

SkyReels — это первая в мире платформа для создания видео, сочетающая в себе 3D-движки и генеративный искусственный интеллект. Процесс использования также очень прост. После выбора создания короткометражного фильма введите свои творческие идеи и выберите желаемый стиль видео, например стиль аниме или реализм. и стиль Ghibli Подождите, вы можете создать сценарий одним щелчком мыши. Система автоматически сгенерирует персонажей в соответствии с потребностями сценария и истории. Затем пользователь может просмотреть автоматически созданный сценарий раскадровки, преобразовать его в видео одним щелчком мыши и автоматически преобразовать контент в видео.1080P 60 кадровHD-видео;Длина видео может генерироваться до 180 секунд за раз.По сравнению с Sora, которая может генерировать 60-секундное видео за раз, и Keling, которая может генерировать 10-секундное видео, это значительный прорыв.

В целом, полная производственная цепочка короткометражной драмы включает в себя создание сценария, настройку персонажей, создание раскадровки, съемку эпизодов и постпродакшн, и SkyReels может повысить эффективность этой производственной цепочки с помощью трех самостоятельно разработанных больших моделей.

В процессе разработки контента используется традиционный метод производства короткометражных драм.Он выбирает некоторые главы из готовых онлайн-романов, а затем адаптирует их в соответствии с особенностями короткометражной драмы. Сценаристу необходимо уметь совмещать интересы аудитории и умело задавать поворотные моменты сюжета, чтобы увеличить его. готовность пользователя платить за следующую главу.

SkyReels использует крупные модели скриптов собственной разработки по этой ссылке.SkyScript, заменяя ручную разработку контента традиционных коротких пьес. Куньлунь Ванвэй первым создал SkyScript-100M, высококачественный структурированный набор данных коротких драм на 100 миллионов уровней. Этот набор данных содержит высококачественные аннотации для ритма сюжета, захватывающих моментов и эмоциональных изменений большого количества замечательных коротких драм; Кроме того, команда алгоритмов разработала систему постепенного создания сценариев, позволяющую модели выводить высокоструктурированные и захватывающие сценарии. С помощью этой модели как новички, так и опытные сценаристы могут создавать привлекательные сценарии коротких пьес.

После создания трогательной истории следующим шагом является преобразование этих историй в снятые сценарии. В традиционной модели производства эта связь требует приглашения актеров и настройки сцен в автономном режиме. Режиссеру необходимо обсудить с актерами основные вопросы перед съемками. включает в себя рабочую силу и установленные затраты. Но все это можно заменить большими моделями искусственного интеллекта. SkyReels использует в этой ссылке Kunlun Wanwei.Самостоятельно разработанная большая модель раскадровки StoryboardGen,Эта модель выполняет обратную обработку данных кино- и телевизионной анимации для получения высококачественного набора данных раскадровки промышленного уровня и разрабатывает многоагентную структуру раскадровки для достижения высококачественной генерации сцен, кадров, персонажей и действий. Что касается эффектов генерации изображения, Куньлунь Ванвэй использует модель DiT-Moe собственной разработки для улучшения качества изображения.

Как и в формальном съемочном процессе, кадры должны быть органично интегрированы, чтобы получилась целостная система сюжета.SkyReels использует WorldEngine, первую в отрасли инновационную платформу, которая глубоко интегрирует 3D-движки искусственного интеллекта и большие видеомодели для создания 3D-генерации, генерации видео и гибридного создания 3D-видео.。

Инновационная платформа WorldEngine состоит из нескольких подлинков, каждая из которых использует свою модель.

В модуле генерации 3DИспользуется большая модель Sky3DGen собственной разработки, которая может генерировать различные 3D-элементы и сцены, от природных ландшафтов до городов будущего, от статических объектов до динамических персонажей, и обеспечивает возможности взаимодействия с 3D-сценами в реальном времени, чтобы пользователи могли мгновенно просматривать их. Настраивайте и редактируйте эффекты, чтобы ускорить творческий процесс. При поддержке WorldEngine пользователи могут создать виртуальную 3D-студию для получения впечатлений от виртуальной съемки.

(Интеллектуальное создание 3D-сцен)

В модуле гибридного создания 3D и видео компания Kunlun Wanwei использует технологию слияния слоев в качестве основы для создания гибридной модели создания 3D и видео. Любой элемент видео можно свободно выбрать для создания с использованием 3D-движка искусственного интеллекта или большой видеомодели. Кроме того, Куньлунь Ванвэй отдельно обучил модель генерации слияния деталям освещения и различиям в стиле, возникающим при микшировании, чтобы видео после слияния слоев выглядело более согласованным.

(Смешанный для создания видео)

За счет использования движка WorldEngine удалось добиться снижения затрат по сравнению с традиционной генерацией видео, при этом скорость генерации также возросла на несколько порядков.

Хотя здесь в основном было создано короткое видео, люди, которые часто смотрят драмы, также почувствуют, что хорошие навыки реплик и подача сюжета в фоновой музыке позволяют получить вдвое больший результат, прилагая вдвое меньше усилий.

Что касается строк, технология распознавания текста AI SkyReels после глубокого изучения десятков тысяч романов может автоматически идентифицировать диалоги персонажей и выражения эмоций в тексте, а также прогнозировать разумные паузы между предложениями. Что касается повествования, SkyReels использует технологию синтеза эмоциональной речи, которая помогает повествованию использовать взлеты и падения ритма, чтобы сделать диалог персонажей полным богатых эмоций.

Куньлунь Ванвэй рассказал, что интеллектуальный агент SkyReels может не только понимать текст, но и интеллектуально анализировать атмосферу сцены в сценарии: «Основываясь на расширенных возможностях мультимодального поиска и генерации фоновой музыки (BGM), мы можем сопоставлять видеоинформацию с разумным фоном. Благодаря музыке каждый кадр идеально сочетается с музыкой».

Платформа короткометражных драм на базе искусственного интеллекта SkyReels от Kunlun Wanwei — это революционный инструмент, который, как ожидается, обеспечит взрывной рост пользовательского контента (UGC) и профессионального пользовательского контента (PUGC), привнося беспрецедентную жизнеспособность в экологию короткометражного контента. дальнейший быстрый рост создания короткометражного драматического контента и потребительского рынка. Наступает эра создания и потребления короткометражных драм, основанная на технологиях искусственного интеллекта.

Глобальный макет пользовательского контента Kunlun Wanwei AI

В исследовательском отчете Guohai Securities упоминается, что искусственный интеллект, как ожидается, увеличит производительность короткометражных драм и снизит затраты. По консервативным прогнозам, объем рынка зарубежных короткометражных драм составит примерно 36 миллиардов долларов США.

SkyReels — это воплощение стратегии зарубежного размещения Kunlun Wanwei, в основе которой лежит стратегическое мышление All in AIGC.

В 2020 году основатель Kunlun Wanwei Чжоу Яхуэй увидел потенциал AIGC и предсказал, что система искусственного интеллекта откроет золотой век нового контента.

Председатель и генеральный директор Kunlun Wanwei Фан Хан рассмотрел возможности эпохи мобильного Интернета, обобщил правила популярных контент-продуктов и обнаружил, что большинство из них представляют собой модель «бесплатно + To C», поскольку база групп достаточно велика, пока продукт может поразить пользователей. Определив точки спроса, мы можем добиться экспоненциального роста числа пользователей. Создание платформы «AI UGC» стало основной стратегией Kunlun Worldwide, которая заключается в предоставлении услуг 1% создателей контента и разрешении 99% пользователей. потреблять контент.

Итак, каковы изображения продуктов, ставших популярными в эпоху AIGC?

Фан Хан считает, что когда появятся новые терминальные аппаратные средства и новые мобильные телефоны, адаптированные к искусственному интеллекту, AIGC может добиться революционных результатов, но этот процесс все равно займет от 3 до 5 лет, и текущей основной задачей является выявление возможностей и прогнозирование. воспользоваться преимуществами AIGC.

По правилам эпохи мобильного Интернета каждая страна может иметь свое собственное суперприложение, либо суперприложение может одновременно делить территорию на несколько стран. После некоторого размышления Фан Хань решил, что сначала он должен занять страны с высокими эксплуатационными расходами и признанием, такие как Европа, США, Япония, Южная Корея и Китай, а затем постепенно распространиться на Ближний Восток, Юго-Восточную Азию, Южную Америку. и другие регионы.

После разграничения стран руководство Kunlun Wanwei начало думать о вертикальных категориях, которые могли бы породить суперприложения. Они продолжали задаваться вопросом: «Как мы можем стать гигантами?» участвующих в определенной вертикальной индустрии развлечений, таких как онлайн-статьи, короткие пьесы и анимация, та же логика будет повторяться в AIGC.

В настоящее время Kunlun Wanwei провела систематическое размещение в Китае в соответствии со стратегией «AI UGC» и построила матрицу продуктов в больших моделях, поиске AI, музыке AI и других секторах.

Среди них большая модель Куньлуня Ванвэя претерпела множество итераций:

Новая версия запущена в феврале.МОБольшая языковая модель «Tiangong 2.0» и новая версия приложения «Tiangong AI Intelligent Assistant»;

В апреле базовая модель Tiangong 3.0 и музыкальная модель Tiangong SkyMusic были официально представлены для публичного тестирования;

В июне компания Kunlun Wanwei открыла исходный код крупной модели Skywork-MoE стоимостью 200 миллиардов долларов, которая является частью «Tiangong 3.0».OpenAIЗаявляя о блокировке трафика API из неподдерживаемых стран и регионов, открытая платформа Tiangong запустила «план перемещения в один клик» для пользователей API OpenAl и предоставила ресурсы для вызова API в размере 150 миллионов токенов, включая модели Tiangong 2.0 и Tiangong 3.0.

Во время итерации больших моделей поиск с использованием ИИ также стал ключевым направлением деятельности Фан Ханя. Куньлунь Ванвэй представил поиск с использованием ИИ на год раньше, чем SearchGPT OpenAI, и в этом году обновил поисковый продукт, чтобы поддерживать поиск по тексту, изображениям, видео и т. д. в разделах пользователей. может представлять результаты в виде интеллектуальных карт, таблиц, схем и т. д., а также может сохранять схемы и интеллектуальные карты для непосредственного создания PPT.

Помимо уровня продукта, Kunlun Wanweiya объединилась с международными университетами для разработки набора инструментов для исследований и разработок цифровых агентов с открытым исходным кодом AgentStudio, чтобы предоставить исследователям и разработчикам комплексную платформу, охватывающую полный процесс разработки агентов.

Будь то внутри страны или за рубежом, каждой языковой системе нужен свой собственный набор продуктов. Куньлунь Ванвэй считает, что период глобальных дивидендов платформы AIGC вот-вот наступит.