Куньлунь Ванвэй запускает первую в мире платформу короткометражных драм с искусственным интеллектом SkyReels
2024-08-19
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
19 августа Куньлунь Ванвэй выпустил SkyReels, первую в мире платформу для короткометражных драм с искусственным интеллектом, которая объединяет большие видеомодели и большие 3D-модели. Платформа SkyReels объединяет генерацию сценариев, настройку персонажей, раскадровки, сюжет, диалоги/фоновую музыку и синтез видео, что позволяет создателям «создавать драму одним щелчком мыши» и легко создавать высококачественные видеоролики с искусственным интеллектом.
Фэнтезийные блокбастеры, острый садомазохизм, веселые комедии... Просто введите простую идею, и SkyReels сможет завершить весь производственный процесс от сценария до готового короткометражного спектакля.
Платформа SkyReels включает в себя большую модель сценария SkyScript, разработанную Kunlun Wanwei, большую модель раскадровки StoryboardGen собственной разработки, большую модель Sky3DGen собственной разработки, созданную в 3D, и первую в отрасли инновационную платформу WorldEngine, которая глубоко интегрирует движки AI 3D и большие видеомодели.
SkyReels опережает крупные модели, такие как GPT-4o, по оценке качества сценария, качества раскадровки, характеристик персонажей и других параметров.
SkyReels может создавать полные сценарии, раскадровки, диалоги персонажей и фоновую музыку одним щелчком мыши с помощью искусственного интеллекта. Он поддерживает пользовательские настройки изображений, звуков и раскадровок персонажей, а также может автоматически конвертировать контент в 60-кадровые видеоролики высокой четкости с разрешением 1080P и генерировать видео высокой четкости. видео за один раз. Продолжительность достигает 180 секунд, что является значительным прорывом по сравнению с Sora, которая может генерировать 60-секундное видео за раз, и Keling, который может генерировать 10-секундное видео за раз. Интегрируйте все творческие результаты одним щелчком мыши, что значительно повысит эффективность создания видео, снизит затраты на создание и ускорит эпоху «один человек, одна драма».
В то же время WorldEngine сочетает в себе точную управляемость движка (например, симуляцию освещения, физическую симуляцию, трехмерное пространство, взаимодействие в реальном времени и т. д.) с возможностью генерации фантазий больших моделей видео AI, обеспечивая новое гибридное онлайн-видео. режим создания, позволяющий создавать видео и переходить от нечеткой генерации к более точной и управляемой.
Основные моменты SkyReels заключаются в следующем:
Полностью автоматизированное создание сценариев: пользователи вводят концепции или идеи, а искусственный интеллект сгенерирует сценарий с полной структурой и богатым сюжетом одним щелчком мыши, а также поддерживает автоматическое упорядочение и доработку существующих сценариев для повышения творческой эффективности.
Высококачественный дизайн сюжета. Система генерирует высококачественные сюжетные линии, драматические конфликты, захватывающие моменты и выражения эмоций, анализируя большое количество сюжетов сценария, чтобы обеспечить его богатство и привлекательность.
Интеллектуальная генерация раскадровки: на основе содержимого сценария одним щелчком мыши создаются изображения раскадровки и соответствующие текстовые сценарии. Пользователи также могут свободно настраивать такие параметры, как раскадровки, ракурсы и методы движения камеры, чтобы обеспечить точную реализацию творчества.
Эмоциональный диалог/фоновая музыка: благодаря технологии синтеза эмоциональной речи персонажам предоставляются естественные паузы между предложениями, эмоциональные выражения и ритм, а фоновая музыка с помощью искусственного интеллекта автоматически генерируется на основе видеоконтента, чтобы идеально объединить изображение и музыку.
Персонализированная настройка: поддерживает интеллектуальное создание и индивидуальную настройку изображений персонажей, тембров и раскадровки для удовлетворения индивидуальных потребностей создателей, а также предоставляет различные варианты визуальных стилей, таких как анимация, мультфильмы и 3D-игры с живыми актерами, для адаптации к предпочтениям. и предпочтения разных создателей. Контент выражает потребности.
Согласованность и точность контента. Обеспечьте согласованность персонажей и сцен в разных раскадровках и автоматически делайте выводы о действиях персонажей на основе описаний историй, чтобы добиться координации выражений персонажей, действий и реплик для улучшения выразительности истории.
Эффективное создание видео: автоматически преобразуйте раскадровки в непрерывные видеоролики высокой четкости, обеспечивая вывод 60 кадров 1080P для обеспечения плавного просмотра.
Удобный постобработочный синтез: интегрируйте все творческие результаты одним щелчком мыши, а также быстро экспортируйте и делитесь ими. Поддерживается загрузка в нескольких форматах для облегчения постредактирования.
Функция генерации сценариев искусственного интеллекта SkyReels основана на модели большого сценария SkyScript, разработанной Kunlun Wanwei самостоятельно. Чтобы сценарии, созданные с помощью ИИ, имели высокоплотный и захватывающий сюжет коротких драм, Куньлунь Ванвэй сначала создал высококачественный структурированный набор данных для коротких драм на миллиард уровней SkyScript-100M. Этот набор данных ориентирован на ритм и азарт сюжета. крупные короткие драмы с высоким качеством аннотированы моменты и смена эмоций;
Во-вторых, команда алгоритмов разработала систему постепенного создания сценариев, позволяющую модели выводить высокоструктурированные и захватывающие сценарии. Как начинающие авторы, так и опытные драматурги могут использовать ее для стимулирования творческих способностей и легкого создания увлекательных сценариев коротких пьес.
Еще один важный шаг в создании коротких драм - генерация раскадровки. Большая модель раскадровки, разработанная Куньлунем Ванвэем StoryboardGen, обеспечивает базовую технологию. StoryboardGen — это первая модель создания раскадровки от Kunlun Wanwei, основанная на архитектуре DiT-MoE (гибридная экспертная архитектура со смешанными экспертами, основанная на технологии Diffusion Transformer). Она может обеспечить генерацию информации раскадровки с высокой плотностью и значительно расширить возможности визуального выражения повествования.
После ввода сценария модель StoryboardGen разложит сценарий на две части: глобальную часть и основную часть. Глобальная часть включает общее описание раскадровки, такое как сцены, сцены, композиции и т. д. Основная часть включает в себя настройку. изображений персонажей и фигурок, которые в конечном итоге собираются в агентах раскадровки, создают полные раскадровки. Специализированная мультиагентная архитектура StoryboardGen позволяет эффективно обеспечивать управляемость и согласованность персонажей и сцен, а также создавать высококачественные раскадровки промышленного уровня.
Техническая схема большой раскадровки Kunlun Wanwei StoryboardGen
WorldEngine — это первая в отрасли инновационная платформа, которая глубоко интегрирует 3D-движок искусственного интеллекта и крупные видеомодели в процессе окончательного создания изображения. Это эпохальная технологическая инновация. WorldEngine использует технологию слияния слоев в качестве моста для создания беспрецедентного гибридного режима создания 3D и видео.
Когда пользователи используют SkyReels для создания видеороликов с использованием искусственного интеллекта, они могут свободно выбирать между созданием 3D-движка искусственного интеллекта или созданием большой модели видео для любого элемента. Эта инновационная модель решает проблемы «разрушения шаблонов» и «антигравитации», которые часто возникают в. современные большие модели видео AI. Феномен антифизического закона в наибольшей степени обеспечивает идеальное сочетание точности физического моделирования и фантазийного творчества больших видеомоделей. С тех пор крупные модели генерации ИИ-видео перейдут из эпохи «нечеткого управления» в эпоху «точной управляемости».
Что касается 3D-движка искусственного интеллекта, большая модель Sky3DGen, разработанная компанией Kunlun Wanwei, может генерировать разнообразные 3D-элементы и сцены, от природных ландшафтов до городов будущего, от статических объектов до динамических персонажей, а также обеспечивает возможности взаимодействия с 3D-сценой в реальном времени, благодаря чему пользователи могут мгновенно увидеть результаты корректировок и правок, ускоряя творческий процесс. При поддержке WorldEngine пользователи также могут легко создать виртуальную 3D-студию и получить невероятные впечатления от виртуальной съемки.
Игра персонажей — одно из основных звеньев в представлении коротких пьес. Поэтому, что касается производительности персонажей AI, команда Kunlun SkyReels специально разработала модель генерации персонажей ActorShow, чтобы персонажи AI, созданные SkyReels, имели более сильные контролируемые возможности генерации выражений рта и движений тела, а представление персонажей было более естественным.
В ответ на различия в освещении, стиле и других потребностях, возникающих при постсинтезе видео, команда Kunlun SkyReels отдельно обучила специальную модель генерации слияния, чтобы видео после слияния слоев обеспечивало хорошую согласованность.
Запуск платформы для короткометражных драм с искусственным интеллектом Kunlun Wanwei SkyReels знаменует собой технологический скачок в глобальном создании короткометражных драм с использованием искусственного интеллекта. Она полностью изменит процесс создания видеоконтента, освободив создателей от утомительного и сложного производственного процесса, чтобы сосредоточиться на творческой реализации и вдохновляющем самовыражении. мечта «один человек, одна драма» стала реальностью.
Платформа короткометражных драм SkyReels с искусственным интеллектом не только предоставляет мощные творческие инструменты для профессиональных создателей контента, но также значительно снижает порог создания короткометражных драм с использованием искусственного интеллекта, упрощая начало работы непрофессиональным пользователям. Ожидается, что этот революционный инструмент приведет к взрывному росту пользовательского контента короткометражных драм (UGC) и профессионального пользовательского контента (PUGC), привнесет беспрецедентную жизнеспособность в экосистему контента короткометражных драм и будет способствовать развитию короткометражных драм. рынок создания и потребления контента, дальнейший быстрый рост. Наступает эра создания и потребления короткометражных драм, основанная на технологиях искусственного интеллекта.
Kunlun Technology всегда стремилась предоставлять создателям контента по всему миру более интеллектуальные, эффективные и персонализированные инструменты с помощью передовой технологии AIGC. Руководствуясь стратегией «Все в AGI и AIGC», компания Kunlun Technology всегда стремилась «реализовать общий искусственный интеллект и позволить каждому лучше формировать и выражать себя» в качестве своей миссии. В будущем Kunlun Wanwei продолжит внедрять инновации и предоставлять пользователям высококачественные продукты и услуги AIGC посредством углубленного изучения мирового рынка.
переводить
поиск
копировать
