Новости

PixVerse V2 уже здесь!Генерируем 5 "Сора" на одном дыхании, и трек генерации видео "объем" улетает

2024-07-24

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina


Автор |

Электронная почта | [email protected]

«Слишком кудрявый!»

С июня продукты для создания видео вызвали настоящий взрыв: от Keling до Luma и Runway Gen3, возможности моделей и эффекты производства становятся все лучше и лучше.

Только что PixVerse выпустила версию V2. Помимо обновления архитектуры DiT, она может генерировать пять видеоконтентов с эффектом «Сора» подряд!

В творческих тестах, таких как кошки, которые едят лапшу, и собаки, ездящие на мотоциклах, четкость видео, динамическое качество и эстетика PixVerse V2 показали хорошие результаты.

По данным Silicon Star,Основанная на архитектуре DiT (Diffusion + Transformer) в сочетании с механизмом пространственно-временного внимания, PixVerse V2 претерпела поэтапные обновления возможностей модели.Он поддерживает создание 8-секундных видеороликов одновременно, значительно улучшая динамический диапазон, детализацию и аутентичность видео. Еще одним важным обновлением является то, что PixVerse V2 поддерживает генерацию 1-5 непрерывных видеоконтентов одним щелчком мыши, а также клипы будут автоматически поддерживать согласованность основного изображения, стиля изображения и элементов сцены, то есть каждый сможет легко генерировать 40-секундный видеоконтент!

С точки зрения эффекта генерации, с одной стороны, версия сгенерированного видео контента PixVerse V2 имеет более высокую плотность информации и может передавать больше информации за несколько секунд. В то же время повышается согласованность, что делает генерируемый контент. контент более удобен в использовании, с другой стороны, дизайн продукта V2 максимально упрощает сложные функции, позволяя новичкам творить.

Мы обнаружили, что благодаря непрерывному обновлению технологий и продуктов моделей генерации видео обычные пользователи, как отечественные, так и зарубежные, продемонстрировали огромный спрос. Создание видеоконтента с использованием ИИ доступно не только профессиональным группам. Обычные пользователи также стремятся выразить свои творческие способности и идеи с помощью простых и интуитивно понятных инструментов.

Глядя на версии продукта PixVerse V2 с этой точки зрения, вы обнаружите, что каждая функция стремится стать ближе к пользователям.

1

1. Каждая итерация — на шаг ближе к пользователям

С момента своего запуска PixVerse стал одним из самых популярных продуктов для создания видео, основанных на технологических инновациях и глубоком понимании потребностей пользователей.

В последней версии V2 одной из революционных функций является возможность создания нескольких видео одновременно, сохраняя при этом согласованность и связность элементов между видео. Эта функция имеет большое значение для создания длинного видеоконтента, что позволяет создателям создавать серию взаимосвязанных видеоклипов вокруг темы или сюжетной линии.


В ходе нашей оценки мы обнаружили, что PixVerse V2 хорошо работает при обработке сложных сцен и длинных видеопоследовательностей. Один и тот же образ персонажа может свободно перемещаться между разными сценами. Кроме того, связность не ограничивается визуальной согласованностью, но включает и плавные переходы в действиях и сюжетах, что особенно важно для повествовательных видеороликов.

Еще одним преимуществом является повышенное удобство использования. В отличие от представленных на рынке «творческих игрушек», которые могут генерировать только короткие клипы и требуют постоянного «рисования карточек» и вторичного редактирования, PixVerse V2 может не только генерировать высококачественные видеоклипы, но и расширять творческие возможности коротких клипов, тем самым непосредственно выводя их. полный и полезный творческий контент.

Благодаря этой функции PixVerse V2 больше не ограничивается созданием коротких кадров для вторичного редактирования, а может напрямую выводить полные видеоролики, которые можно использовать на нескольких платформах и в нескольких сценах.

По реальным оценкам, эта функция PixVerse V2 значительно повысила эффективность и удобство создания видео. Пользователям больше не нужно тратить много времени на редактирование и синтез видео, и они могут больше сосредоточиться на творчестве и самом контенте. Будь то короткое видео для публикации в социальных сетях или впечатляющее видео, требующее непрерывности, PixVerse V2 может предоставить универсальное решение. Повышенное удобство использования еще больше расширяет сферу применения технологии генерации видео с помощью искусственного интеллекта, позволяя извлечь выгоду из нее как обычным пользователям, так и профессиональным создателям.


Мы видим технологические инновации PixVerse V2 и множество улучшений в пользовательском опыте. По мнению Silicon Star, PixVerse V2 совершила прорыв в диффузионном пространственно-временном моделировании, внедрив в базовую модель инновационный механизм пространственно-временного внимания, что значительно улучшило ее возможности обработки сложных сцен. В то же время мощные возможности понимания текста позволяют модели более точно сопоставлять текстовые подсказки с видеоконтентом, достигая глубокого мультимодального слияния.

Кроме того, PixVerse V2 также был оптимизирован с точки зрения эффективности вычислений. Улучшив традиционную модель потока и взвесив функцию потерь, модель может сходиться быстрее, тем самым повышая скорость и точность генерации видео. Внедрение 3D-модели VAE и применение механизма пространственно-временного внимания еще больше улучшают качество сжатия и реконструкции видео, обеспечивая эффективную передачу и хранение видеоконтента.

Оглядываясь назад на несколько важных вех PixVerse с момента его выпуска, мы обнаружим, что за этим стоит не только его техническая мощь, но и четкое понимание рынка и потребностей пользователей.

В мае PixVerse запустила революционную функцию движущейся кисти. Эта функция позволяет пользователям контролировать движение определенных областей видео, просто рисуя траектории, что значительно повышает гибкость и интуитивность создания видео. Использование конкретных сценариев включает, помимо прочего, производство анимации, креативную рекламу, создание контента для социальных сетей и т. д. Отзывы пользователей в целом были положительными: эта функция значительно упрощает процесс редактирования видео, делая создание более бесплатным и интуитивно понятным.

Что касается настроек функций продукта, когда пользователи в основном удовлетворены полученными результатами, но хотят настроить детали, PixVerse поддерживает функции вторичного редактирования и свободного преобразования, позволяя пользователям гибко настраивать эффект отображения видео в соответствии с потребностями различных платформ и сценариев. Кроме того, PixVerse также может выбирать различные стили и соотношения сторон, предоставляя пользователям более высокую степень свободы при создании видео.


От кисти движения до функции согласованности символов и согласованного создания видео в версии V2 — каждое обновление становится на шаг ближе к пользователям. Эта инновационная концепция, ориентированная на пользователя, делает PixVerse не только продуктом, реализованным с помощью технологий, но и партнером в реализации творчества пользователей.

1

2. Глубина определяет инновации

Когда мы оцениваем, является ли продукт для создания видео игрушкой или инструментом повышения производительности, плотность информации является важным показателем качества контента.

Если маленький шарик движется беспорядочно на пустом фоне, он может двигаться бесконечное время, но дает очень мало информации.

В PixVerse V2 технология Aishi пытается увеличить информационную плотность генерации видео с помощью технических средств, освобождая пользователей от утомительного редактирования видеоматериалов и непосредственно прибегая к созданию творческого видеоконтента. Максимальное стремление к единообразию, гарантирующее, что основная часть нескольких клипов остается неизменной, а другие функции направлены на переход от видеоматериала непосредственно к видеоконтенту, готовому к публикации.

Менеджер по продукту PixVerse сказал: «Команда всегда придерживается идеи продукта «идти с пользователями». На ранних этапах разработки продукта команда проведет углубленное предварительное исследование, включая общение с практиками отрасли, наблюдение за реальными пользователями и сбор отзывов сообщества. Этот всесторонний метод исследования пользователей позволяет Aishi улавливать тонкие, но важные потребности пользователей. Даже небольшие особенности, предложенные пользователями, будут восприняты серьезно и проверены.

Эта инновационная концепция, ориентированная на пользователя, приближает функции PixVerse к реальным потребностям пользователей. Менеджер по продукту Aishi рассказал о процессе создания Magic Brush, которая является типичным представителем создания продуктов Aishi.

В начале этого года Runway выпустила свою первую кисть Motion Brush. Пользователи могут регулировать траекторию движения объекта, выбирая различные кисти и настраивая кнопки управления ниже. Увидев эту функцию, а также проведя исследования рынка, опросы пользователей и отзывы сообщества, мы обнаружили, что пользователи действительно имеют высокий спрос на более гибкие инструменты редактирования видео, но метод взаимодействия Motion Brush недостаточно гибок, а отладка не точна и не работает. достаточно контролируемый.


Обнаружив эту потребность, команда разработчиков PixVerse сосредоточилась на обсуждении: какой метод взаимодействия может позволить пользователям использовать функцию кисти более интуитивно и лаконично?

Основываясь на предварительном исследовании пользователей, команда разработчиков обнаружила, что, во-первых, пользователям необходимо отлаживать траектории движения нескольких объектов, а в Motion Brush нет функции выбора раздела, во-вторых, после выбора объекта траектории движения объекта можно изменить; , вверх, вниз, влево и вправо. Кнопки управления не могут имитировать реальные эффекты движения. Поэтому при создании Magic Brush команда разработчиков выбрала методы размазывания, интеллектуального выделения разделов и интерактивный метод, позволяющий пользователям свободно рисовать траектории движения на 360 градусов.


Однако такой метод взаимодействия удобен для пользователей, но создает более серьезные технические проблемы. На основе архитектуры DiT техническая группа Aishi разработала основной алгоритм для поддержки функции Magic Brush, которая анализирует вводимые пользователем штрихи и преобразует их в эффекты движения в видео.

Magic Brush была быстро запущена всего за один месяц: от выявления потребностей пользователей до создания проекта продукта и технических решений. Это неотделимо от операционной модели компании Аиси «короткая, плоская и быстрая».

Отдел маркетинга может быстро собирать отзывы пользователей и своевременно передавать их продуктовым и техническим командам. Такой быстрый поток информации и процесс принятия решений позволяют Аиши быстро рассматривать осуществимость потребностей, проводить A/B-тестирование и быстро принимать решения. Такая гибкость является уникальным преимуществом стартапов, а также ключом к способности Аиши быстро обновлять продукты.

По сравнению с крупными технологическими компаниями стартапы имеют определенные преимущества в скорости реагирования и гибкости. Эта гибкость не только отражается на разработке продуктов и рыночных стратегиях, но также глубоко влияет на корпоративную культуру и организационную структуру. Благодаря меньшему размеру стартапы более гибки в распределении ресурсов. Они могут быстро перемещать ресурсы от одной задачи к другой или от одного проекта к другому, обеспечивая максимальное использование ресурсов.

В то же время мы уделяем больше внимания отзывам пользователей и ставим потребности пользователей в центр разработки продукта. Такой подход к разработке продуктов, ориентированный на пользователей, позволяет стартапам быстрее запускать продукты, отвечающие потребностям пользователей. Многие стартапы применяют гибкие методы разработки, которые подчеркивают быструю итерацию и постоянное улучшение. Выводите продукты на рынок быстрее благодаря регулярным выпускам новых функций и исправлениям ошибок, а также оптимизируйте их на основе отзывов пользователей.

Гибкость и глубокие инновации, воплощенные в Aishi, являются уникальными преимуществами начинающих компаний в новую эпоху больших моделей.

1

3. Нам нужны хорошие технологии и еще более качественные продукты.

Сегодня мы обнаружили, что на самом деле предстоит пройти долгий путь, прежде чем технологии дойдут до пользователей, а продукты являются наиболее важными связующими звеньями. Технологии являются движущей силой инноваций, но их ценность может быть по-настоящему отражена только тогда, когда технология связана с пользователями через продукты.

В процессе разработки PixVerse команда Aishi Technology тщательно отшлифовала каждую деталь. В версии V2, чтобы повысить удобство использования видео, PixVerse поддерживает вторичное редактирование полученных результатов. Благодаря интеллектуальному распознаванию контента и функциям автоматической ассоциации пользователи могут гибко заменять и настраивать объект, действие, окружающую среду и движение камеры. видео, еще больше обогащающее творческие возможности секса.


Человек, отвечающий за продукты Aishi, также сказал: «Технологические преимущества и различия важны, но барьеры в области производства и пользователей, а также техническая обратная связь, формируемая за счет подключения все большего и большего числа пользователей через продукты, еще более важны».

В то же время на ранних этапах разработки технологий продукты также являются отправной точкой для внедрения технологий. Превратите передовые технологии искусственного интеллекта в реальные функции продукта, которые пользователи смогут воспринимать и использовать. Этот переход от технологии к продуктам не только ускоряет применение технологий, но и предоставляет пользователям беспрецедентное удобство и творческий потенциал.

Особенно когда технология еще не достигла целевого уровня, двустороннее продвижение между технологией и продуктами имеет более практическое значение.

Например, относительно упомянутой выше «Волшебной кисти» некоторые создатели сообщили: «На этом этапе, когда возможности базовой модели не могут достичь точки, когда несколько объектов движутся в соответствии с физическим миром, настройка кисти движения может расширить творческое пространство. Некоторые персонажи ' моргая. Выражения и сложные относительные движения можно выполнить с помощью движущихся кистей».

На данном этапе Vincent Video, хотя концептуально и привлекателен, сталкивается с ограничениями в создании контента на практике. Из-за ограниченной информационной плотности самого текста зачастую сложно передать все детали сложных сцен и динамических изменений при непосредственном преобразовании текстовых описаний в видеоконтент. Поэтому Tusheng Video возник как поэтапное решение.

По сравнению с видео Винсента, видео Tusheng может обеспечить более высокую плотность информации, поскольку оно генерируется на основе визуальной информации и может более точно захватывать и воспроизводить сложность сцены. Когда возможности базовой модели еще не устранили разницу в плотности информации между текстом и видео, внедрение Tusheng Video является не только отражением технического прогресса, но и новаторством в идеях дизайна продукта.

На заре развития технологий стратегия Аиси заключалась в том, чтобы совершать технологические прорывы, уделяя при этом больше внимания внедрению продуктов. Формируются пользовательские барьеры, отличные от технических, а продуктовые барьеры создаются посредством понимания и понимания пользователей, тем самым расширяя границы технологий и пределов продуктов.

Оставить позади можно только продукт видеогенерации, который действительно можно использовать. Он должен не только удовлетворять текущие потребности пользователей, но и ориентироваться на будущее и выбирать устойчивый путь развития технологий.

Будь то ранняя «мертвая борьба» с технологией согласованности, итерация Magic Brush или новое обновление версии PixVerse V2, стратегия продукта Aishi основана на настоящем и решении практических проблем, с одной стороны, с другой; он смотрит в будущее, выбирает долгосрочный путь развития и стремится построить устойчивое будущее.

Благодаря непрерывным технологическим исследованиям и разработкам, глубокому пониманию потребностей пользователей и тщательной доработке деталей продуктов в индустрии видеопроизводства компании независимо от размера нуждаются в постоянных технологических прорывах для создания продуктов, которые действительно ценны и могут вдохновлять на творчество.

Как и слоган PixVerse V2: Раскрытие творческого потенциала для каждого, это не только возможность для PixVerse, но и возможность для всех творцов в эпоху больших моделей.