новости

не так давно он начал свое «второе предпринимательство» и только что показал нам мощнейшие ar-очки meta orion, которые он оттачивал уже десять лет. хотя это всего лишь прототип машины, делающей ставку на будущее, она привлекла к себе всеобщее внимание. apple vision pro.

вчера вечером мета снова затмила всех в треке модели генерации видео.

мета сообщила, что недавно выпущенный meta movie genсамые продвинутые на сегодняшний день «модели media foundation».

однако давайте сначала примем меры предосторожности. представители мета еще не предоставили четкого графика открытия.

чиновники утверждают, что активно общаются и сотрудничают с профессионалами и создателями индустрии развлечений и, как ожидается, интегрируют это в собственные продукты и услуги meta где-то в следующем году.

кратко суммируем особенности meta movie gen:

попрощайтесь с «мимикой» и сосредоточьтесь на больших и комплексных функциях.

вкратце, movie gen имеет четыре основные функции: создание видео, создание персонализированного видео, точное редактирование видео и создание звука.

функция видео vincent уже давно является стандартной функцией моделей генерации видео. однако meta movie gen может генерировать видео высокой четкости с различными соотношениями сторон в соответствии с потребностями пользователя, что является первым в своем роде в отрасли.

кроме того, meta movie gen предоставляет расширенные функции редактирования видео, позволяющие пользователям решать сложные задачи редактирования видео с помощью простого ввода текста.

от визуального стиля видео до эффектов перехода между видеоклипами и более детальных операций редактирования — эта модель также дает вам достаточную свободу.

что касается создания персонализированного видео,meta movie gen также делает большой шаг вперед.

пользователи могут загружать свои собственные изображения и использовать meta movie gen для создания персонализированных видеороликов, сохраняющих при этом характер и движение.

от фонариков kongming до прозрачных цветных пузырей — вы можете легко заменить один и тот же объект в видео всего одним предложением.

хотя в этом году было представлено множество видеомоделей, большинство из них могут генерировать только «мимику». жаль отказываться от них, если они безвкусны и не «повторили те же ошибки».

пользователи могут предоставлять видеофайлы или текстовый контент и позволить meta movie gen генерировать соответствующий звук на основе этих входных данных. (ps: обратите внимание на озвучку приземления на скейтборде)

и он может не только создавать один звуковой эффект, но также создавать фоновую музыку или даже полный саундтрек для всего видео, тем самым значительно улучшая общее качество видео и впечатления от просмотра аудитории.

после просмотра демо лекс фридман лаконично выразил свое восхищение.

многие пользователи сети в очередной раз «подтолкнули» фьючерс openai на сора, но не более того.пользователи сети, которые с нетерпением ждали, начали с нетерпением ждать открытия квалификационных испытаний.

главный научный сотрудник meta ai ян лекун также продвигал платформу meta movie gen в интернете.

пирог, нарисованный метой, стоит с нетерпением ждать.

когда был запущен meta movie gen, исследовательская группа meta ai одновременно опубликовала 92-страничный технический документ.

согласно сообщениям, исследовательская группа meta по искусственному интеллекту в основном использует две основные модели для достижения этих обширных функций: модели movie gen video и movie gen audio.

среди них movie gen video — базовая модель с 30b параметрами, которая используется для преобразования текста в видео и может генерировать высококачественные hd-видео продолжительностью до 16 секунд.

на этапе предварительного обучения модели используется большой объем изображений и видеоданных для понимания различных концепций визуального мира, включая движение объекта, взаимодействие, геометрию, движение камеры и физические законы.

для улучшения качества генерации видео модель также подвергается контролируемой тонкой настройке (sft) с использованием небольшого набора тщательно отобранных высококачественных видеороликов и текстовых титров.

в отчете показано, что процесс постобучения является важным этапом обучения модели movie gen video, который может еще больше улучшить качество генерации видео, особенно функции персонализации и редактирования изображений и видео.

стоит отметить, что исследовательская группа также сравнила модель movie gen video с основными моделями генерации видео.

поскольку sora в настоящее время закрыта, исследователи могут использовать только общедоступные видеоролики и советы для сравнения. для других моделей, таких как runway gen3, lumalabs и keling 1.5, исследователи предпочитают создавать видео самостоятельно через интерфейсы api.

а поскольку видео, опубликованные сорой, имеют разное разрешение и продолжительность, исследователи обрезали видео из movie gen video, чтобы обеспечить одинаковое разрешение и продолжительность при сравнении.

результаты показывают,общий оценочный эффект movie gen video значительно лучше, чем у runway gen3 и lumalabs, имеет небольшое преимущество перед openai sora и эквивалентен keling 1.5.

в будущем meta также планирует публично выпустить несколько тестов, в том числе movie gen video bench, movie gen edit bench и movie gen audio bench, чтобы ускорить исследования моделей генерации видео.

модель movie gen audio — это модель с 13b параметрами для генерации видео и преобразования текста в аудио, способная генерировать до 45 секунд высококачественного и высококачественного звука, включая звуковые эффекты и музыку, и синхронизироваться с видео.

модель использует генеративную модель, основанную на архитектуре модели согласования потоков и диффузионного трансформатора (dit), а также добавляет дополнительные условные модули для обеспечения управления.

даже исследовательская группа meta представила технологию расширения звука, которая позволяет модели генерировать последовательный звук за пределами первоначального предела в 45 секунд. то есть модель может генерировать соответствующий звук независимо от продолжительности видео.

вчера тим брукс, глава openai sora, официально объявил о своей отставке и присоединился к google deepmind, что в очередной раз бросило тень на неопределенное будущее проекта sora.

по сообщению bloomberg, вице-президент meta коннор хейс заявил, что у meta movie gen в настоящее время нет конкретных планов по выпуску продукта. хейс раскрыл важную причину задержки внедрения.

meta movie gen в настоящее время использует слова текстовых подсказок для создания видео, которое часто требует десятков минут ожидания, что сильно влияет на взаимодействие с пользователем.

meta надеется еще больше повысить эффективность генерации видео и как можно скорее запустить видеосервис на мобильном терминале, чтобы лучше удовлетворить потребности потребителей.

на самом деле, если мы посмотрим на форму продукта,функциональный дизайн meta movie gen ориентирован на то, чтобы быть большим и всеобъемлющим, а такжездесь нет «хромой ноги», как у других видеомоделей.

самым заметным недостатком является то, что он имеет тот же «фьючерсный» вкус, что и сора.

идеал очень насыщен, реальность очень тощая.

можно сказать, что так же, как sora обгоняют крупные отечественные модели, с запуском meta movie gen конкурентная среда в сфере генерации видео может снова измениться.

но, по крайней мере, на данный момент пирога, нарисованного метой, достаточно, чтобы люди его проглотили.