новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Отчет о сердце машины

Монтажер: Зенан, Цзяци

Чтобы снимать видео с помощью Clapper, вам нужно быть только режиссёром.

С выпуском Sora видеосфера, похоже, вступила в эпоху генеративного искусственного интеллекта. Но до сегодняшнего дня мы до сих пор не использовали официальный инструмент генерации видео OpenAI, и люди, которым не терпится, начали искать другие методы.

В последние недели внимание привлек Clapper, инструмент для редактирования видео с открытым исходным кодом.

В отличие от видеогенераторов, предлагаемых многими технологическими компаниями, Clapper — это инструмент визуализации историй с открытым исходным кодом на базе искусственного интеллекта, прототип которого был запущен год назад. Он не предназначен для замены традиционных видеоредакторов или современных редакторов искусственного интеллекта, которые используют 3D-сцены в качестве входных данных.

Концепция Клэппера состоит в том, чтобы объединить различные генеративные технологии искусственного интеллекта, чтобы каждый мог создавать видео с использованием искусственного интеллекта посредством интерактивного, итеративного и интуитивно понятного процесса. Никаких внешних инструментов, навыков кинопроизводства или разработки искусственного интеллекта не требуется. В Clapper вам не нужно напрямую редактировать последовательности видео и аудио файлов. Вместо этого вы можете повторять свою историю на основе AI Agent, корректируя абстрактные концепции высокого уровня, такие как персонажи, места, погода, периоды времени, стили и т. д. .

Джулиан Билке, автор Clapper, является фронтенд-инженером по искусственному интеллекту в HuggingFace. Он рассказал, что для продолжения работы в этом направлении он также разрабатывает режиссерский режим: цель — позволить пользователям воспроизводить видео на весь экран, удобно сидеть в режиссерском кресле (или диване), кричать команды Агенту, и пусть ИИ снимает фильмы.

В последние дни Джулиан Бильке запустил новые функции, такие как преобразование произвольного текста во временную шкалу с использованием больших моделей. Популярность Clapper также возросла: у него уже более 1100 звезд на GitHub.

• Ссылка на GitHub: https://github.com/jbilcke-hf/clapper
• HuggingFace 链接: https://huggingface.co/spaces/jbilcke-hf/clapper/tree/main
• URL пробной версии: https://clapper.app/.

Как использовать

Поскольку это инструмент с открытым исходным кодом, мы в первую очередь обращаем внимание на то, прост ли он в использовании.

Вы еще помните опыт мастера искусственного интеллекта Карпати, создавшего короткие видеоролики об искусственном интеллекте? Чтобы превратить первые три предложения «Гордости и предубеждения» в анимационную версию, этому топ-эксперту понадобился целый час. Хотя здесь всего три предложения и три сцены, этот рабочий процесс гораздо сложнее, чем три предложения. Сначала он использовал Клода для создания серии слов-подсказок к изображениям на основе исходного текста, затем ввел эти слова-подсказки в графовую модель Винсента для создания соответствующих изображений, а затем передал их видеомодели для создания анимации. был назначен в Elevenlabs, и, наконец, в Veed Studio собрал все части воедино.

Итак, после того, как Карпати закончил, он написал в Твиттере и пожаловался, сказав: «Предприниматели, возможность появилась! Рынок остро нуждается в инструменте искусственного интеллекта, который может интегрировать и упростить эти процессы».

Clapper — это универсальная платформа, объединяющая все эти функции.

Обычно, если вы хотите сделать короткое видео, вам нужно пройти следующие шаги. Сначала вам нужны история и сценарий, затем на основе сценария рисуются раскадровки, затем снимается или находят материалы на основе раскадровок, объединяет их в программе для редактирования, добавляет анимационные эффекты и специальные эффекты, а затем выборочно добавляет устную речь и фоновую музыку. Или звуковые эффекты. Таким образом, возникло разделение труда в индустрии кино- и телепроизводства, такое как хореография, режиссура, фотография, монтаж, постпродакшн и дубляж.

В Clapper видеопроизводство следует другой логике. Каждый его трек не соответствует видео- или графическому материалу типа Premier, Cutting и другим программам для редактирования, а соответствует определенному типу работы.

обрезанная дорожка материала

Орбита Клэппера

Когда дело доходит до использования ИИ для создания видео, мы являемся стороной ИИ. Clapper — это команда, состоящая из самого мощного искусственного интеллекта в отрасли. В Clapper встроен ряд «первоклассных» больших моделей, таких как GPT-4o, Claude 3.5 (Sonnet) и т. д. Это похоже на исполнительного директора партии Б, ответственного за связь ваших потребностей с соответствующим «директором ИИ».

Как видно на рисунке выше, первый трек представляет собой раскадровку и взаимодействует с большой моделью, встроенной в Clapper. Он вызывает модель диаграммы Винсента через API и позволяет учителю раскадровки AI сгенерировать соответствующее изображение в виде видео. картина.

Доступ к приведенной выше модели текстового графа можно получить через Clapper.

Если взять в качестве примера образец фильма, предоставленный Клэппером, следующие треки соответствуют сцене, повествованию, перспективе камеры, фоновой музыке и звуковым эффектам. Вы можете попросить ElevenLabs или Fal.ai создать звуки ветра руин или звуки взрывов перестрелок для этой западной истории о пустошах.

У Clapper также есть еще одна функция, которая действительно может сделать большой шаг к мечте «снимать фильмы, разговаривая». Мы можем напрямую импортировать сценарий в Clapper и тщательно создать персонажа для вашего главного героя в столбце «История».

На примере «Волшебника страны Оз» мы можем не только добавить к персонажам более персонализированные описания, но и загрузить картинки, чтобы задать визуальный образ героини Дороти. Это означает, что мы можем попросить любого актера в мире сыграть эту роль, даже если вы хотите увидеть 18-летнего ДиКаприо в роли Дороти, вы можете это сделать. Функции Clapper настолько детализированы, что вы можете настроить возраст и тембр персонажей, обстановку каждой сцены, какая мебель стоит в комнате Дороти и как выглядит дом в их приключенческом «Изумрудном городе» — все это можно изменить. отрегулировано в Регулировке Клаппера.

Конечно, вы также можете использовать ИИ, чтобы сначала нарисовать несколько атмосферных изображений, что может еще больше стимулировать ваше вдохновение и творческий потенциал.

Однако, хотя функция Clapper полностью учла потребности создания видеороликов, ее эффект несколько неудовлетворительный. Движения героев картины не только несколько «призрачны», но и не соответствуют законам физического движения. Общий эффект видео больше похож на движущуюся ППТ, в которой отсутствуют переходы и непрерывность между кадрами, а саундтрек тоже наполнен искусственным интеллектом, звучащим без мелодии и с некоторым шумом.

Генеративному ИИ может потребоваться много времени, чтобы изменить процесс производства видео, но появление Clapper может предоставить новую идею реализации для крупных производителей, которые все еще расширяют функции ИИ для традиционного программного обеспечения для редактирования видео.

Справочное содержание:

https://news.ycombinator.com/item?id=41221399

https://x.com/aigclink/status/1818111874531205216