Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Из ряда вон! ! Кто бы мог знать, что красивая девушка в нем на самом деле дядя, не посмотрев полную версию видео.

[К сожалению, видео нельзя вставить сюда... вы можете проверить его на официальном аккаунте Qubit~]

Ладно, оказывается, это было сделано с помощью команды Куайшоу Келинг.Управляемая система создания портретного видео——LivePortrait.

LivePortrait мгновенно стал хитом благодаря открытому исходному коду и за короткий период времени широко использовался на GitHub.7.5КЗвездный знак.

Это также привлекло директора по стратегии HuggingFace Томаса Вольфа, чтобы тот испытал это на себе:

В настоящее время оно даже входит в число всех приложений HuggingFace.Тренд в первую очередь：

Итак, почему LivePortrait привлекает столько внимания?

Начнем с его привлекательного исполнения...

Пусть выражение «перевести»

LivePortrait имеет открытый исходный код, разработанный командой крупных моделей Куайшоу Келинг, и для его использования требуется только1 оригинальная картинкаВы можете создавать динамические видео.

Давайте сначала посмотрим на набор официальных результатов.

отсамый простойДля начала добавьте статическое изображение, и LivePortrait заставит портрет моргать, улыбаться или поворачивать голову.

Все еще можно использовать"взятка", то есть копирование выражений, динамики и т. д. другим людям, или не ограничиваясь стилем (реализм, живопись маслом, скульптура, 3D-рендеринг) и размером~

Конечно, это «волшебство»Не ограничивается одним человеком , иметь семейный портрет вполне возможно. [дог]

Помимо перехода от статического изображения к видео, мы также можем сделатьодно или несколько видеоРеализовать «технику улучшения улыбки».

Например, если мы предоставим видео ребенка без выражения лица (крайний справа), мы можем позволить ребенку подмигивать или улыбаться в соответствии с эталонным видео.

Кстати, дело не ограничивается только портретами людей, кошки и собаки тоже могут начать вести себя кокетливо и мило.

Короче говоря, LivePortrait может достичьТочный контроль выражений персонажей, такие как изгиб вверх углов рта и степень увеличения глаз, можно включить и выбрать.

Приведите примеркаштансын, следующие два — это изменения размера глаз персонажей при различных настройках параметров:

Кажется, что «три части хладнокровия, три части насмешки и четыре части беззаботности» в романе вполне достижимы. [дог]

Не знаю, тронуты ли вы после прочтения этого. В любом случае пользователи сети не могут сдержать энтузиазма.

Например, добавьте световой трюк для создания лиц, как в фильме ужасов:

Другой пример — превращение в обезьяну с двумя шипами в реальном времени:

Прочитав эти примеры, давайте углубимся в технические принципы, лежащие в их основе.

Горячий фреймворк с открытым исходным кодом

В отличие от нынешних основных методов, основанных на моделях диффузии, LivePortrait исследует и расширяетСтруктура, основанная на неявных ключевых точкахпотенциал.

В частности, LivePortrait не полагается на явно видимые маркеры или характерные точки на изображении, а вместо этого неявно определяет расположение ключевых точек, изучая закономерности в наборе данных.

На этой основе LivePortrait принимаетдва этапаОбучите модель с нуля.

Давайте сначала поговорим о первом этапе. LivePortrait внес ряд улучшений в фреймворки, основанные на неявных моментах (таких как Face Vid2vid).

Эти улучшения включают в себяВысококачественная сортировка данных, обучение смешанным изображениям и видео, обновленная сетевая архитектура, масштабируемое преобразование движения, неявная оптимизация ключевых точек с учетом ориентиров, применение условий каскадных потерь и т. д.

Благодаря этому можно дополнительно улучшить способность к обобщению, выразительности и качество текстур модели.

Давайте поговорим о втором этапе. Благодаря обучению модуля подгонки и модуля перенаправления модель может более точно обрабатывать детали выражения лица.

Подходящий модульУлучшите обобщение посредством тренировки перекрестных действий, оценивайте изменения выражения и оптимизируйте ключевые моменты.

Модуль перенаправления глаз и ртаИзменения деформации глаз и рта обрабатываются отдельно, а согласованность пикселей и потери регуляризации рассчитываются с помощью независимых целевых функций, чтобы повысить гибкость и точность модели при обработке сложных выражений.

Итак, как конкретно работает LivePortrait?

Исследования показывают, что вТе же результаты сравнения на основе идентичностиПо сравнению с существующими методами LivePortrait имеет лучшее качество генерации и точность управления, а также может передавать тонкие выражения глаз и рта движущегося кадра, сохраняя при этом текстуру и идентичность эталонного изображения.

И вРезультаты перекрестного сравнения Он также работает хорошо, хотя качество его генерации немного хуже, чем у метода AniPortrait, основанного на модели диффузии. Но по сравнению с последним LivePortrait имеет чрезвычайно высокую эффективность вывода и требует меньше FLOP.

В целом, на графическом процессоре RTX 4090 LivePortrait продемонстрировал скорость12,8 миллисекунды на кадр, что значительно выше, чем существующие методы диффузионной модели.

Еще кое-что

Добавьте официальное последнее уведомление: Keling AI собираетсяглобальнозапустить свои услуги.

Сора еще не пришел, но на этот раз Кэ Лин вышел первым~