новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

IT House News от 23 августа: от социальных сетей до виртуальной реальности, генерация персонализированных изображений привлекает все большее внимание благодаря своему потенциалу в различных приложениях. Традиционные методы обычно требуют множества настроек для каждого пользователя, что ограничивает эффективность и масштабируемость. По этой причине компания Meta новаторски предложила модель ИИ «Представь себя».

Проблемы традиционных методов создания персонализированных изображений

Современные методы создания персонализированных изображений часто основаны на адаптации моделей для каждого пользователя, что неэффективно и лишено универсальности. Хотя новые методы пытаются добиться персонализации без каких-либо корректировок, они часто перестают подходить, что приводит к эффекту копирования и вставки.

Представьте себя инновацией

Модель Imagine Yourself не требует тонкой настройки для конкретных пользователей и может удовлетворить потребности разных пользователей с помощью одной модели.

Эта модель устраняет недостатки существующих методов, такие как тенденция копировать эталонные изображения без изменений, тем самым открывая путь к более универсальному и удобному для пользователя процессу генерации изображений.

Imagine Yourself превосходит других в таких ключевых областях, как сохранение идентичности, визуальное качество и своевременное выравнивание, значительно превосходя предыдущие модели.

К основным компонентам модели относятся:

Генерировать синтетические парные данные для поощрения разнообразия;

Полностью параллельная архитектура внимания, объединяющая три текстовых кодировщика и обучаемый визуальный кодировщик;

и многоступенчатый процесс тонкой настройки от грубой до тонкой

Эти инновационные методы позволяют модели генерировать высококачественные разнообразные изображения, сохраняя при этом надежную защиту личности и возможности выравнивания текста.

Imagine Yourself использует обучаемый кодировщик патчей CLIP для извлечения идентификационной информации и интегрирует ее с текстовыми подсказками через параллельный модуль перекрестного внимания, точно сохраняя идентификационную информацию и реагируя на сложные подсказки.

В модели используются адаптеры низкого порядка (LoRA) для точной настройки только определенных частей архитектуры, обеспечивая тем самым высокое качество изображения.

Отличительной особенностью Imagine Yourself является генерация данных SynPairs. Создавая высококачественные парные данные, включающие изменения в выражении лица, позе и освещении, модель может обучаться более эффективно и получать разнообразные результаты.

Примечательно, что он обеспечивает значительное улучшение выравнивания текста на +27,8% по сравнению с современной моделью при обработке сложных ключевых слов.

Исследователи количественно оценили «Представь себя», используя набор из 51 различных личностей и 65 сигналов, создав 3315 изображений для оценки человеком.

Модель сравнивается с современными моделями на основе адаптеров (SOTA) и моделями на основе управления, при этом основное внимание уделяется таким показателям, как внешняя привлекательность, сохранение идентичности и согласованность сигналов.

Аннотаторы-люди оценивают сгенерированные изображения на основе сходства, своевременности и визуальной привлекательности. Imagine Yourself достигает значительного улучшения выравнивания сигнала на 45,1% по сравнению с моделью на основе адаптера и на 30,8% по сравнению с моделью на основе управления, что еще раз доказывает ее превосходство.

Модель «Представь себя» — это крупный шаг вперед в создании персонализированных изображений. Модель устраняет необходимость в индивидуальной настройке и вводит инновационные компоненты, такие как генерация синтетических парных данных и архитектура параллельного внимания, тем самым решая ключевые проблемы, с которыми сталкивались предыдущие подходы.