Раскрываем секреты FancyTech: инновационный алгоритм, лежащий в основе «сильной редукции» и «гиперконвергенции»
2024-08-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
В ходе недавней волны технологических изменений AIGC (контент, генерируемый искусственным интеллектом) становится важным инструментом самовыражения и творчества людей. Движущей силой этой волны технологических инноваций являются не просто огромные модели алгоритмов, а глубоко адаптированные решения, ориентированные на потребности конкретных областей. За последние два года AIGC развивалась быстрее, чем многие ожидали, а ее приложения расширились от генерации текста до полного спектра изображений и видео.
Недавно «Сердце машины» провело эксклюзивное интервью с китайской стартап-компанией FancyTech. Компания не только быстро расширила рынок, предоставляя стандартизированные продукты для создания коммерческого визуального контента, но и первой доказала преимущества вертикальной модели в практическом применении.
«Сердце машины» также подробно представляет новейшую вертикальную модель видео FancyTech DeepVideo, которая успешно решает задачу точного восстановления и естественной интеграции продуктов в видео, гарантируя, что продукты остаются неизменными в движении.
Вертикальная модель FancyTech основана на базовой алгоритмической структуре с открытым исходным кодом, наложенной на собственные аннотации данных и переобученной, и требует всего лишь несколько сотен графических процессоров для непрерывных итераций обучения для достижения хороших результатов генерации. Напротив, два фактора: «данные о продукте» и «методы обучения» более важны для конечного эффекта внедрения.
Основываясь на накоплении большого количества 3D-данных обучения, FancyTech представила идею пространственного интеллекта для управления созданием 2D-контента модели. Что касается создания контента изображений, команда предложила «мультимодальное функциональное устройство», обеспечивающее восстановление товаров, и обеспечило естественную интеграцию товаров и фона посредством специального сбора данных. Что касается создания видеоконтента, команда перестроила базовые связи создания видео, структуры направленного проектирования и разработки данных, чтобы создавать видеоролики, ориентированные на продукты.
Кроме того, «Сердце машины» подробно раскрывает, как FancyTech применяет идеи исследования пространственного интеллекта к моделям визуального генерации. В отличие от традиционных генеративных моделей, пространственный интеллект анализирует большие объемы данных датчиков и выполняет точную калибровку, позволяя модели воспринимать и понимать реальный мир.
FancyTech использует лидарное сканирование вместо традиционной студийной съемки и накопил большой объем высококачественных 3D-данных. Эти данные объединяются с 2D-данными и служат данными для обучения модели, что значительно улучшает понимание модели реального мира.
Для решения сложной задачи по формированию эффектов света и тени при создании визуального контента компания FancyTech использовала несколько источников света с регулируемой яркостью и цветовой температурой в каждой среде, чтобы собрать как можно больше данных о естественном освещении и тенях и улучшить пространственное наслоение генерируемых изображений.
Этот сбор данных высокой интенсивности имитирует освещение реальных сцен съемки, что делает его более соответствующим характеристикам сцен электронной коммерции. Объединив высококачественное накопление 3D-данных, FancyTech внесла ряд инноваций в структуру алгоритмов, органично объединив пространственные алгоритмы с алгоритмами изображений и видео, что позволяет модели лучше понимать взаимодействие между основными объектами и окружающей средой.
Исследования коммерциализации в области AIGC никогда не прекращались. Хотя существует консенсус, существуют и разные направления развития. В статье «Сердце машины» раскрыт инновационный алгоритм FancyTech, лежащий в основе «сильного сокращения» и «гиперслияния».
«Мультимодальный генератор функций» FancyTech извлекает характеристики продукта в нескольких измерениях, а затем использует эти функции для создания изображений, которые вписываются в сцену. Извлечение признаков делится на глобальные и локальные признаки: глобальные признаки включают в себя базовые элементы, такие как контур и цвет продукта, которые извлекаются с помощью кодировщиков VAE; локальные признаки фокусируются на деталях продукта и извлекаются с помощью графовых нейронных сетей. Этот метод позволяет детально фиксировать внутренние особенности продукта. Взаимосвязь между деталями и ключевыми пикселями, тем самым повышая точность восстановления деталей продукта.
На пути к коммерциализации, независимо от того, принята ли общая модель или вертикальная модель, конечной целью является достижение коммерческого успеха. FancyTech использовала свои богатые уникальные данные и отраслевой опыт, чтобы получить широкое признание на внутреннем и внешнем рынках, и установила отношения сотрудничества с такими международными партнерами, как Samsung, LG и платформа электронной коммерции Lazada в Юго-Восточной Азии, которую она приобрела; Kate Somerville и пользующаяся популярностью у местных брендов, таких как Solawave в Европе, она получила премию LVMH Innovation Award и тесно сотрудничает с европейскими клиентами;
Кроме того, FancyTech также обеспечивает полнофункциональную автоматическую публикацию и функцию обратной связи для коротких видеороликов с использованием искусственного интеллекта, что эффективно способствует постоянному росту продаж продукции.
Успешное применение вертикальной модели не только способствует развитию коммерческого рынка, но и облегчает широкой публике использование технологии AIGC для повышения производительности.
С распространением технологий почти каждый теперь может снимать видео, записывать музыку и делиться своими творениями со всем миром через свои мобильные телефоны. Мы с нетерпением ждем будущего, в котором технология AIGC снова раскроет личный творческий потенциал, позволяя обычным людям легко преодолевать профессиональные барьеры и воплощать идеи в реальность, тем самым способствуя скачку производительности во всех сферах жизни и создавая новые новые отрасли.
Текст/Лин Кэ, которая занимается искусственным интеллектом
