насколько далеко зашла наступательная и защитная эстафета использования ии против ии и изменения лица для борьбы с подделками?
2024-09-14
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
то, что вы видите, может быть неправдой! «портретное фото» или «видео персонажа» могут стать новым средством и новым инструментом преступников для совершения преступлений. во время национальной недели пропаганды кибербезопасности в 2024 году тема нарушения личной жизни, такая как изменение лица и голоса с помощью ии, снова оказалась в центре всеобщего внимания. на самом деле, эта тема также горячо обсуждалась во время конференции бунда, состоявшейся за неделю до недели кибербезопасности.
от конференции бунда на реке хуанпу до национальной недели кибербезопасности на реке линдин янцзы в сентябре этого года люди продолжают задавать вопросы о том, как ии может принести пользу, думая о том, как бороться с риском изменения лица ии. проходит в двух прибрежных городах шанхае и гуанчжоу.
как технология искусственного интеллекта, меняющая лицо, влияет на безопасность нашей цифровой идентификации? какие эффективные инструменты искусственного интеллекта могут точно обнаружить и предотвратить риски deepfake? с юридической и этической точки зрения, как нам сбалансировать инновационное применение технологии искусственного интеллекта, меняющей лицо, с его потенциальными рисками? с этими вопросами репортеры nandu прошли весь путь — от моделирования наступательных и оборонительных задач до реальных сценариев применения, от научных кругов до промышленности, чтобы найти ответы на эти предложения.
за пределами полигона: группа молодых людей начала наступательную и защитную эстафету ии
изменение лица с помощью искусственного интеллекта — это технология глубокой подделки, которая использует компьютеры для изменения изображений лиц при поддержке алгоритмов глубокого обучения. благодаря непрерывному развитию технологии изменения лица с помощью искусственного интеллекта улучшается сфера развлечений, электронная коммерция и другие отрасли. наряду с эффективностью это также несет в себе бесконечные риски. в начале сентября в южной корее появился новый случай «комнаты n», основанный на технологии «глубокой подделки». южнокорейские женщины впали в «панику, связанную с изменением лица с помощью ии» и даже разместили в китайских социальных сетях сообщения с просьбой о помощи.
в то же время на набережной в шанхае в рамках deepfake offensive and defense challenge, посвященного изменению лиц с помощью ии, собралась группа молодых «борцов с ии». во время конференции бунда одна из команд-участниц конкурса инноваций в области искусственного интеллекта global deepfake attack and defense challenge (далее именуемого «соревнование deepfake attack and defense») — visionrush из института автоматизации китайской академии наук, открыл исходный код участвующей модели искусственного интеллекта в ответ на потребности корейских женщин «паника, меняющая лицо». впоследствии другие участвующие команды также «взяли на себя» и начали акцию «code relay» deepfake defenders. команды, включая китайскую академию наук, университет макао и океанский университет китая, объявили о моделях конкурса с открытым исходным кодом, надеясь, что это поможет. снизить технический порог, усилить технический обмен и сдержать злоупотребление технологией deepfake.
во время конкурса инноваций в области искусственного интеллекта на конференции bund · global deepfake attack and defense challenge команды-участницы запустили акцию deepfake defenders «code relay».
стоит отметить, что jtgroup, объединенная команда, состоящая из ученых из гонконга и макао, хорошо выступила на конкурсе и выиграла чемпионат в deepfake offensive and defensive picture track. у хайвэй, научный сотрудник городского университета гонконга, пригласил своих студентов младших курсов из государственной ключевой лаборатории интернета вещей «умного города» университета макао принять участие в создании имиджевого трека. чэнь имин, исследователь государственной ключевой лаборатории интернета вещей «умного города» в университете макао, является капитаном этой чемпионской команды. говоря об открытом исходном коде, он с улыбкой сказал в интервью репортерам nandu: «наши». исследования проводятся на плечах «гигантов». эти «гиганты» очень готовы жертвовать своим программным кодом. почему бы нам не сделать то же самое? наша команда сама придерживается концепции технологий во благо, проводя исследования. и развитие, и мы также надеемся принять участие в таких конкурсах, чтобы использовать технологии в некоторых хороших вещах, которые нужны обществу».
команда jtgroup достигла уровня распознавания 97,038% для дипфейков с несколькими типами и сценариями. как ей это удалось? представитель команды чэнь сянъюй сказал в интервью репортеру из наньду: «эта наступательно-защитная игра близка к масштабам данных в реальном мире. мы узнали много новых технологий генерации и распознавания deepfake за короткий период времени. , а также мы уделили внимание своевременным корректировкам. детали модели алгоритма могут стать одной из причин, почему мы можем выиграть чемпионат».
репортер из нанду узнал от организатора, что конкурс deepfake attack and defense проводился ant digital zoloz и dimensity labs в качестве составителей конкурсных вопросов. это один из самых авторитетных конкурсов в области cv (компьютерного зрения). набор данных о событии состоит из общедоступных данных и поддельных данных. среди них поддельные данные изображения охватывают более 50 методов генерации в реальных сценах, а поддельные аудио и видео включают более 100 комбинированных методов атаки. общее количество наборов обучающих данных. открыл оргкомитет более 1 млн.
«этот конкурс предоставляет техническим исследователям возможность практиковаться в хорошо смоделированной реальной промышленной среде, что помогает интегрировать промышленность, научные круги и исследования, а также развивать ответственные практические таланты», — заявил заместитель директора центра искусственного интеллекта frontier чжоу тянь. сингапурское агентство по науке, технологиям и исследованиям и соорганизатор конкурса «разные теории». целью команд-участниц также является выйти за пределы испытательного полигона и применить разработанные технологические достижения в практических сценариях. у хайвэй из команды jtgroup рассказал журналистам nandu: «алгоритмы обнаружения с помощью искусственного интеллекта применялись на этапах проверки квалификации taobao, tmall и т. д., чтобы не дать преступникам подделать бизнес-лицензии и материалы для проверки личности для подачи заявки на открытие магазина». чисто ручная проверка может снизить затраты на открытие магазина. это повысит эффективность. ожидается, что в будущем результаты исследований нашей лаборатории будут применяться в большем количестве сценариев на стороне предприятия и правительства, например, в сша. национальные приложения по борьбе с мошенничеством и другие программы, вносящие некоторый вклад в борьбу с мошенничеством и технологии deepfake».
стандарты и приложения. совместно создайте защитную сеть от рисков, связанных с изменением лица ии.
конечно, борьба с deepfake — это гораздо больше, чем просто соревнование. отрасль реагирует одно за другим, от стандартов до приложений, чтобы совместно построить защитную сеть от рисков изменения лица ии.
репортеры nandu ознакомились с интерактивным оборудованием для обнаружения deepfake лаборатории ant group tianji на выставке технологий конференции bund.
в шанхае на выставке технологий bund conference лаборатория ant group tianji продемонстрировала интерактивное оборудование для обнаружения deepfake. по опыту nandu reporter, после съемки фотографии в реальном времени deepfake создал несколько разных изображений «nandu reporter» (как показано выше), а затем датчик обнаружения лаборатории ant group tianji проверил каждое изображение одно за другим. так и было. судили и точно определили, что только последний из них был настоящим портретом репортера из нанду, а остальные были созданы глубокими фейками.
в то же время на конференции также был официально выпущен стандарт «технические спецификации для финансовых приложений по обнаружению фальшивых цифровых лиц». стандарт определяет функциональные требования, технические требования, требования к производительности и т. д. для услуг по обнаружению ложных цифровых лиц в финансовой сфере, а также предлагает соответствующие методы тестирования и оценки. понятно, что это первый стандарт обнаружения «изменения лица» ии для финансовых сценариев в китае. лю юн, генеральный секретарь альянса развития индустрии финансовых технологий чжунгуаньцунь и президент исследовательского института интернет-финансов чжунгуаньцунь, сказал в своем выступлении: «выпуск этого стандарта обеспечивает основу для обнаружения и оценки безопасности ложных цифровых лиц в финансовых сценариях». , а также заполняет этот пробел».
в наньше, гуанчжоу, на «подфоруме по защите личной информации» национальной недели рекламы кибербезопасности 2024 года, southern news media group, пятый институт электроники министерства промышленности и информационных технологий, гуандунский филиал национальной интернет-центр экстренной помощи, лаборатория пэнчэн, guangdong telecom, guangdong mobile, пятнадцать предприятий и учреждений, включая tencent, huawei, ping an group, china guangfa bank, oppo, byd, sangfor, shenzhen saixi и jingyuan security, объявили об официальном запуске «ассоциация безопасности сетевых данных и защиты личной информации гуандуна» и совместно выступили с инициативой «содействие безопасности сетевых данных и защите личной информации». понятно, что риск изменения лица ии также будет одним из вопросов, вызывающих обеспокоенность ассоциации.
интерактивная зона china mobile ai для изменения лица и подделки в режиме реального времени. (источник: национальная неделя осведомленности о кибербезопасности, 2024 г.)
на выставке cyber security expo в этом году в рамках недели кибербезопасности крупные охранные компании также продемонстрировали новые продукты и технологии в области безопасности. в интерактивной зоне подделки в режиме реального времени компании china mobile, где происходит глубокое синтетическое изменение лица, репортеры nandu испытали систему моделирования искусственного интеллекта, сгенерированную deepfake, с помощью технологии подделки в реальном времени можно точно идентифицировать как подделку. и весь процесс занимает всего около 5 секунд. ван сяоцин, заместитель руководителя центра информационной безопасности и управления china mobile, сказал, что система может противодействовать различным сценариям, таким как изменение лица ии, звукоподражание ии и подделка документов. они запустили пилотное приложение для доступа в интернет по настоящему имени. благодаря возможностям борьбы с подделками оно может обнаруживать лица ии в процессе проверки настоящего имени в режиме реального времени и активно предотвращать такие риски, как «изменение лица ии». онлайн-открытие и замена карт, а точность подделки достигает более 90%.
действительно, то, как позволить обычным людям пользоваться защитой, обеспечиваемой технологией защиты от подделок deepfake, является важным предложением в текущих технологических исследованиях и разработках. чжоу вэньбо, профессор школы киберпространственной безопасности китайского университета науки и технологий, подчеркнул этот момент в интервью репортеру nandu. его лаборатория интеллектуальной когнитивной безопасности в школе киберпространственной безопасности университета науки и технологий. китай сделал новый шаг. только в начале сентября на мобильных телефонах honor была применена первая в мире технология обнаружения мошенничества, основанная на искусственном изменении лица на стороне устройства, разработанная лабораторией в сотрудничестве с honor. после того, как пользователь нажмет кнопку «начать обнаружение», технология обнаружит лица на видео и предоставит возможность замены лиц с помощью ии. когда вероятность слишком высока, пользователю будет напоминаться о том, что была обнаружена подозрительная замена лиц (подозрение). обнаружена смена лиц). понятно, что лаборатория интеллектуальной когнитивной безопасности школы киберпространственной безопасности университета науки и технологий китая открыла исходный код инструмента глубокого синтеза под названием deepfacelab (инструмент для изменения лица на видео с использованием глубокого обучения) еще в 2019 году; в 2020 году команда приняла участие в крупнейшем в мире конкурсе deep fake detection challenge (dfdc), организованном facebook, mit и т. д., и заняла второе место.
какие проблемы еще предстоит решить при использовании ии для победы над ии?
от наступательных и оборонительных игр до промышленных приложений — эффективность и практичность использования ии для «устранения ложного и сохранения истинного» самоочевидна. но что нельзя игнорировать, так это то, что риск все еще растет в геометрической прогрессии яо вейбинь, инициатор global deepfake offensive and defense challenge и технический директор ant zoloz, заявил в интервью журналистам nandu, что количество подделок, созданных aigc. атак в этом году увеличилось примерно в 10 раз по сравнению с прошлым годом. подобные ситуации происходят не только в китае, но и в южной корее, на филиппинах, в индонезии и других странах.
несмотря на появление множества технологий обнаружения, мы по-прежнему не можем полностью избежать рисков, связанных с deepfake. почему происходит такая ситуация? чжоу вэньбай сообщил журналистам наньду, что процесс разработки технологии от теоретического исследования до практического использования не является процессом, который станет эффективным сразу же, прежде чем он будет реализован. «на самом деле, я думаю, самое главное — не говорить о том, насколько полной должна быть технология. потому что, если вы действительно хотите решить проблему, только 5% ее нужно полагаться на технологии, а остальные 95% нужно полагаться о законах, правилах и стандартах реализации.» он отметил, что общественности очень важно участвовать в популяризации популярной науки, например, в средствах массовой информации и платформах распространения контента, а также общественность должна иметь более четкое представление о мерах предосторожности.
чжан бо, член профессионального комитета по управлению безопасностью искусственного интеллекта китайской ассоциации безопасности киберпространства, также предположил в интервью средствам массовой информации, что «изменение лица ии обычно сопровождается сценариями мошенничества с транзакциями, такими как видеозвонки. контуры лица и освещение видео собеседника. такие детали, как фон, чтобы увидеть, есть ли какие-либо отклонения. при необходимости вы можете попросить другого человека быстро поднять голову, кивнуть и повернуть голову, чтобы определить, есть ли там какие-либо отклонения. есть ли в видео какие-либо необычные детали, подтверждающие его подлинность».
с технической точки зрения, какие еще существуют направления для повышения точности обнаружения deepfake? чжан бо считает, что аутентификацию личности и цифровые водяные знаки можно объединить, чтобы затруднить подделку. чжоу вэньбай рассказал репортерам nandu, что это можно рассматривать с двух сторон. один из них — предоставить больше различных типов высококачественных данных deepfake для модели обнаружения. как люди изучают знания, так и модели глубокого обучения. чем больше данных вы увидели и чем больше знаний вы усвоили, тем сильнее будут ваши возможные способности к распознаванию. «во-вторых, мы можем попытаться обеспечить некоторую активную защиту со стороны публикации данных. например, прежде чем наши данные будут опубликованы на социальной платформе, платформа должна быть помечена надежной отслеживаемой идентификационной информацией (например, водяным знаком) в некоторых таким образом, эта идентификационная информация может сопровождаться распространением материалов сми, и путем определения целостности, семантики и другого содержания идентификационной информации определяется, был ли текущий материал поврежден или подделан», — сказал чжоу вэньбо. стоит отметить, что многие видеоплатформы, такие как douyin, теперь имеют ярлыки для видео, которые предположительно созданы искусственным интеллектом.
чжан бо также предположил, что с точки зрения управления необходимо ускорить разработку и реализацию соответствующих законов, постановлений и нормативных мер для стандартизации методов использования и сценариев применения приложений ии. по мнению чжоу вэньбо, выпуск таких стандартов, как «технические спецификации для финансовых приложений по обнаружению фальшивых цифровых лиц», может использоваться в качестве руководства по стандартизации услуг, предоставляемых предприятиями и учреждениями, а также применения технологий, и должен быть реализован. в соответствии с определенными нормами и стандартами внедрять свою технологию для предотвращения угроз конфиденциальности, безопасности данных и других аспектов во время использования технологии, приводящих к нанесению ущерба правам и интересам пользователей и даже ущемлению национальных интересов.
с точки зрения развития талантов в смежных областях мы также сталкиваемся с возможностями и проблемами. ван яонань, академик китайской инженерной академии и председатель китайского общества изображений и графики, отметил, что в последние годы было много случаев злонамеренного использования этой технологии для мошенничества с использованием искусственного интеллекта за рубежом, что привело к экономические и имущественные потери, репутационный ущерб и другие инциденты в условиях глобального масштаба учитывая технические проблемы, необходимо срочно развивать таланты ии с практическими возможностями. ван вэй, технический директор ant digital, предложил решение, надеясь «продвигать инновации через конкуренцию», улучшить способность участников использовать технологии для решения реальных проблем в сценариях практического применения с помощью простых конкурсных вопросов и развивать междисциплинарные таланты; собирая глобальную элиту технологий искусственного интеллекта, общайтесь и повышайте уровень глобальной конфронтации в реальных боевых учениях.
беседовал и написал: репортер нанду сюн жунмяо
