jusqu’où est arrivé le relais offensif et défensif consistant à utiliser l’ia contre l’ia et à changer de visage pour lutter contre la contrefaçon ?
2024-09-14
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
ce que vous voyez n’est peut-être pas vrai ! une « photo portrait » ou une « vidéo de personnage » peuvent devenir un nouveau moyen et un nouvel outil permettant aux criminels de commettre des crimes. au cours de la semaine nationale de publicité sur la cybersécurité en 2024, le sujet des atteintes à la vie privée, telles que le changement de visage et de voix par l'ia, est redevenu le centre de l'attention de tous. en fait, ce sujet a également été vivement débattu lors de la conférence du bund qui s'est tenue une semaine avant la semaine de la cybersécurité.
de la conférence du bund sur le fleuve huangpu à la semaine nationale de la cybersécurité sur le fleuve lingding yangtze, en septembre prochain, les gens continuent de se poser des questions sur la manière dont l'ia peut faire le bien. réfléchir à la manière de lutter contre le risque de changement de visage de l'ia. se déroule dans les deux villes riveraines de shanghai et de guangzhou.
comment la technologie révolutionnaire de l’ia affecte-t-elle la sécurité de notre identité numérique ? quels outils d’ia efficaces peuvent détecter et prévenir avec précision les risques de deepfake ? d’un point de vue juridique et éthique, comment concilier l’application innovante de la technologie révolutionnaire de l’ia avec ses risques potentiels ? avec ces questions, les journalistes de nandu sont allés jusqu'au bout, des défis offensifs et défensifs simulés aux scénarios d'application réels, du monde universitaire à l'industrie, pour trouver des réponses à ces propositions.
hors du terrain d'essai : un groupe de jeunes a lancé un relais offensif et défensif d'ia
le changement de visage par l'ia est une technologie de deepfake qui utilise des ordinateurs pour falsifier les images faciales avec le soutien d'algorithmes d'apprentissage profond. avec l'itération continue de la technologie de changement de visage par l'ia, elle améliore la production du divertissement, du commerce électronique et d'autres industries. outre l’efficacité, cela comporte également des risques infinis. début septembre, une nouvelle affaire « room n » est apparue en corée du sud, basée sur une technologie de « contrefaçon profonde ». des femmes sud-coréennes sont tombées dans une « panique qui a changé leur visage grâce à l'ia » et ont même été publiées sur les réseaux sociaux chinois pour demander de l'aide.
au même moment, sur le bund à shanghai, un deepfake offensive and defense challenge sur le changement de visage de l'ia a rassemblé un groupe de jeunes « anti-contrefaçons de l'ia ». lors de la conférence bund, l'une des équipes participantes à ce concours d'innovation en ia, le global deepfake attack and defense challenge (ci-après dénommé le « deepfake attack and defense competition ») - visionrush de l'institut d'automatisation de l'académie chinoise des sciences, a rendu open source le modèle d'ia participant en réponse aux besoins des femmes coréennes « panique qui change le visage de l'ia ». par la suite, d'autres équipes participantes ont également « pris le relais » et lancé l'action « code relay » de deepfake defenders. des équipes, notamment l'académie chinoise des sciences, l'université de macao et l'université océanique de chine, ont annoncé des modèles de compétition open source, en espérant que cela se produirait. abaisser le seuil technique, renforcer les échanges techniques et contenir les abus de la technologie deepfake.
lors du concours d'innovation en ia de la conférence bund·global deepfake attack and defense challenge, les équipes participantes ont lancé l'action « code relay » des deepfake defenders.
il convient de mentionner que jtgroup, une équipe conjointe composée d'universitaires de hong kong et de macao, a obtenu de bons résultats dans la compétition et a remporté le championnat dans la piste d'images offensives et défensives deepfake. wu haiwei, chercheur postdoctoral à la city university de hong kong, a emmené ses étudiants juniors du state key laboratory of smart city internet of things de l'université de macao pour participer à la piste d'images. chen yiming, chercheur au state key laboratory of smart city internet of things de l'université de macao, est le capitaine de cette équipe championne. lorsqu'il parle d'open source, il a déclaré avec un sourire dans une interview avec les journalistes de nandu : « notre. la recherche est menée sur les épaules de « géants ». ces « géants » sont très disposés à faire don de leur code de programme de manière désintéressée. pourquoi ne faisons-nous pas de même ? notre équipe elle-même adhère au concept de technologie pour le bien dans ses recherches. et le développement, et nous espérons également participer à de tels concours pour utiliser la technologie. appliquer la technologie à certaines bonnes choses dont le public a besoin.
l'équipe jtgroup a atteint un taux de reconnaissance de 97,038 % pour les deepfakes multi-types et multi-scénarios. comment y est-elle parvenue ? le représentant de l'équipe, chen xiangyu, a déclaré dans une interview avec un journaliste de nandu : « ce jeu offensif et défensif est proche de l'échelle des données du monde réel. nous avons appris beaucoup de nouvelles technologies sur la génération et la reconnaissance des deepfakes en peu de temps. , et nous avons également prêté attention aux ajustements opportuns. les détails du modèle d'algorithme peuvent être l'une des raisons pour lesquelles nous pouvons remporter le championnat.
un journaliste de nandu a appris de l'organisateur que le concours deepfake attack and defense était dirigé par ant digital zoloz et dimensity labs en tant que décideurs du concours. il s'agit de l'un des concours les plus faisant autorité dans le domaine du cv (vision par ordinateur). l'ensemble de données d'événement se compose de données publiques et de données falsifiées. parmi elles, les données d'image falsifiées couvrent plus de 50 méthodes de génération dans des scènes réelles, et l'audio et la vidéo falsifiés comprennent plus de 100 méthodes d'attaque combinées. ouvert par le comité d'organisation plus d'un million.
"ce concours offre aux chercheurs techniques l'opportunité de pratiquer dans un environnement industriel réel hautement simulé, ce qui contribue à intégrer l'industrie, le monde universitaire et la recherche, et à cultiver des talents pratiques responsables." zhou tian, directeur adjoint du frontier artificial intelligence center de. l'agence de singapour pour la science, la technologie et la recherche et co-organisateur du concours différentes théories. l'objectif des équipes participantes est également de sortir du terrain d'essai et d'appliquer les acquis technologiques développés dans des scénarios pratiques. wu haiwei de l'équipe jtgroup a déclaré aux journalistes de nandu : « des algorithmes de détection assistés par l'ia ont été appliqués dans les étapes d'examen des qualifications de taobao, tmall, etc. pour empêcher les criminels de falsifier des licences commerciales et des documents de vérification d'identité pour demander l'ouverture d'un magasin. avec un examen purement manuel, cela peut réduire le coût d'ouverture d'un magasin. cela augmentera l'efficacité à l'avenir, les résultats de la recherche de notre laboratoire devraient également être appliqués à des scénarios davantage du côté des entreprises et du gouvernement, comme dans le cadre d'un examen purement manuel. app nationale anti-fraude et d'autres programmes, apportant une contribution à la lutte contre la fraude et à la technologie deepfake pour le bien ".
normes et applications : construire conjointement un réseau de protection contre les risques de changement de visage de l'ia
bien entendu, la lutte contre le deepfake est bien plus qu’une compétition. l’industrie a réagi les unes après les autres, des normes aux applications, pour construire conjointement un réseau de protection contre les risques de changement de visage de l’ia.
les journalistes de nandu ont découvert l'équipement interactif de détection deepfake du laboratoire ant group tianji au salon technologique de la conférence bund.
à shanghai, lors de la bund conference technology exhibition, le laboratoire ant group tianji a présenté un équipement interactif pour la détection des deepfakes. selon l'expérience de nandu reporter, après avoir pris une photo en temps réel, deepfake a généré plusieurs images différentes de "nandu reporter" (comme indiqué ci-dessus), puis la bascule de détection du laboratoire ant group tianji a inspecté chaque image une par une. a jugé et identifié avec précision que seul le dernier était un véritable portrait d'un journaliste de nandu, et que le reste était généré par des contrefaçons profondes.
dans le même temps, la norme « spécifications techniques pour les applications financières de la détection de faux visages numériques » a également été officiellement publiée lors de la conférence. la norme stipule les exigences fonctionnelles, les exigences techniques, les exigences de performance, etc. pour les services de détection de faux visages numériques dans le domaine financier, et propose des méthodes de test et d'évaluation correspondantes. il est entendu qu'il s'agit de la première norme de détection de « changement de visage par l'ia » pour les scénarios financiers en chine. liu yong, secrétaire général de la zhongguancun fintech industry development alliance et président de l'institut de recherche sur la finance internet de zhongguancun, a déclaré dans son discours : « la publication de cette norme fournit une base pour la détection et l'évaluation de la sécurité des faux visages numériques dans les scénarios financiers. , et comble également cette lacune dans le domaine.
à nansha, guangzhou, lors du « sous-forum sur la protection des informations personnelles » de la semaine nationale de publicité sur la cybersécurité 2024, southern news media group, le cinquième institut d'électronique du ministère de l'industrie et des technologies de l'information, la branche du guangdong du national internet emergency center, pengcheng laboratory, guangdong telecom, guangdong mobile, quinze entreprises et institutions, dont tencent, huawei, ping an group, china guangfa bank, oppo, byd, sangfor, shenzhen saixi et jingyuan security, ont annoncé le lancement officiel du "association de sécurité des données réseau et de protection des informations personnelles du guangdong" et a publié conjointement une initiative "promouvoir la sécurité des données réseau et la protection des informations personnelles". il est entendu que le risque de voir l’ia changer de visage sera également l’un des sujets de préoccupation de l’association.
zone interactive de contrefaçon en temps réel et à changement de visage de china mobile ai. (source : semaine nationale de sensibilisation à la cybersécurité 2024)
lors de la cyber security expo de cette année, pendant la cyber security week, les grandes entreprises de sécurité ont également présenté de nouveaux produits et technologies dans le domaine de la sécurité. dans la zone interactive de contrefaçon en temps réel à changement de visage synthétique profond de china mobile, les journalistes de nandu ont expérimenté le système de simulation de changement de visage de l'ia. au cours de l'expérience, la vidéo générée par deepfake peut être identifiée avec précision comme fausse grâce à la technologie de contrefaçon en temps réel. et l'ensemble du processus ne prend que 5 secondes environ. wang xiaoqing, directeur adjoint du centre des opérations de sécurité et de gestion de l'information de china mobile, a déclaré que le système peut contrecarrer différents scénarios tels que le changement de visage de l'ia, les onomatopées de l'ia et la falsification de documents. ils ont lancé une application pilote dans le secteur de l'accès internet sous nom réel. basée sur la capacité anti-contrefaçon, elle peut détecter les visages ia en temps réel dans le processus de vérification du nom réel, et prévenir de manière proactive les risques tels que le « changement de visage ia ». l'ouverture et le remplacement des cartes en ligne, et la précision de la contrefaçon est élevée, atteignant plus de 90 %.
en effet, comment permettre aux gens ordinaires de bénéficier de la protection apportée par la technologie anti-contrefaçon deepfake est une proposition importante dans la recherche et le développement technologique actuel. zhou wenbo, professeur à l'école de sécurité du cyberespace de l'université des sciences et technologies de chine, a souligné ce point dans une interview avec un journaliste de nandu, son laboratoire de sécurité cognitive intelligente à l'école de sécurité du cyberespace de l'université des sciences et technologies. la chine a franchi une nouvelle étape. début septembre seulement, la première technologie de détection anti-fraude au monde basée sur le changement de visage par l'ia côté appareil, développée par le laboratoire en coopération avec honor, a été appliquée sur les téléphones mobiles honor. une fois que l'utilisateur a cliqué sur démarrer la détection, la technologie détectera les visages dans la vidéo et donnera la possibilité d'échanger des visages par l'ia. lorsque la possibilité est trop élevée, il sera rappelé à l'utilisateur qu'un échange de visage suspect a été détecté (suspect). échange de visage détecté). il est entendu que le laboratoire de sécurité cognitive intelligente de l'école de sécurité du cyberespace de l'université des sciences et technologies de chine a ouvert dès 2019 un outil de synthèse approfondie appelé deepfacelab (un outil de changement de visage vidéo à l'aide de l'apprentissage profond) ; en 2020, l'équipe a participé au plus grand « deep fake detection challenge (dfdc) » au monde organisé par facebook, mit, etc. et a remporté la deuxième place.
quels problèmes restent à résoudre lors de l’utilisation de l’ia pour vaincre l’ia ?
des jeux offensifs et défensifs aux applications industrielles, l’efficacité et le caractère pratique de l’utilisation de l’ia pour « supprimer le faux et préserver le vrai » vont de soi. mais ce qui ne peut être ignoré, c'est que le risque continue d'augmenter de façon exponentielle. yao weibin, le promoteur du global deepfake offensive and defence challenge et directeur technique d'ant zoloz, a déclaré dans une interview aux journalistes de nandu que le nombre de contrefaçons générées par l'aigc. les attaques cette année ont augmenté d'environ 10 fois par rapport à l'année dernière. des situations similaires se produisent non seulement en chine, mais aussi en corée du sud, aux philippines, en indonésie et dans d’autres pays.
malgré l’émergence de nombreuses technologies de détection, nous semblons toujours incapables d’éviter complètement les risques apportés par deepfake. pourquoi cette situation se produit-elle ? zhou wenbai a déclaré aux journalistes de nandu que le processus d'une technologie allant de la recherche théorique à l'utilisation pratique n'est pas un processus qui sera efficace immédiatement. il rencontrera divers défis avant d'être mis en œuvre. « en fait, je pense que le plus important n'est pas de parler du degré d'exhaustivité de la technologie. parce que si vous voulez vraiment résoudre un problème, seulement 5 % doivent s'appuyer sur la technologie, et les 95 % restants doivent s'appuyer sur la technologie. sur les lois, les réglementations et les normes de mise en œuvre. amélioration. " il a souligné qu'il est très nécessaire que le public participe à la vulgarisation scientifique telle que les médias et les plateformes de diffusion de contenu, et que le public doit également être plus conscient des précautions de sécurité.
zhang bo, membre du comité professionnel de gouvernance de la sécurité de l'intelligence artificielle de la china cyberspace security association, a également suggéré dans une interview avec les médias que « le changement de visage de l'ia s'accompagne généralement de scénarios de fraude transactionnelle, tels que les appels vidéo. les contours du visage et l'éclairage de la vidéo de l'autre partie. des détails tels que l'arrière-plan pour voir s'il y a des anomalies. si nécessaire, vous pouvez demander à l'autre personne de lever rapidement la tête, de hocher la tête et de tourner la tête pour déterminer davantage s'il y a. y a-t-il des détails anormaux dans la vidéo pour confirmer que la vidéo est authentique.
d’un point de vue technique, quelles autres orientations existe-t-il pour améliorer la précision de la détection des deepfake ? zhang bo estime que l'authentification de l'identité et le filigrane numérique peuvent être combinés pour rendre la falsification plus difficile. zhou wenbai a déclaré aux journalistes de nandu que cela peut être envisagé sous deux aspects. l'un consiste à fournir davantage de types différents de données deepfake de haute qualité pour le modèle de détection. tout comme les gens acquièrent des connaissances, les modèles d’apprentissage profond le font également. plus vous avez vu de données et plus vous avez acquis de connaissances, plus vos capacités de reconnaissance possibles seront fortes. "l'autre est que nous pouvons essayer d'assurer une protection active du côté de la publication des données. par exemple, avant que nos données ne soient publiées sur une plateforme sociale, la plateforme doit être marquée avec des informations d'identification traçables robustes (telles qu'un filigrane) dans certains "ces informations d'identification peuvent être accompagnées de documents médiatiques diffusés, et en détectant l'intégrité, la sémantique et d'autres contenus des informations d'identification, il est déterminé si le matériel actuel a été endommagé ou falsifié", a déclaré zhou wenbo. il convient de mentionner que de nombreuses plateformes vidéo telles que douyin ont désormais des étiquettes pour les vidéos soupçonnées d'être générées par l'ia.
zhang bo a également suggéré que du point de vue de la gestion, il est nécessaire d'accélérer la formulation et la mise en œuvre des lois, réglementations et mesures réglementaires pertinentes pour normaliser les méthodes d'utilisation et les scénarios d'application des applications d'ia. selon zhou wenbo, la publication de normes telles que les « spécifications techniques pour les applications financières de la détection de faux visages numériques » peut être utilisée comme guide pour normaliser les services fournis par les entreprises et les institutions et l'application de la technologie, et devrait être réalisée conformément à certaines normes et standards. mettre en œuvre sa technologie pour prévenir les menaces à la vie privée, à la sécurité des données et à d'autres aspects lors de l'utilisation de la technologie, entraînant des dommages aux droits et intérêts des utilisateurs, voire une violation des intérêts nationaux.
du point de vue du développement des talents dans des domaines connexes, nous sommes également confrontés à des opportunités et à des défis. wang yaonan, académicien de l'académie chinoise d'ingénierie et président de la société chinoise de l'image et du graphisme, a souligné qu'au cours des dernières années, il y a eu de nombreux cas d'utilisation malveillante de cette technologie pour mener des fraudes à l'ia à l'étranger, ce qui a entraîné pertes économiques et matérielles, atteinte à la réputation et autres incidents. face à l'échelle mondiale compte tenu des défis techniques, il est urgent de former des talents en ia dotés de capacités pratiques. wang wei, cto d'ant digital, a proposé une solution, dans l'espoir de « promouvoir l'innovation par la compétition », d'améliorer la capacité des candidats à utiliser la technologie pour résoudre des problèmes réels dans des scénarios d'application pratiques à travers des questions de compétition terre-à-terre et de cultiver des talents interdisciplinaires ; en rassemblant les élites mondiales de la technologie de l'ia, communiquez et améliorez les niveaux de confrontation mondiale lors d'exercices de combat réels.
interviewé et écrit par : le journaliste de nandu, xiong runmiao
