até onde chegou o revezamento ofensivo e defensivo do uso de ia contra ia e da mudança de rosto para combater a falsificação?
2024-09-14
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
o que você vê pode não ser verdade! uma “foto de retrato” ou um “vídeo de personagem” pode se tornar um novo meio e uma nova ferramenta para os criminosos cometerem crimes. durante a semana nacional de publicidade sobre segurança cibernética em 2024, o tema da violação da privacidade pessoal, como a mudança de rosto e de voz da ia, tornou-se mais uma vez o foco da atenção de todos. na verdade, este tema também foi muito discutido durante a conferência do bund, realizada uma semana antes da semana de segurança cibernética.
da conferência bund no rio huangpu à semana nacional de segurança cibernética no rio lingding yangtze, em setembro deste ano, as pessoas continuam a fazer perguntas sobre como a ia pode fazer o bem. está acontecendo nas duas cidades ribeirinhas de xangai e guangzhou.
como a tecnologia de mudança de rosto da ia afeta a segurança da nossa identidade digital? quais ferramentas eficazes de ia podem detectar e prevenir com precisão os riscos do deepfake? de uma perspetiva jurídica e ética, como podemos equilibrar a aplicação inovadora da tecnologia revolucionária da ia com os seus riscos potenciais? com essas perguntas, os repórteres da nandu percorreram todo o caminho, desde simulados desafios ofensivos e defensivos até cenários reais de aplicação, da academia à indústria, para encontrar respostas a essas proposições.
fora do campo de testes: um grupo de jovens iniciou um revezamento ofensivo e defensivo de ia
a mudança facial de ia é uma tecnologia deepfake que usa computadores para adulterar imagens faciais com o suporte de algoritmos de aprendizagem profunda. com a iteração contínua da tecnologia de mudança facial de ia, está melhorando a produção de entretenimento, comércio eletrônico e outras indústrias. junto com a eficiência, também traz riscos infinitos. no início de setembro, um novo caso "room n" surgiu na coreia do sul com base na tecnologia de "falsificação profunda". as mulheres sul-coreanas entraram em "pânico de mudança de rosto de ia" e até postaram nas redes sociais chinesas pedindo ajuda.
ao mesmo tempo, no bund em xangai, um desafio deepfake ofensivo e de defesa sobre a mudança de rosto da ia reuniu um grupo de jovens "anti-falsificadores de ia". durante a conferência bund, uma das equipes participantes nesta competição de inovação em ia, o desafio global de ataque e defesa deepfake (doravante denominado "competição de ataque e defesa deepfake") - visionrush do instituto de automação da academia chinesa de ciências, código aberto do modelo de ia participante em resposta às necessidades das mulheres coreanas "pânico de mudança de rosto de ia". posteriormente, outras equipes participantes também "assumiram" e iniciaram a ação "code relay" do deepfake defenders. equipes incluindo a academia chinesa de ciências, a universidade de macau e a ocean university of china anunciaram modelos de competição de código aberto, esperando que isso acontecesse. reduzir o limite técnico, fortalecer o intercâmbio técnico e conter o abuso da tecnologia deepfake.
durante o bund conference ai innovation competition·global deepfake attack and defense challenge, as equipes participantes lançaram a ação deepfake defenders "code relay".
vale ressaltar que o jtgroup, equipe conjunta composta por acadêmicos de hong kong e macau, teve um bom desempenho na competição e conquistou o campeonato na deepfake offensive and defensive picture track. wu haiwei, um pós-doutorando da city university of hong kong, levou os seus alunos juniores do state key laboratory of smart city internet of things da universidade de macau para participarem na trilha de imagens. chen yiming, investigador do laboratório estatal de internet das coisas para cidades inteligentes da universidade de macau, é o capitão desta equipa campeã. ao falar sobre código aberto, disse com um sorriso numa entrevista aos repórteres da nandu: “o nosso. a pesquisa é realizada sobre os ombros de 'gigantes'. esses 'gigantes' estão muito dispostos a doar abnegadamente seu código de programa. por que não fazemos o mesmo? e desenvolvimento, e também esperamos participar de tais competições para usar a tecnologia em algumas coisas boas que o público precisa.”
a equipe do jtgroup alcançou uma taxa de reconhecimento de 97,038% para deepfakes de vários tipos e cenários. como isso foi alcançado? o representante da equipe, chen xiangyu, disse em uma entrevista a um repórter de nandu: "este jogo ofensivo e defensivo está próximo da escala dos dados do mundo real. aprendemos muitas novas tecnologias sobre geração e reconhecimento de deepfake em um curto período de tempo , e também prestamos atenção aos ajustes oportunos. os detalhes do modelo de algoritmo podem ser uma das razões pelas quais podemos vencer o campeonato.”
um repórter de nandu soube pelo organizador que a competição de ataque e defesa deepfake foi liderada por ant digital zoloz e dimensity labs como os questionadores do concurso. é uma das competições de maior autoridade na área de cv (visão computacional). o conjunto de dados de eventos consiste em dados públicos e dados forjados. entre eles, os dados de imagem forjados abrangem mais de 50 métodos de geração em cenas reais, e o áudio e vídeo forjados incluem mais de 100 métodos de ataque combinados. aberto pelo comitê organizador mais de 1 milhão.
"esta competição oferece aos pesquisadores técnicos a oportunidade de praticar em um ambiente industrial real altamente simulado, o que ajuda a integrar a indústria, a academia e a pesquisa, e a cultivar talentos práticos responsáveis, zhou tian, vice-diretor do frontier artificial intelligence center of." a agência de ciência, tecnologia e pesquisa de cingapura e co-organizadora da competição diferentes teorias. é também objetivo das equipes participantes sair do campo de testes e aplicar as conquistas tecnológicas desenvolvidas em cenários práticos. wu haiwei, da equipe jtgroup, disse aos repórteres de nandu: “algoritmos de detecção assistidos por ia foram aplicados nos estágios de revisão de qualificação de taobao, tmall, etc. para evitar que criminosos falsifiquem licenças comerciais e materiais de verificação de identidade para solicitar a abertura de uma loja. com revisão puramente manual, pode reduzir o custo de abertura de uma loja. isso aumentará a eficiência. no futuro, espera-se que os resultados da pesquisa de nosso laboratório também sejam aplicados em mais cenários empresariais e governamentais. app antifraude nacional e outros programas, fazendo algumas contribuições para o antifraude e a tecnologia deepfake para o bem ".
padrões e aplicações: construir em conjunto uma rede de proteção contra os riscos da mudança de face da ia
é claro que a luta contra o deepfake é muito mais do que uma competição. a indústria respondeu uma após a outra, desde os padrões às aplicações, para construir conjuntamente uma rede de proteção contra os riscos da mudança de face da ia.
os repórteres da nandu experimentaram o equipamento interativo de detecção deepfake do ant group tianji laboratory na bund conference technology exhibition.
em xangai, na bund conference technology exhibition, o laboratório ant group tianji demonstrou equipamentos interativos para detecção de deepfake. de acordo com a experiência do nandu reporter, depois de tirar uma foto em tempo real, deepfake gerou várias imagens diferentes do "nandu reporter" (como mostrado acima) e, em seguida, o controle de detecção do ant group tianji laboratory inspecionou cada imagem uma por uma. julgou e identificou com precisão que apenas o último era o retrato real de um repórter de nandu, e o restante foi gerado por deep fakes.
ao mesmo tempo, o padrão "especificações técnicas para aplicações financeiras de detecção digital falsa de rosto" também foi lançado oficialmente na conferência. a norma estipula os requisitos funcionais, requisitos técnicos, requisitos de desempenho, etc. para serviços de detecção digital falsa de rostos na área financeira e propõe métodos de teste e avaliação correspondentes. entende-se que este é o primeiro padrão de detecção de “mudança de rosto de ia” para cenários financeiros na china. liu yong, secretário-geral da aliança de desenvolvimento da indústria fintech de zhongguancun e presidente do instituto de pesquisa financeira da internet de zhongguancun, disse em seu discurso: "o lançamento deste padrão fornece uma base para a detecção de segurança e avaliação de rostos digitais falsos em cenários financeiros , e também preenche essa lacuna.
em nansha, guangzhou, no "subfórum de proteção de informações pessoais" da semana nacional de publicidade de segurança cibernética de 2024, southern news media group, o quinto instituto de eletrônica do ministério da indústria e tecnologia da informação, a filial de guangdong do national centro de emergência da internet, laboratório pengcheng, guangdong telecom, guangdong mobile, quinze empresas e instituições, incluindo tencent, huawei, ping an group, china guangfa bank, oppo, byd, sangfor, shenzhen saixi e jingyuan security, anunciaram o lançamento formal do "associação de segurança de dados de rede e proteção de informações pessoais de guangdong" e emitiu conjuntamente uma iniciativa "promover a segurança de dados de rede e proteção de informações pessoais". entende-se que o risco de mudança de face da ia também será uma das questões que preocupa a associação.
zona interativa de mudança de rosto e falsificação em tempo real da china mobile ai. (fonte: semana nacional de conscientização sobre segurança cibernética 2024)
na cyber security expo deste ano, durante a cyber security week, as principais empresas de segurança também apresentaram novos produtos e tecnologias na área de segurança. na zona interativa de falsificação em tempo real de mudança de rosto sintética profunda da china mobile, os repórteres da nandu experimentaram o sistema de simulação de mudança de rosto de ia. durante a experiência, o vídeo gerado pelo deepfake pode ser identificado com precisão como falso pela tecnologia de falsificação em tempo real. e todo o processo leva apenas cerca de 5 segundos. wang xiaoqing, vice-gerente do centro de operações de gerenciamento e segurança da informação da china mobile, disse que o sistema pode neutralizar diferentes cenários, como mudança de rosto de ia, onomatopeia de ia e falsificação de documentos. eles lançaram um aplicativo piloto no negócio de acesso à internet com nomes reais. com base na capacidade antifalsificação, ele pode detectar rostos de ia no processo de verificação de nomes reais em tempo real e prevenir proativamente riscos como "mudança de rosto de ia". abertura e substituição de cartões online, e a precisão da falsificação é alta, chegando a mais de 90%.
na verdade, como permitir que as pessoas comuns desfrutem da proteção proporcionada pela tecnologia antifalsificação deepfake é uma proposta importante na pesquisa e desenvolvimento tecnológico atual. zhou wenbo, professor da escola de segurança cibernética da universidade de ciência e tecnologia da china, enfatizou esse ponto em uma entrevista com um repórter de nandu, seu laboratório de segurança cognitiva inteligente da escola de segurança cibernética da universidade de ciência e tecnologia. da china deu um novo passo. apenas no início de setembro, a primeira tecnologia de detecção antifraude do mundo baseada na mudança de rosto de ia do lado do dispositivo, desenvolvida pelo laboratório em cooperação com a honor, foi aplicada nos telefones celulares da honor. depois que o usuário clica para iniciar a detecção, a tecnologia detectará os rostos no vídeo e dará a possibilidade de troca de rosto por ia. quando a possibilidade for muito alta, o usuário será lembrado de que uma suspeita de troca de rosto foi detectada. troca de rosto detectada). entende-se que o laboratório de segurança cognitiva inteligente da escola de segurança do ciberespaço da universidade de ciência e tecnologia da china abriu o código-fonte de uma ferramenta de síntese profunda chamada deepfacelab (uma ferramenta para mudança de face de vídeo usando aprendizagem profunda) já em 2019; em 2020, a equipe participou do maior "deep fake detection challenge (dfdc)" do mundo, organizado pelo facebook, mit, etc., e conquistou o segundo lugar.
que problemas ainda precisam ser resolvidos ao usar a ia para derrotar a ia?
desde jogos ofensivos e defensivos até aplicações industriais, a eficiência e a praticidade do uso da ia para “remover o falso e preservar o verdadeiro” são evidentes. mas o que não pode ser ignorado é que o risco ainda está aumentando exponencialmente, o proponente do global deepfake offensive and defense challenge e diretor técnico da ant zoloz, disse em entrevista a repórteres de nandu que o número de falsificações geradas por aigc. os ataques este ano aumentaram cerca de 10 vezes em comparação com o ano passado. situações semelhantes ocorrem não só na china, mas também na coreia do sul, nas filipinas, na indonésia e noutros países.
apesar do surgimento de muitas tecnologias de detecção, ainda parecemos incapazes de evitar completamente os riscos trazidos pelo deepfake. por que esta situação está acontecendo? zhou wenbai disse aos repórteres de nandu que o processo de uma tecnologia, desde a pesquisa teórica até o uso prático, não é um processo que será eficaz imediatamente. ele encontrará vários desafios antes de ser implementado. “na verdade, acho que o mais importante é não falar sobre o quão completa a tecnologia deve ser. porque se você realmente quer resolver um problema, apenas 5% dele precisa contar com tecnologia, e os 95% restantes precisam contar com sobre leis, regulamentos e padrões de implementação." ele ressaltou que é muito necessário que o público participe da popularização da ciência popular, como mídias e plataformas de disseminação de conteúdo, e o público também precisa ter uma maior conscientização sobre as precauções de segurança.
zhang bo, membro do comitê profissional de governança de segurança de inteligência artificial da associação de segurança do ciberespaço da china, também sugeriu em uma entrevista à mídia que “a mudança de rosto da ia geralmente é acompanhada por cenários de fraude em transações, como videochamadas. os contornos faciais e a iluminação do vídeo da outra parte detalhes como o fundo para ver se há alguma anormalidade. se necessário, você pode pedir à outra pessoa para levantar rapidamente a cabeça, acenar e virar a cabeça para determinar se há. há quaisquer detalhes anormais no vídeo para confirmar que o vídeo é autêntico.”
do ponto de vista técnico, que outras direções existem para melhorar a precisão da detecção de deepfake? zhang bo acredita que a autenticação de identidade e a marca d'água digital podem ser combinadas para dificultar a falsificação. zhou wenbai disse aos repórteres de nandu que isso pode ser considerado sob dois aspectos. um é fornecer mais tipos diferentes de dados deepfake de alta qualidade para o modelo de detecção. assim como as pessoas aprendem conhecimento, o mesmo acontece com os modelos de aprendizagem profunda. quanto mais dados você tiver visto e quanto mais conhecimento tiver aprendido, mais fortes serão suas possíveis capacidades de reconhecimento. "a outra é que podemos tentar fazer alguma proteção ativa no lado da publicação de dados. por exemplo, antes de nossos dados serem publicados em uma plataforma social, a plataforma deve ser marcada com informações de identificação rastreáveis e robustas (como uma marca d'água) em alguns essas informações de identificação podem ser acompanhadas por materiais de mídia são disseminados e, ao detectar a integridade, a semântica e outros conteúdos das informações de identificação, é determinado se o material atual foi danificado ou forjado", disse zhou wenbo. vale ressaltar que muitas plataformas de vídeo como douyin agora possuem rótulos para vídeos suspeitos de serem gerados por ia.
zhang bo também sugeriu que, do ponto de vista da gestão, é necessário acelerar a formulação e implementação de leis, regulamentos e medidas regulamentares relevantes para padronizar os métodos de utilização e cenários de aplicação das aplicações de ia. na opinião de zhou wenbo, a divulgação de padrões como as "especificações técnicas para aplicações financeiras de detecção digital de rostos falsos" pode ser usada como um guia para padronizar os serviços prestados por empresas e instituições e a aplicação de tecnologia, e deve ser realizada de acordo com certas normas e padrões. implementar sua tecnologia para prevenir ameaças à privacidade, segurança de dados e outros aspectos durante o uso da tecnologia, resultando em danos aos direitos e interesses dos usuários, e até mesmo violação dos interesses nacionais.
do ponto de vista do cultivo de talentos em áreas afins, também enfrentamos oportunidades e desafios. wang yaonan, acadêmico da academia chinesa de engenharia e presidente da sociedade chinesa de imagens e gráficos, destacou que, nos últimos anos, tem havido muitos casos de uso malicioso desta tecnologia para conduzir fraudes de mudança de rosto de ia no exterior, resultando em perdas económicas e patrimoniais, danos à reputação e outros incidentes face aos desafios técnicos, é urgente cultivar talentos de ia com capacidades práticas. wang wei, cto da ant digital, propôs uma solução, na esperança de "promover a inovação através da competição", melhorar a capacidade dos concorrentes de usar a tecnologia para resolver problemas reais em cenários de aplicação prática através de questões de competição realistas e cultivar talentos interdisciplinares; através da reunião de elites globais de tecnologia de ia, comunicar e melhorar os níveis de confronto global em exercícios de combate reais.
entrevistado e escrito por: repórter nandu xiong runmiao
