fino a che punto è arrivata la staffetta offensiva e difensiva dell’uso dell’intelligenza artificiale contro l’intelligenza artificiale e del cambio di volto per combattere la contraffazione?
2024-09-14
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
ciò che vedi potrebbe non essere vero! una "foto ritratto" o un "video di personaggi" possono diventare un nuovo mezzo e un nuovo strumento con cui i criminali commettono crimini. durante la national cyber security publicity week del 2024, il tema della violazione della privacy personale come il cambio di volto e il cambio di voce dell'ia è diventato ancora una volta al centro dell'attenzione di tutti. di questo argomento, infatti, si è parlato molto anche durante la conferenza del bund tenutasi una settimana prima della cyber security week.
dalla conferenza del bund sul fiume huangpu alla settimana nazionale della sicurezza informatica sul fiume lingding yangtze, questo settembre, le persone continuano a porsi domande su come l’intelligenza artificiale può fare del bene, pensando a come combattere il rischio che l’intelligenza artificiale cambi volto si sta svolgendo nelle due città fluviali di shanghai e guangzhou.
in che modo la tecnologia dell’intelligenza artificiale che cambia volto influisce sulla sicurezza della nostra identità digitale? quali strumenti di intelligenza artificiale efficaci possono rilevare e prevenire con precisione i rischi deepfake? da un punto di vista legale ed etico, come bilanciare l’applicazione innovativa della tecnologia di trasformazione dell’intelligenza artificiale con i suoi potenziali rischi? con queste domande, i giornalisti di nandu sono andati fino in fondo, dalle sfide offensive e difensive simulate agli scenari applicativi reali, dal mondo accademico all’industria, per trovare risposte a queste proposizioni.
fuori dal campo di prova: un gruppo di giovani ha avviato una staffetta offensiva e difensiva dell'ia
il cambio di volto con intelligenza artificiale è una tecnologia deepfake che utilizza i computer per manomettere le immagini facciali con il supporto di algoritmi di deep learning. con la continua iterazione della tecnologia di cambio di volto con intelligenza artificiale, sta migliorando la produzione di intrattenimento, e-commerce e altri settori. oltre all’efficienza, comporta anche infiniti rischi. all'inizio di settembre, in corea del sud è emerso un nuovo caso "stanza n" basato sulla tecnologia di "falsificazione profonda". le donne sudcoreane sono cadute nel "panico che cambia volto tramite l'intelligenza artificiale" e hanno persino postato sui social network cinesi chiedendo aiuto.
allo stesso tempo, sul bund di shanghai, una sfida offensiva e di difesa deepfake sul cambio di volto dell'ia ha riunito un gruppo di giovani "anti-contraffattori dell'ia". durante la conferenza del bund, uno dei team partecipanti a questo concorso per l'innovazione dell'intelligenza artificiale, il global deepfake attack and defense challenge (di seguito denominato "deepfake attack and defense competition") - visionrush dell'istituto di automazione, accademia cinese delle scienze, ha reso open source il modello di intelligenza artificiale partecipante in risposta ai bisogni delle donne coreane "panico che cambia il volto dell'intelligenza artificiale". successivamente, anche altri team partecipanti "hanno preso il sopravvento" e hanno avviato l'azione "code relay" di deepfake defenders. team tra cui l'accademia cinese delle scienze, l'università di macao e l'università oceanica della cina hanno annunciato modelli di competizione open source, sperando che ciò accadesse. abbassare la soglia tecnica, rafforzare gli scambi tecnici e contenere l'abuso della tecnologia deepfake.
durante il concorso per l'innovazione dell'intelligenza artificiale della bund conference · global deepfake attack and defense challenge, i team partecipanti hanno lanciato l'azione "code relay" di deepfake defenders.
vale la pena ricordare che jtgroup, un team congiunto composto da studiosi di hong kong e macao, si è comportato bene nella competizione e ha vinto il campionato nel deepfake offensive e defensive picture track. wu haiwei, un ricercatore post-dottorato presso la city university di hong kong, ha portato i suoi studenti junior dello state key laboratory of smart city internet of things presso l'università di macao a partecipare al percorso delle immagini. chen yiming, ricercatore presso lo state key laboratory of smart city internet of things dell'università di macao, è il capitano di questa squadra di campionato. parlando di open source, ha detto con un sorriso in un'intervista ai giornalisti di nandu: "il nostro la ricerca viene condotta sulle spalle dei "giganti". questi "giganti" sono molto disposti a donare altruisticamente il codice del loro programma. perché non facciamo lo stesso nel fare ricerca? e sviluppo, e speriamo anche di partecipare a tali concorsi per utilizzare la tecnologia per applicare la tecnologia ad alcune cose buone di cui il pubblico ha bisogno”.
il team di jtgroup ha ottenuto un tasso di riconoscimento del 97,038% per i deepfake multitipo e multiscenario. come è riuscito a raggiungere questo obiettivo? il rappresentante della squadra chen xiangyu ha dichiarato in un'intervista con un giornalista di nandu: "questo gioco offensivo e difensivo è vicino alla scala dei dati nel mondo reale. abbiamo imparato molte nuove tecnologie sulla generazione e il riconoscimento di deepfake in un breve periodo di tempo , e abbiamo anche prestato attenzione agli aggiustamenti tempestivi. i dettagli del modello dell’algoritmo potrebbero essere uno dei motivi per cui possiamo vincere il campionato”.
un giornalista di nandu ha appreso dall'organizzatore che il concorso deepfake attack and defense è stato condotto da ant digital zoloz e dimensity labs in qualità di creatori di domande del concorso. si tratta di uno dei concorsi più autorevoli nel campo del cv (visione artificiale). il set di dati dell'evento è costituito da dati pubblici e dati contraffatti. tra questi, i dati delle immagini contraffatte coprono più di 50 metodi di generazione in scene reali e l'audio e il video contraffatti includono più di 100 metodi di attacco combinati aperto dal comitato organizzatore più di 1 milione.
"questo concorso offre ai ricercatori tecnici l'opportunità di esercitarsi in un ambiente industriale reale altamente simulato, che aiuta a integrare l'industria, il mondo accademico e la ricerca e a coltivare talenti pratici responsabili." zhou tian, vicedirettore del frontier artificial intelligence center l'agenzia di singapore per la scienza, la tecnologia e la ricerca e co-organizzatrice del concorso differenti teorie. l'obiettivo dei team partecipanti è anche quello di uscire dal banco di prova e applicare i risultati tecnologici sviluppati in scenari pratici. wu haiwei del team jtgroup ha detto ai giornalisti di nandu: "gli algoritmi di rilevamento assistiti dall'intelligenza artificiale sono stati applicati nelle fasi di revisione delle qualifiche di taobao, tmall, ecc. per impedire ai criminali di falsificare licenze commerciali e materiali di verifica dell'identità per richiedere l'apertura di un negozio a confronto con una revisione puramente manuale, può ridurre i costi di apertura di un negozio. ciò aumenterà l'efficienza. in futuro, si prevede che i risultati della ricerca del nostro laboratorio verranno applicati anche a scenari più lato aziendale e governativo, come ad esempio. app antifrode nazionale e altri programmi, fornendo alcuni contributi alla tecnologia antifrode e deepfake per sempre ".
standard e applicazioni: costruire congiuntamente una rete di protezione contro i rischi derivanti dal cambiamento del volto dell’ia
naturalmente, la lotta contro il deepfake è molto più di una competizione. l’industria ha risposto uno dopo l’altro, dagli standard alle applicazioni, per costruire insieme una rete di protezione contro i rischi del cambiamento del volto dell’ia.
i giornalisti di nandu hanno sperimentato l'attrezzatura interattiva per il rilevamento di deepfake del laboratorio tianji di ant group alla mostra sulla tecnologia della conferenza bund.
a shanghai, alla bund conference technology exhibition, il laboratorio ant group tianji ha presentato apparecchiature interattive per il rilevamento di deepfake. secondo l'esperienza di nandu reporter, dopo aver scattato una foto in tempo reale, deepfake ha generato diverse immagini "nandu reporter" (come mostrato sopra), quindi il rilevatore di rilevamento dell'ant group tianji laboratory ha ispezionato ciascuna immagine una per una giudicato e identificato con precisione che solo l'ultimo era un vero ritratto di un giornalista di nandu, e il resto era generato da profondi falsi.
allo stesso tempo, durante la conferenza è stata ufficialmente pubblicata anche la norma "specifiche tecniche per le applicazioni finanziarie del rilevamento digitale di volti falsi". la norma stabilisce i requisiti funzionali, tecnici, prestazionali, ecc. per i servizi di rilevamento di volti digitali falsi nel settore finanziario e propone metodi di test e valutazione corrispondenti. resta inteso che questo è il primo standard di rilevamento del "cambiamento di volto dell'intelligenza artificiale" per scenari finanziari in cina. liu yong, segretario generale della zhongguancun fintech industry development alliance e presidente dello zhongguancun internet finance research institute, ha dichiarato nel suo discorso: "il rilascio di questo standard fornisce una base per il rilevamento e la valutazione della sicurezza dei falsi volti digitali negli scenari finanziari , e colma anche questa lacuna.
a nansha, guangzhou, al "sottoforum sulla protezione delle informazioni personali" della settimana nazionale di pubblicità sulla sicurezza informatica del 2024, il southern news media group, il quinto istituto di elettronica del ministero dell'industria e della tecnologia dell'informazione, la filiale del guangdong del national internet emergency center, pengcheng laboratory, guangdong telecom, guangdong mobile, quindici imprese e istituzioni, tra cui tencent, huawei, ping an group, china guangfa bank, oppo, byd, sangfor, shenzhen saixi e jingyuan security, hanno annunciato il lancio formale del "associazione per la sicurezza dei dati della rete e la protezione delle informazioni personali del guangdong" e hanno lanciato congiuntamente un'iniziativa "promuovere la sicurezza dei dati della rete e la protezione delle informazioni personali". resta inteso che anche il rischio di un cambiamento del volto dell’ia sarà una delle questioni che preoccupano l’associazione.
zona interattiva per il cambio di volto e la contraffazione in tempo reale di china mobile ai. (fonte: settimana nazionale di sensibilizzazione alla sicurezza informatica 2024)
alla cyber security expo di quest'anno durante la cyber security week, le principali società di sicurezza hanno anche presentato nuovi prodotti e tecnologie nel campo della sicurezza. nella zona interattiva di contraffazione in tempo reale con cambio di volto sintetico profondo di china mobile, i giornalisti di nandu hanno sperimentato il sistema di simulazione del cambio di volto basato sull'intelligenza artificiale. durante l'esperienza, il video generato da deepfake può essere accuratamente identificato come falso dalla tecnologia di contraffazione in tempo reale. e l'intero processo richiede solo circa 5 secondi. wang xiaoqing, vicedirettore del centro operativo per la sicurezza e la gestione delle informazioni di china mobile, ha affermato che il sistema può contrastare diversi scenari come il cambio di volto dell'ia, l'onomatopea dell'ia e la falsificazione di documenti. hanno lanciato un'applicazione pilota nel settore dell'accesso a internet con nomi reali. basata sulla capacità anticontraffazione, è in grado di rilevare i volti dell'ia nel processo di verifica del nome reale in tempo reale, prevenendo in modo proattivo rischi come il "cambio di volti dell'ia". apertura e sostituzione della carta online e la precisione della contraffazione è elevata, raggiungendo oltre il 90%.
in effetti, come consentire alla gente comune di godere della protezione offerta dalla tecnologia anticontraffazione deepfake è una proposta importante nell’attuale ricerca e sviluppo tecnologico. zhou wenbo, professore alla scuola di sicurezza cyberspaziale dell’università di scienza e tecnologia della cina, ha sottolineato questo punto in un’intervista con un giornalista nandu nel suo laboratorio di sicurezza cognitiva intelligente presso la scuola di sicurezza cyberspaziale dell’università di scienza e tecnologia della cina ha compiuto un nuovo passo. proprio all'inizio di settembre, la prima tecnologia di rilevamento antifrode al mondo basata sul cambio di volto tramite intelligenza artificiale lato dispositivo, sviluppata dal laboratorio in collaborazione con honor, è stata applicata sui telefoni cellulari honor. dopo che l'utente ha fatto clic su avvia rilevamento, la tecnologia rileverà i volti nel video e darà la possibilità di scambiare i volti tramite l'intelligenza artificiale. quando la possibilità è troppo alta, all'utente verrà ricordato che è stato rilevato il sospetto scambio di volti rilevato lo scambio di volti). resta inteso che l'intelligent cognitive security laboratory della school of cyberspace security dell'università di scienza e tecnologia della cina ha reso open source uno strumento di sintesi profonda chiamato deepfacelab (uno strumento per il cambio di volto video utilizzando il deep learning) già nel 2019; nel 2020, il team ha partecipato alla più grande "deep fake detection challenge (dfdc)" a livello mondiale organizzata da facebook, mit, ecc. e si è classificata seconda.
quali problemi restano da risolvere quando si utilizza l’intelligenza artificiale per sconfiggere l’intelligenza artificiale?
dai giochi offensivi e difensivi alle applicazioni industriali, l'efficienza e la praticità dell'uso dell'intelligenza artificiale per "rimuovere il falso e preservare il vero" è evidente. ma ciò che non può essere ignorato è che il rischio continua ad aumentare in modo esponenziale, yao weibin, il proponente della global deepfake offensive and defense challenge e direttore tecnico di ant zoloz, ha dichiarato in un'intervista ai giornalisti di nandu che il numero di falsificazioni generate dall'aigc. gli attacchi quest'anno sono aumentati di circa 10 volte rispetto allo scorso anno. situazioni simili si verificano non solo in cina, ma anche in corea del sud, filippine, indonesia e altri paesi.
nonostante l’emergere di numerose tecnologie di rilevamento, sembra che non siamo ancora in grado di evitare completamente i rischi portati dal deepfake. perché si sta verificando questa situazione? zhou wenbai ha detto ai giornalisti di nandu che il processo di una tecnologia dalla ricerca teorica all'uso pratico non è un processo che sarà efficace immediatamente. incontrerà varie sfide prima di essere implementato. "in realtà, penso che la cosa più importante sia non parlare di quanto dovrebbe essere completa la tecnologia. perché se vuoi davvero risolvere un problema, solo il 5% di esso deve fare affidamento sulla tecnologia, e il restante 95% deve fare affidamento su leggi, regolamenti e standard di attuazione." ha sottolineato che è assolutamente necessario che il pubblico partecipi alla divulgazione scientifica popolare come i media e le piattaforme di diffusione dei contenuti, e che il pubblico deve anche avere una maggiore consapevolezza delle precauzioni di sicurezza.
anche zhang bo, membro del comitato professionale per la governance della sicurezza dell'intelligenza artificiale della china cyberspace security association, ha suggerito in un'intervista ai media che “il cambiamento del volto dell'intelligenza artificiale è solitamente accompagnato da scenari di frode nelle transazioni, come le videochiamate i contorni del viso e l'illuminazione del video dell'altra persona. dettagli come lo sfondo per vedere se sono presenti anomalie. se necessario, puoi chiedere all'altra persona di alzare rapidamente la testa, annuire e girare la testa per determinare ulteriormente se sono presenti ci sono dettagli anomali nel video per confermare che il video è autentico."
da un punto di vista tecnico, quali altre direzioni ci sono per migliorare la precisione del rilevamento dei deepfake? zhang bo ritiene che l'autenticazione dell'identità e la filigrana digitale possano essere combinate per rendere più difficile la falsificazione. zhou wenbai ha detto ai giornalisti di nandu che può essere considerato da due aspetti. il primo è fornire tipi diversi di dati deepfake di alta qualità per il modello di rilevamento. proprio come le persone imparano la conoscenza, così fanno i modelli di deep learning. più dati hai visto e più conoscenza hai imparato, più forti saranno le tue possibili capacità di riconoscimento. "l'altro è che possiamo provare a proteggere attivamente la pubblicazione dei dati. ad esempio, prima che i nostri dati vengano pubblicati su una piattaforma social, la piattaforma dovrebbe essere contrassegnata con informazioni di identificazione tracciabili e robuste (come una filigrana) in alcuni modo. queste informazioni di identificazione possono essere accompagnate da materiali multimediali diffusi e, rilevando l'integrità, la semantica e altri contenuti delle informazioni di identificazione, si determina se il materiale attuale è stato danneggiato o contraffatto," ha affermato zhou wenbo. vale la pena ricordare che molte piattaforme video come douyin ora hanno etichette per i video che si sospetta siano generati dall’intelligenza artificiale.
zhang bo ha anche suggerito che dal punto di vista gestionale è necessario accelerare la formulazione e l’attuazione di leggi, regolamenti e misure normative pertinenti per standardizzare i metodi di utilizzo e gli scenari applicativi delle applicazioni di intelligenza artificiale. secondo zhou wenbo, la pubblicazione di standard come le "specifiche tecniche per le applicazioni finanziarie del rilevamento digitale di volti falsi" può essere utilizzata come guida per standardizzare i servizi forniti da imprese e istituzioni e l'applicazione della tecnologia, e dovrebbe essere effettuata in conformità con determinate norme e standard. implementare la propria tecnologia per prevenire minacce alla privacy, alla sicurezza dei dati e ad altri aspetti durante l'uso della tecnologia, con conseguenti danni ai diritti e agli interessi degli utenti e persino alla violazione degli interessi nazionali.
dal punto di vista della coltivazione del talento in campi correlati, affrontiamo anche opportunità e sfide. wang yaonan, accademico dell'accademia cinese di ingegneria e presidente della società cinese di immagine e grafica, ha sottolineato che negli ultimi anni si sono verificati molti casi di uso dannoso di questa tecnologia per condurre frodi all'estero che hanno cambiato volto all'intelligenza artificiale, con conseguenti perdite economiche e patrimoniali, danni alla reputazione e altri incidenti di fronte alla scala globale date le sfide tecniche, è urgente coltivare talenti nell’intelligenza artificiale con capacità pratiche. wang wei, cto di ant digital, ha proposto una soluzione, sperando di "promuovere l'innovazione attraverso la competizione", migliorare la capacità dei concorrenti di utilizzare la tecnologia per risolvere problemi reali in scenari applicativi pratici attraverso domande concrete sulla competizione e coltivare talenti interdisciplinari; attraverso la raccolta di élite globali della tecnologia ai, comunicare e migliorare i livelli di confronto globale in esercizi di combattimento reali.
intervistato e scritto da: giornalista nandu xiong runmiao
