¿hasta dónde ha llegado el relevo ofensivo y defensivo del uso de ia contra ia y el cambio de rostro para combatir la falsificación?
2024-09-14
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
¡lo que ves puede no ser cierto! una "fotografía de retrato" o un "vídeo de un personaje" pueden convertirse en un nuevo medio y una nueva herramienta para que los delincuentes cometan delitos. durante la semana nacional de publicidad sobre seguridad cibernética de 2024, el tema de la infracción de la privacidad personal, como el cambio de rostro y de voz de la ia, se ha convertido una vez más en el centro de atención de todos. de hecho, este tema también fue debatido acaloradamente durante la conferencia del bund celebrada una semana antes de la semana de la seguridad cibernética.
desde la conferencia bund en el río huangpu hasta la semana nacional de seguridad cibernética en el río lingding yangtze, este septiembre, la gente continúa haciendo preguntas sobre cómo la ia puede hacer el bien y pensar en cómo combatir el riesgo de que la ia cambie de cara. se lleva a cabo en las dos ciudades ribereñas de shanghai y guangzhou pentium resonance.
¿cómo afecta la tecnología de ia que cambia la cara a nuestra seguridad de identidad digital? ¿qué herramientas de ia eficaces pueden detectar y prevenir con precisión los riesgos de deepfake? desde una perspectiva legal y ética, ¿cómo equilibramos la aplicación innovadora de la tecnología de ia que cambia las caras con sus riesgos potenciales? con estas preguntas, los reporteros de nandu recorrieron todo el camino, desde desafíos ofensivos y defensivos simulados hasta escenarios de aplicación reales, desde la academia hasta la industria, para encontrar respuestas a estas propuestas.
fuera del campo de pruebas: un grupo de jóvenes inició un relevo ofensivo y defensivo de ia
el cambio de rostro con ia es una tecnología deepfake que utiliza computadoras para alterar imágenes faciales con el apoyo de algoritmos de aprendizaje profundo. con la iteración continua de la tecnología de cambio de rostro con ia, está mejorando la producción de entretenimiento, comercio electrónico y otras industrias. junto con la eficiencia, también conlleva infinitos riesgos. a principios de septiembre, surgió un nuevo caso de "sala n" en corea del sur basado en tecnología de "falsificación profunda" y las mujeres surcoreanas cayeron en el "pánico que cambia la cara de la ia" e incluso publicaron en las redes sociales chinas pidiendo ayuda.
al mismo tiempo, en el bund de shanghai, un desafío de defensa y ofensiva deepfake sobre el cambio de rostro de la ia reunió a un grupo de jóvenes "antifalsificadores de ia". durante la conferencia del bund, uno de los equipos participantes en esta competencia de innovación de ia, el global deepfake attack and defense challenge (en lo sucesivo, "deepfake attack and defense competition"): visionrush del instituto de automatización de la academia de ciencias de china, abrí el modelo de ia participante en respuesta a las necesidades de las mujeres coreanas "el pánico que cambia la cara de la ia". posteriormente, otros equipos participantes también "asumieron el control" y comenzaron la acción "code relay" de deepfake defenders. los equipos, incluida la academia de ciencias de china, la universidad de macao y la universidad ocean de china, anunciaron modelos de competencia de código abierto, con la esperanza de que así fuera. reducir el umbral técnico, fortalecer los intercambios técnicos y contener el abuso de la tecnología deepfake.
durante el concurso de innovación en ia de la conferencia bund·desafío global de defensa y ataque deepfake, los equipos participantes lanzaron la acción "code relay" de deepfake defenders.
vale la pena mencionar que jtgroup, un equipo conjunto compuesto por académicos de hong kong y macao, tuvo un buen desempeño en la competencia y ganó el campeonato en deepfake offensive and defensive picture track. wu haiwei, becario postdoctoral de la universidad de la ciudad de hong kong, llevó a sus estudiantes junior del laboratorio estatal clave de internet de las cosas de ciudades inteligentes de la universidad de macao para participar en el recorrido de imágenes. chen yiming, investigador del laboratorio estatal clave de internet de las cosas de ciudades inteligentes de la universidad de macao, es el capitán de este equipo de campeonato. cuando habla de código abierto, dijo con una sonrisa en una entrevista con los periodistas de nandu: "nuestro. la investigación se lleva a cabo sobre los hombros de "gigantes", quienes están muy dispuestos a donar desinteresadamente su código de programa. ¿por qué no hacemos lo mismo nuestro equipo al realizar investigaciones? y desarrollo, y también esperamos participar en dichos concursos para utilizar la tecnología en algunas cosas buenas que el público necesita”.
el equipo de jtgroup logró una tasa de reconocimiento del 97,038% para deepfakes de múltiples tipos y escenarios. ¿cómo logró esto? el representante del equipo, chen xiangyu, dijo en una entrevista con un periodista de nandu: "este juego ofensivo y defensivo está cerca de la escala de datos en el mundo real. aprendimos muchas tecnologías nuevas sobre la generación y el reconocimiento de deepfake en un corto período de tiempo. "y también prestamos atención a los ajustes oportunos. los detalles del modelo de algoritmo pueden ser una de las razones por las que podemos ganar el campeonato".
un periodista de nandu se enteró por el organizador que el concurso de defensa y ataque deepfake fue dirigido por ant digital zoloz y dimensity labs como creadores de preguntas del concurso. es uno de los concursos más autorizados en el campo de cv (visión por computadora). el conjunto de datos del evento consta de datos públicos y datos falsificados. entre ellos, los datos de imágenes falsificadas cubren más de 50 métodos de generación en escenas reales, y el audio y video falsificados incluyen más de 100 métodos de ataque combinados. inaugurado por el comité organizador más de 1 millón.
"esta competencia brinda a los investigadores técnicos la oportunidad de practicar en un entorno industrial real altamente simulado, lo que ayuda a integrar la industria, la academia y la investigación, y a cultivar talentos prácticos responsables, zhou tian, director adjunto del centro de inteligencia artificial frontier de". la agencia de ciencia, tecnología e investigación de singapur y coorganizador del concurso teorías diferentes. el objetivo de los equipos participantes también es salir del campo de pruebas y aplicar los logros tecnológicos desarrollados en escenarios prácticos. wu haiwei, del equipo de jtgroup, dijo a los periodistas de nandu: “se han aplicado algoritmos de detección asistida por ia en las etapas de revisión de calificación de taobao, tmall, etc. para evitar que los delincuentes falsifiquen licencias comerciales y materiales de verificación de identidad para solicitar la apertura de una tienda. con una revisión puramente manual, se puede reducir el costo de abrir una tienda. esto aumentará la eficiencia. en el futuro, también se espera que los resultados de la investigación de nuestro laboratorio se apliquen en más escenarios del lado empresarial y gubernamental, como en el caso de la empresa. app nacional antifraude y otros programas, haciendo algunas contribuciones a la tecnología y antifraude deepfake para siempre ".
estándares y aplicaciones: construir conjuntamente una red de protección contra los riesgos del cambio de cara de la ia
por supuesto, la lucha contra deepfake es mucho más que una competencia. la industria ha respondido una tras otra, desde estándares hasta aplicaciones, para construir conjuntamente una red de protección contra los riesgos del cambio de rostro de la ia.
los reporteros de nandu experimentaron el equipo interactivo de detección de deepfake del laboratorio tianji de ant group en la exposición de tecnología de la conferencia bund.
en shanghai, en la exposición de tecnología de la conferencia bund, el laboratorio tianji de ant group demostró equipos interactivos para la detección de deepfake. según la experiencia de nandu reporter, después de tomar una foto en tiempo real, deepfake generó varias imágenes diferentes de "nandu reporter" (como se muestra arriba), y luego el dispositivo de detección del laboratorio tianji de ant group inspeccionó cada imagen una por una. juzgó e identificó con precisión que solo el último era un retrato real de un reportero de nandu, y el resto fueron generados por falsificaciones profundas.
al mismo tiempo, en la conferencia también se publicó oficialmente la norma "especificaciones técnicas para aplicaciones financieras de detección de rostros digitales falsos". la norma estipula los requisitos funcionales, requisitos técnicos, requisitos de rendimiento, etc. para los servicios de detección de rostros digitales falsos en el campo financiero, y propone los métodos de prueba y evaluación correspondientes. se entiende que este es el primer estándar de detección de "cambio de rostro de ia" para escenarios financieros en china. liu yong, secretario general de la alianza para el desarrollo de la industria fintech de zhongguancun y presidente del instituto de investigación financiera de internet de zhongguancun, dijo en su discurso: "la publicación de este estándar proporciona una base para la detección y evaluación de seguridad de rostros digitales falsos en escenarios financieros. , y también llena este vacío en el campo”.
en nansha, guangzhou, en el "subforo de protección de la información personal" de la semana nacional de publicidad sobre seguridad cibernética de 2024, southern news media group, el quinto instituto de electrónica del ministerio de industria y tecnología de la información, la sucursal de guangdong del gobierno nacional el centro de emergencia de internet, el laboratorio pengcheng, guangdong telecom, guangdong mobile, quince empresas e instituciones, incluidas tencent, huawei, ping an group, china guangfa bank, oppo, byd, sangfor, shenzhen saixi y jingyuan security, anunciaron el lanzamiento formal del la "asociación de protección de la información personal y seguridad de los datos de la red de guangdong" y emitieron conjuntamente una iniciativa para "promover la seguridad de los datos de la red y la protección de la información personal". se entiende que el riesgo de que la ia cambie de cara también será una de las cuestiones que preocuparán a la asociación.
zona interactiva de falsificación en tiempo real y cambio de rostro de china mobile ai. (fuente: semana nacional de concientización sobre la seguridad cibernética 2024)
en la cyber security expo de este año durante la cyber security week, las principales empresas de seguridad también mostraron nuevos productos y tecnologías en el campo de la seguridad. en la zona interactiva de falsificación en tiempo real de cambio de rostro sintético profundo de china mobile, los reporteros de nandu experimentaron el sistema de simulación de cambio de rostro de ia. durante la experiencia, el video generado por deepfake se puede identificar con precisión como falso mediante tecnología de falsificación en tiempo real. y todo el proceso sólo toma unos 5 segundos. wang xiaoqing, subdirector del centro de operaciones de gestión y seguridad de la información de china mobile, dijo que el sistema puede contrarrestar diferentes escenarios, como el cambio de rostro de la ia, la onomatopeya de la ia y la falsificación de documentos. han lanzado una aplicación piloto en el negocio de acceso a internet con nombres reales. basada en la capacidad antifalsificación, puede detectar rostros de ia en el proceso de verificación de nombres reales en tiempo real y prevenir de manera proactiva riesgos como el "cambio de rostros de ia". apertura y reemplazo de tarjetas en línea, y la precisión de la falsificación es alta, alcanzando más del 90%.
de hecho, cómo permitir que la gente común disfrute de la protección que brinda la tecnología antifalsificación deepfake es una propuesta importante en la investigación y el desarrollo tecnológico actuales. zhou wenbo, profesor de la escuela de seguridad del ciberespacio de la universidad de ciencia y tecnología de china, enfatizó este punto en una entrevista con un periodista de nandu en su laboratorio de seguridad cognitiva inteligente de la escuela de seguridad del ciberespacio de la universidad de ciencia y tecnología. de china ha dado un nuevo paso. a principios de septiembre, se aplicó en los teléfonos móviles honor la primera tecnología de detección antifraude del mundo basada en el cambio de rostro mediante ia en el dispositivo, desarrollada por el laboratorio en cooperación con honor. después de que el usuario haga clic en iniciar detección, la tecnología detectará las caras en el video y brindará la posibilidad de intercambiar caras mediante ia. cuando la posibilidad sea demasiado alta, se recordará al usuario que se ha detectado un intercambio de caras sospechoso (sospechado). intercambio de cara detectado). se entiende que el laboratorio de seguridad cognitiva inteligente de la escuela de seguridad del ciberespacio de la universidad de ciencia y tecnología de china abrió una herramienta de síntesis profunda llamada deepfacelab (una herramienta para cambiar caras de video mediante aprendizaje profundo) ya en 2019; en 2020, el equipo participó en el "desafío de detección de falsificaciones profundas (dfdc)" más grande del mundo organizado por facebook, mit, etc. y ganó el subcampeonato.
¿qué problemas quedan por resolver al utilizar la ia para derrotar a la ia?
desde juegos ofensivos y defensivos hasta aplicaciones industriales, la eficiencia y practicidad de utilizar la ia para "eliminar lo falso y preservar lo verdadero" es evidente. pero lo que no se puede ignorar es que el riesgo sigue aumentando exponencialmente, yao weibin, el proponente del global deepfake offensive and defense challenge y director técnico de ant zoloz, dijo en una entrevista con periodistas de nandu que el número de falsificaciones generadas por aigc. los ataques este año han aumentado aproximadamente 10 veces en comparación con el año pasado. situaciones similares ocurren no sólo en china, sino también en corea del sur, filipinas, indonesia y otros países.
a pesar de la aparición de muchas tecnologías de detección, todavía parece que no podemos evitar por completo los riesgos que conlleva deepfake. ¿por qué ocurre esta situación? zhou wenbai dijo a los periodistas de nandu que el proceso de una tecnología desde la investigación teórica hasta el uso práctico no es un proceso que será efectivo de inmediato, sino que enfrentará varios desafíos antes de su implementación. "en realidad, creo que lo más importante es no hablar de cuán completa debe ser la tecnología. porque si realmente quieres resolver un problema, solo el 5% debe depender de la tecnología, y el 95% restante debe depender de la tecnología". sobre leyes, regulaciones y estándares de implementación". señaló que es muy necesario que el público participe en la divulgación científica, como los medios y las plataformas de difusión de contenidos, y que el público también debe tener una mayor conciencia sobre las precauciones de seguridad.
zhang bo, miembro del comité profesional de gobernanza de seguridad de la inteligencia artificial de la asociación de seguridad del ciberespacio de china, también sugirió en una entrevista con los medios que “el cambio de rostro de la ia suele ir acompañado de escenarios de fraude en transacciones, como las videollamadas. los contornos faciales y la iluminación del video de la otra parte, detalles como el fondo para ver si hay alguna anomalía. si es necesario, puede pedirle a la otra persona que levante la cabeza rápidamente, asienta y gire la cabeza para determinar si existe. hay detalles anormales en el video para confirmar que el video es auténtico”.
desde una perspectiva técnica, ¿qué otras direcciones existen para mejorar la precisión de la detección de deepfake? zhang bo cree que la autenticación de identidad y la marca de agua digital se pueden combinar para dificultar la falsificación. zhou wenbai dijo a los periodistas de nandu que se puede considerar desde dos aspectos. uno es proporcionar más tipos diferentes de datos deepfake de alta calidad para el modelo de detección. al igual que las personas aprenden conocimientos, también lo hacen los modelos de aprendizaje profundo. cuanto más datos haya visto y más conocimientos haya aprendido, más fuertes serán sus posibles capacidades de reconocimiento. "la otra es que podemos intentar hacer cierta protección activa en el lado de la publicación de datos. por ejemplo, antes de que nuestros datos se publiquen en una plataforma social, la plataforma debe estar marcada con información de identificación sólida y rastreable (como una marca de agua) en alguna "esta información de identificación puede ir acompañada de materiales de los medios de comunicación y, al detectar la integridad, la semántica y otros contenidos de la información de identificación, se determina si el material actual ha sido dañado o falsificado", dijo zhou wenbo. vale la pena mencionar que muchas plataformas de vídeo como douyin ahora tienen etiquetas para vídeos que se sospecha que han sido generados por ia.
zhang bo también sugirió que desde la perspectiva de la gestión, es necesario acelerar la formulación e implementación de leyes, regulaciones y medidas regulatorias pertinentes para estandarizar los métodos de uso y los escenarios de aplicación de las aplicaciones de ia. en opinión de zhou wenbo, la publicación de normas como las "especificaciones técnicas para aplicaciones financieras de detección de rostros digitales falsos" puede utilizarse como guía para estandarizar los servicios prestados por empresas e instituciones y la aplicación de tecnología, y debe llevarse a cabo. de acuerdo con ciertas normas y estándares para prevenir amenazas a la privacidad, la seguridad de los datos y otros aspectos durante el uso de la tecnología, resultando en daños a los derechos e intereses de los usuarios, e incluso la infracción de los intereses nacionales.
desde la perspectiva del cultivo de talentos en campos relacionados, también enfrentamos oportunidades y desafíos. wang yaonan, académico de la academia china de ingeniería y presidente de la sociedad china de imagen y gráficos, señaló que en los últimos años ha habido muchos casos de uso malicioso de esta tecnología para realizar fraudes con ia en el extranjero, lo que ha resultado en pérdidas económicas y de propiedad, daños a la reputación y otros incidentes ante la escala global. dados los desafíos técnicos, es urgente cultivar talentos de ia con capacidades prácticas. wang wei, cto de ant digital, propuso una solución con la esperanza de "promover la innovación a través de la competencia", mejorar la capacidad de los concursantes para utilizar la tecnología para resolver problemas reales en escenarios de aplicación práctica a través de preguntas de competencia con los pies en la tierra y cultivar talentos interdisciplinarios; a través de la reunión de élites globales de tecnología de ia, comunicarse y mejorar los niveles de confrontación global en ejercicios de combate reales.
entrevistado y escrito por: el reportero nandu xiong runmiao
