noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

el reciente incidente de la "room n 2.0" en corea del sur ha vuelto a poner en primer plano el tema común del deepfake.

los perpetradores se reunieron en telegram y utilizaron inteligencia artificial para sintetizar fotos femeninas en fotos de desnudos, lo que muestra que el círculo de deepfakes ya se ha expandido desde estrellas del entretenimiento y políticos hasta gente común como tú y yo.

en esta era en la que la ia se ha convertido en una ciencia destacada, queremos comprender cómo esta tecnología, que no parece nueva pero se ha vuelto cada vez más popular en los últimos años, afecta la vida diaria.

¿hasta qué punto han evolucionado los deepfakes y qué daño causarán? ¿cómo utilizar la tecnología para luchar contra los deepfake? ¿cómo previene la gente común los deepfakes?

hablamos sobre estos temas con el dr. chen peng, científico del algoritmo inteligente ruilai. ruilai wisdom se fundó en 2018 y fue incubada por el instituto de investigación de inteligencia artificial de la universidad de tsinghua. ha estado profundamente involucrado en la detección de falsificaciones de ia durante muchos años.

chen peng nos dijo que la gente corriente ha fracasado estrepitosamente a la hora de identificar los deepfake, y que el anti-deepfake todavía depende de la ia.

una imagen, unos segundos, deepfake es cada vez más fácil

el deepfake surgió por primera vez en 2017 en reddit, la "versión americana de tieba". la forma principal es sustituir los rostros de celebridades por los protagonistas de vídeos pornográficos o parodiar a figuras políticas.

hoy en día, difundir rumores y participar en pornografía siguen siendo los usos habituales de los deepfakes, pero se han vuelto más fáciles.

chen peng explicó que recopilar una foto es suficiente para cambiar la cara. por supuesto, cuantos más datos se recopilen, los detalles de la cara, como los lunares y los rasgos faciales, se modelarán mejor y más realista será el efecto de cambio de cara. .

en abril de este año, el proyecto de performance de dos artistas alemanes es un ejemplo vivo.

diseñaron una cámara con ia nuca. el cuerpo de la cámara está impreso en 3d y tiene una lente gran angular incorporada de 37 mm. las fotos tomadas se transmitirán a la nube, donde la ia se "quitará la ropa" y tomará la foto. ser "sacado" en menos de 10 segundos.

en realidad, nuca no sabe cómo es tu cuerpo desnudo. solo analiza tu género, rostro, edad, forma corporal, etc. para presentar tu cuerpo desnudo a los ojos de la ia.

¿bruto? quizás no importe. en unos segundos, habrás estado expuesto a la ia y otros podrán creer que eres tú.

la "room n 2.0" de corea del sur también ha sido expuesta con detalles similares: una sala de chat de telegram con 227.000 personas, un robot incorporado que sintetiza fotos femeninas en fotos de desnudos y puede ajustar los senos, y genera contenido deepfake en 5 a 7 segundos.

▲captura de pantalla de la sala de chat, que explica cómo usar deepfake

cambiar de cara y quitarse la ropa son sólo una aplicación de deepfake.

el uso de modelos generativos de ia (gan, vae, modelo de difusión, etc.) para sintetizar o forjar contenido realista, incluidos texto, imágenes, audio y video, se puede denominar deepfake.

entre ellos, el audio deepfake también es bastante común.

a principios de 2023, el reportero de tecnología joseph cox llamó a la línea directa de servicio automatizado del banco, reprodujo la voz de ia "mi voz es mi contraseña" que clonó con elevenlabs y pidió verificar el saldo. inesperadamente, la verificación de voz fue exitosa.

chen peng dijo que esto no es sorprendente. en el pasado, tomaba varios minutos o docenas de minutos capturar la información de nuestra huella de voz, pero ahora se puede capturar aproximadamente en medio minuto o docenas de segundos. si recibimos algunas llamadas más de acoso, es posible que se filtren nuestras voces.

por supuesto, si desea clonar con mayor precisión y copiar el tono y otros estilos de habla, como dejar que guo degang hable conversaciones cruzadas en inglés o dejar que swift hable chino, aún necesita más corpus.

incluso el texto es un área profundamente falsificada. el texto generado por ia se ha visto en todas partes durante mucho tiempo y los estudiantes lo han utilizado para hacer trampa y hacer las tareas, lo que ha causado dolores de cabeza a los profesores, pero es posible que no seamos conscientes de los riesgos que conlleva.

las noticias falsas y los rumores son las áreas más afectadas por los textos deepfake. chen peng dijo que en el pasado, los humanos todavía necesitaban escribir la copia ellos mismos, pero ahora, la ia puede generar varios comentarios sobre un determinado evento y luego publicarlos automáticamente en las redes sociales. .

deepfake es más rápido y sencillo. según chen peng, hay tres razones principales.

en primer lugar, se han producido avances en tecnologías de ia generativa como vincent pictures y vincent videos. en segundo lugar, la potencia informática se ha vuelto más popular y las tarjetas gráficas de consumo ya pueden ejecutar modelos de ia generativa.

otro punto muy importante es que la tecnología deepfake se ha optimizado en varias herramientas con umbrales más bajos.

tomemos como ejemplo el cambio de cara. hay muchos proyectos de código abierto para deepfake, como deepfacelive y deep-live-cam en github. los usuarios pueden descargar el código del sitio web y configurar el entorno de ejecución localmente.

▲ transmisión en vivo de ai musk, usando deep-live-cam

si a los novatos que no entienden de tecnología todavía les resulta difícil, también hay profesionales que se llevan el arroz directamente a la boca, empaquetan los modelos y escriben software simple y fácil de usar para que los jugadores lo descarguen gratis y ganen algo. tarifas de publicidad por sí mismas, incluidas muchas aplicaciones de extracción con un solo clic.

en cuanto al audio deepfake, ya existen empresas comerciales maduras que permiten a los usuarios utilizar fácilmente servicios en forma de sdk (kit de desarrollo) o api (interfaz de programación de aplicaciones).

los usuarios ni siquiera necesitan un dispositivo con una tarjeta gráfica para implementar el programa, sino que cargan contenido como audio en el sitio web, esperan a que se generen los resultados y luego los descargan.

por lo tanto, detrás de escena se esconden principios técnicos complejos, y lo que hay frente a los usuarios son interfaces "listas para usar". incluso los adolescentes pueden crear información falsa a voluntad.

en pocas palabras, la conclusión de chen peng es:

deepfake ha llegado al punto en que la gente común y corriente puede conseguirlo fácilmente.

es posible que los humanos hayan fallado por completo en identificar deepfake a simple vista

cuando una tecnología "vuela a los hogares de la gente corriente", las personas con más probabilidades de verse afectadas son la gente corriente.

el fraude es una de las formas más comunes en que los deepfakes hacen el mal.

a principios de este año, la sucursal de hong kong de una empresa multinacional fue defraudada por 25 millones de dólares debido a la ia. la víctima participó en una videoconferencia y los demás eran estafadores que se habían sometido a un "cambio de rostro con ia" y un "cambio de voz con ia".

▲ la policía demostró cómo utilizar deepfake para falsificar una videoconferencia entre varias personas

ahora que las cosas han llegado a este punto, ¿qué podemos hacer para protegernos?

si alguien usa deepfake para engañarte, aprovechar las lagunas de la ia es una de las formas, pero tiene una vida útil.

por ejemplo, durante una videollamada, si sospechamos que la cara de la otra parte ha sido reemplazada por ia, podemos guiar a la otra parte para que realice acciones específicas, como colocar su mano frente a su cara y deslizarla varias veces rápidamente. o girar significativamente la cabeza.

si el modelo detrás del reemplazo facial por ia no está optimizado específicamente para la oclusión de la mano, quedará expuesto y la cara puede aparecer en el dorso de la mano, o puede distorsionarse repentinamente.

el principio de girar la cabeza es el mismo. si durante la etapa de recopilación de datos, la otra parte no recolecta deliberadamente material para girar la cabeza más de 45 grados, entonces el ajuste facial no será natural.

pero en el futuro, estos defectos visibles seguramente disminuirán gradualmente.

▲prueba de “solución de problemas” de la universidad northwestern: ¿generada por ia o real?

chen peng bromeó diciendo que si los estafadores piensan que usted es una oveja gorda esperando ser sacrificada y deliberadamente quieren engañarlo, quitarle la información de sus redes sociales y pasar varios días optimizando su modelo, entonces no se garantiza que estos métodos sean efectivos.

si un vídeo no tiene estos defectos ¿significa que es un vídeo real? esto no es cierto.

en cuanto a si es eficaz o no, ciertamente no puede ser completamente eficaz ni 100% eficaz, pero sí hasta cierto punto.

para decirlo en términos más profesionales, la percepción visual humana funciona muy bien a nivel semántico, como ser capaz de distinguir fácilmente el significado de objetos o escenas, pero cuando se trata de procesar matices de bajo nivel a nivel de píxeles, la percepción la capacidad no es tan buena como la del modelo ai.

desde esta perspectiva, chen peng cree que la gente común ha fallado estrepitosamente en distinguir deepfake. los expertos aún pueden luchar porque han visto demasiado y tienen capacidades de análisis relativamente completas, y pueden ver que algo no se ajusta a las reglas.

ninguno de nosotros somos leeuwenhoek ni tenemos ojos agudos, pero la naturaleza humana permanece inalterable. por lo tanto, también podemos levantar la tradicional línea de defensa psicológica que no tiene nada que ver con la tecnología: tenga cuidado al navegar.

las estafas suelen seguir el mismo patrón: robar la privacidad, utilizar el miedo, la codicia y el valor emocional para inventar historias, hacerse pasar por conocidos o presentarse para ganarse la confianza, con el dinero como objetivo final.

▲ realbelieve, el producto de realai smart, emitirá alertas tempranas durante las videollamadas.

tenga esto en cuenta y luego esté más atento. no haga clic en enlaces desconocidos, no proporcione códigos de verificación casualmente, trate de no exponer demasiado su rostro, voz, huellas dactilares y otra información biométrica personal en internet, no reciba llamadas telefónicas sospechosas. y tener múltiples mentes cuando se trata de dinero. formas de verificar la identidad de cada uno, como preguntar cosas que solo los demás saben.

como dice el viejo refrán, lo mejor que podemos hacer es atacar el corazón. una vez que nos damos cuenta de que podemos ser engañados, es posible que no nos engañen.

magia contra magia, la ia vence a la ia

crear conciencia contra el fraude no es suficiente. el incidente de la “room n 2.0” en corea del sur muestra otra forma de maldad ultrafalsa. la gente está sentada en casa y las ollas vienen del cielo.

las víctimas de fotografías de desnudos falsas pueden encontrarse con "pornografía de venganza": los perpetradores amenazan con difundir materiales falsos para chantajear y acosar a las víctimas, causando daños secundarios más graves.

pero esta hoz también puede levantarse sobre nuestras cabezas: imagina que la banda de estafadores sacó tus fotos de la nada, las combinó en videos vulgares, te envió mensajes de texto para amenazarte y, si no transfieres el dinero, quedará expuesto. por todo internet. ¿cómo puedes demostrar tu valía?

ruilai wisdom, donde trabaja chen peng, de hecho se ha encontrado con este tipo de asuntos personales. la otra parte dijo que su rostro cambió en un video y que ¿podría ser absuelto?

por supuesto que hay formas: magia contra magia, la ia venciendo a la ia.

chen peng presentó que existen dos rutas técnicas principales para la falsificación de ia: defensa activa y detección pasiva.

hablemos primero de defensa activa. cuando publicamos fotos en las redes sociales y no queremos que otras personas las utilicen, podemos incorporarles un ruido visualmente imperceptible.

si alguien más usa nuestras fotos para entrenar el modelo, la ia no podrá extraer bien la representación visual debido a esta interferencia invisible, y el resultado final puede estar distorsionado o borroso. esto se denomina "ataque de muestra adversario". "

la "marca de agua semivulnerable" es otro método de defensa activa. después de agregar una marca de agua, si alguien más edita nuestra foto, la marca de agua se destruirá y sabremos que la imagen ha sido procesada y no es confiable.

las marcas de agua no pueden evitar directamente que las imágenes sean falsas, pero pueden detectar y certificar la autenticidad de las imágenes.

▲existen exploraciones similares en el extranjero. adobe inició el estándar c2pa, utilizando parámetros de metadatos como una forma de determinar el origen de las imágenes.

por supuesto, el umbral para la defensa activa es más alto, por lo que debemos tomar precauciones antes de que sucedan y procesar las imágenes con anticipación.

una situación más común es que no tenemos forma de predecirlo. recibimos "fotos desnudas" de nosotros mismos, pero también es la primera vez que somos "francos" con nosotros mismos. en este momento, se debe utilizar la detección pasiva.

realai intelligence tiene una serie de productos de ia responsables de detectar falsificaciones, incluida la plataforma de detección de contenido de ia generativa deepreal, el cortafuegos de seguridad de ia facial realguard, etc.

▲deapreal

en pocas palabras, el uso de ia para identificar ia se divide en dos pasos: primero, extraer una gran cantidad de características de falsificación y luego modelar en función de estas muestras para que la ia aprenda las reglas de identificación de falsificaciones.

colores distorsionados, texturas poco razonables, expresiones antinaturales, audio y video no sincronizados, formas irregulares del iris y reflejos inconsistentes de los dos alumnos son todos materiales de aprendizaje para la ia.

entre ellos, la precisión de la falsificación de videos puede ser mayor que la de las imágenes, porque el video consiste en una serie de imágenes continuas, lo que proporciona más información que puede usarse para la falsificación que una sola imagen, como la apariencia de un personaje entre diferentes marcos. continuidad de la acción.

en esencia, la falsificación de ia es un poco como usar ojos humanos para encontrar fallas y también explota las fallas del propio modelo de ia.

▲ investigadores de la academia de ciencias de china abren al mundo el modelo de inteligencia artificial para detectar deepfake

pero los defectos definitivamente mejorarán gradualmente, por lo que surge una pregunta muy crítica: ¿hay primero la falsificación y luego la autenticación? si es así, ¿no estaría siempre la falsificación medio paso por detrás de la falsificación?

chen peng respondió que la tecnología generada puede estar ligeramente por delante de la tecnología de falsificación, pero tienen un laboratorio interno de ataque y defensa rojo-azul que simula deepfake mientras se defiende contra deepfake, y mejora continuamente las capacidades de detección de deepfake.

si aparece alguna nueva tecnología deepfake, pueden reproducirla rápidamente y luego verificarla en el producto de detección. "cuando aparece una nueva tecnología, incluso si no la he visto, todavía puedo detectarla hasta cierto punto".

además, el modelo en sí también tiene cierta capacidad de generalización. ha visto una gran cantidad de contenido deepfake y puede identificarlo y detectarlo con precisión hasta cierto punto si encuentra contenido invisible.

▲ plataformas como bilibili etiquetarán contenido de entretenimiento que cambie la cara de la ia

en resumen, la falsificación y detección de falsificaciones mediante ia es un "juego del gato y el ratón" de confrontación y competencia mutua a largo plazo.

por eso chen peng ha estado estudiando algoritmos de falsificación de ia:

anti-deepfake es demasiado conflictivo y requiere una inversión a largo plazo. a diferencia de muchos productos de inteligencia artificial, puedes olvidarte de él una vez que lo termines.

a pesar de ello, sigue siendo relativamente optimista: "utilice las leyes y reglamentos para supervisar, las plataformas gestionan el contenido, la industria proporciona tecnología y herramientas y los medios de comunicación conciencian a más personas sobre los riesgos. si la gobernanza multifacética alcanza un cierto nivel, habrá definitivamente será un alivio."

en el futuro, al navegar por internet, podemos caer en un escenario un tanto absurdo: el código de verificación permite demostrar "soy un ser humano", y deepfake permite demostrar "no soy yo".

la tecnología no puede detectar completamente todas las intenciones maliciosas, pero los humanos no necesitan estar demasiado ansiosos. el éxito de deepfake es solo el resultado final, pero prevenir deepfake puede comenzar en cualquier momento.

como dijo chen peng, incluso un producto de ia muy simple es un proyecto muy sistemático.

somos parte de un sistema más amplio. dejemos que los perjudicados hablen, que los perpetradores sean castigados, que intervenga la tecnología para detener las malas acciones y elevar un poco el concepto de la sociedad. sólo entonces podremos trabajar juntos hacia una tecnología que no sea temida sino justa. uso del futuro.