ai에 맞서 ai를 활용하고, 위조품과 맞서기 위해 얼굴을 바꾸는 공격 및 방어 릴레이는 어디까지 도달했나요?
2024-09-14
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
당신이 보는 것이 사실이 아닐 수도 있습니다! '인물 사진'이나 '인물 영상'은 범죄자들이 범죄를 저지르는 새로운 수단이자 도구가 될 수 있다. 2024년 국가사이버보안홍보주간에는 인공지능(ai) 얼굴 바꾸기, 목소리 바꾸기 등 개인 사생활 침해 문제가 다시 한번 모두의 관심의 초점이 됐다. 실제로 이 주제는 사이버보안주간을 일주일 앞두고 열린 와이탄 컨퍼런스에서도 뜨거운 화제가 됐다.
황포강에서 열린 와이탄 회의부터 올해 9월 링딩 양쯔강에서 열린 국가 사이버 보안 주간까지 사람들은 ai가 어떻게 선한 일을 할 수 있는지에 대한 질문을 계속하고 있습니다. ai의 얼굴 변화 위험에 대처하는 방법에 대해 고민하고 있습니다. 펜티엄 공명(pentium resonance)은 상하이와 광저우 두 강변 도시에서 진행됩니다.
ai 얼굴 변화 기술은 디지털 신원 보안에 어떤 영향을 미칩니까? deepfake 위험을 정확하게 감지하고 예방할 수 있는 효과적인 ai 도구는 무엇입니까? 법적, 윤리적 관점에서 얼굴을 바꾸는 ai 기술의 혁신적인 적용과 잠재적인 위험의 균형을 어떻게 맞출 수 있을까요? 이러한 질문을 통해 nandu 기자는 시뮬레이션된 공격 및 방어 도전에서 실제 적용 시나리오에 이르기까지, 학계에서 산업에 이르기까지 이러한 제안에 대한 답을 찾기 위해 모든 노력을 기울였습니다.
시험장 밖으로: 젊은이들이 ai 공격과 방어 릴레이를 시작했습니다.
ai 얼굴 변경은 딥러닝 알고리즘의 지원을 받아 컴퓨터를 사용하여 얼굴 이미지를 변조하는 딥페이크 기술입니다. ai 얼굴 변경 기술이 지속적으로 반복되면서 엔터테인먼트, 전자상거래 및 기타 산업의 생산이 향상되고 있습니다. 효율성과 함께 끝없는 위험도 수반됩니다. 지난 9월 초 '심층위조' 기술을 기반으로 한 새로운 '룸n' 사건이 한국에서 등장했다. 한국 여성들은 'ai 얼굴변화 패닉'에 빠져 중국 소셜네트워크서비스(sns)에 도움을 요청하는 글까지 올렸다.
동시에 상하이 와이탄에서는 ai 얼굴 변경에 관한 deepfake 공격 및 방어 챌린지가 젊은 "ai 위조 방지자" 그룹을 모았습니다. bund conference 기간 동안 이번 ai 혁신 대회 참가팀 중 하나인 글로벌 딥페이크 공격 및 방어 챌린지(이하 '딥페이크 공격 및 방어 대회') - 중국과학원 자동화 연구소의 visionrush, 한국 여성들의 'ai 얼굴변화 패닉'에 부응해 참여 ai 모델을 오픈소스화했다. 이후 다른 참여 팀도 '인계'하여 deepfake defenders '코드 릴레이' 활동을 시작했습니다. 중국과학원, 마카오대학교, 중국해양대학교를 포함한 팀은 이것이 오픈소스 경쟁 모델을 발표하여 이것이 가능해지기를 바랍니다. 기술적 한계점을 낮추고 기술 교류를 강화하며 deepfake 기술 남용을 억제합니다.
bund conference ai 혁신 대회·글로벌 deepfake 공격 및 방어 챌린지 기간 동안 참가 팀은 deepfake defenders '코드 릴레이' 액션을 시작했습니다.
홍콩과 마카오의 학자들로 구성된 합동팀인 jtgroup이 대회에서 좋은 성적을 거두고 deepfake 공격 및 방어 사진 트랙에서 우승을 차지했다는 점은 언급할 가치가 있습니다. 홍콩 시립 대학교의 박사후 연구원인 우 하이웨이(wu haiwei)는 마카오 대학교 스마트 시티 사물 인터넷 국가 핵심 연구소의 후배들을 데리고 이미지 트랙에 참여했습니다. 이번 챔피언십 팀의 주장은 마카오대학교 스마트시티 사물인터넷 국가핵심연구소 연구원인 천이밍(chen yiming)이 오픈소스에 대해 이야기하면서 난두(nandu) 기자와의 인터뷰에서 웃으며 말했다. 연구는 '거인'의 어깨 위에 서서 수행됩니다. 이 '거인'은 자신의 프로그램 코드를 기꺼이 기증합니다. 우리 팀 자체도 연구를 수행하는 데 있어서 기술의 개념을 고수하는 것이 어떻겠습니까? 그리고 개발도 하고, 대중이 필요로 하는 좋은 것들에 기술을 적용할 수 있는 대회에도 참가하고 싶습니다.”
jt그룹 팀은 다중 유형, 다중 시나리오 딥페이크에 대해 97.038%의 인식률을 달성했습니다. 팀 대표 chen xiangyu는 난두(nandu) 기자와의 인터뷰에서 "이번 공격과 방어 게임은 현실 세계의 데이터 규모에 가깝다"며 "우리는 짧은 시간 내에 딥페이크 생성 및 인식에 관한 많은 새로운 기술을 배웠다"고 말했다. , 그리고 시기적절한 조정에도 주의를 기울였습니다. 알고리즘 모델의 세부 사항이 우리가 우승할 수 있는 이유 중 하나일 수도 있습니다.”
nandu의 한 기자는 deepfake 공격 및 방어 대회가 ant digital zoloz와 dimensity labs가 대회 질문 제작자로 주도하여 cv(컴퓨터 비전) 분야에서 가장 권위 있는 대회 중 하나라는 사실을 주최측으로부터 알게 되었습니다. 이벤트 데이터 세트는 공개 데이터와 위조 데이터로 구성되며, 그 중 위조된 사진 데이터는 실제 장면에서 생성되는 방법이 50개 이상이며, 위조된 오디오 및 비디오에는 총 100개 이상의 조합 공격 방법이 포함되어 있습니다. 조직위원회가 개설한 100만 개 이상.
"이 대회는 기술 연구원들에게 고도로 시뮬레이션된 실제 산업 환경에서 실습할 수 있는 기회를 제공하여 산업, 학계, 연구를 통합하고 책임감 있는 실무 인재를 양성하는 데 도움이 됩니다." 싱가포르 과학기술연구청이자 대회의 공동 주최자인 다양한 이론. 시험장을 벗어나 발전된 기술 성과를 실제 시나리오에 적용하는 것도 참가팀의 목표다. jt그룹 팀의 우 하이웨이(wu haiwei)는 난두 기자들에게 “타오바오, 티몰 등의 자격 심사 단계에 ai 기반 탐지 알고리즘을 적용해 범죄자들이 매장 개설 신청을 위해 사업 허가증과 신원 확인 자료를 위조하는 것을 방지했다”고 말했다. 순수 수작업 검토만으로 매장 개설 비용을 절감할 수 있어 효율성이 높아질 것입니다. 앞으로 우리 연구실의 연구 결과는 기업 측과 정부 측 시나리오에도 적용될 것으로 기대됩니다. 국가 사기 방지 app 및 기타 프로그램을 통해 deepfake 사기 방지 및 기술에 선한 기여를 하고 있습니다."
표준 및 응용: ai의 얼굴 변화 위험에 대비한 보호 네트워크 공동 구축
물론 딥페이크와의 싸움은 단순한 경쟁 그 이상이다. 업계에서는 ai의 얼굴 변화 위험에 대비한 보호 네트워크를 공동으로 구축하기 위해 표준부터 애플리케이션까지 차례로 대응해 왔다.
nandu 기자들은 bund conference 기술 전시회에서 ant group tianji laboratory의 deepfake 탐지 대화형 장비를 경험했습니다.
상하이에서 열린 bund conference technology exhibition에서 ant group tianji laboratory는 deepfake 감지를 위한 대화형 장비를 시연했습니다. nandu reporter의 경험에 따르면 deepfake는 실시간 사진을 찍은 후 여러 개의 다른 "nandu reporter" 이미지(위 그림 참조)를 생성한 후 ant group tianji laboratory의 탐지 로커가 각 이미지를 하나씩 검사했습니다. 마지막 사진만 실제 난두(nandu) 기자의 초상화이고 나머지는 딥 페이크(deep fake)에 의해 생성된 사진임을 판단하여 정확하게 식별했습니다.
동시에 컨퍼런스에서는 '가짜 디지털 얼굴 감지 금융 애플리케이션 기술 사양' 표준도 공식 발표됐다. 이 표준은 금융 분야의 디지털 얼굴 허위 탐지 서비스에 대한 기능적 요구사항, 기술적 요구사항, 성능 요구사항 등을 규정하고 이에 상응하는 테스트 및 평가 방법을 제안합니다. 이는 중국 최초의 금융 시나리오에 대한 'ai 얼굴 변화' 탐지 표준인 것으로 이해된다. zhongguancun fintech industry development alliance 사무총장이자 zhongguancun internet finance research institute 회장인 liu yong은 연설에서 다음과 같이 말했습니다. "이 표준의 출시는 금융 시나리오에서 허위 디지털 얼굴에 대한 보안 탐지 및 평가를 위한 기반을 제공합니다. , 또한 현장의 공백을 메웁니다.”
광저우 난사에서 열린 2024년 국가 사이버 보안 홍보 주간 '개인 정보 보호 하위 포럼'에서 남부 뉴스 미디어 그룹, 산업 정보 기술부 제5전자 연구소, 국가 광동 지부 internet emergency center, pengcheng laboratory, guangdong telecom, guangdong mobile, tencent, huawei, ping an group, china guangfa bank, oppo, byd, sangfor, shenzhen saixi 및 jingyuan security를 포함한 15개 기업 및 기관이 공식 출시를 발표했습니다. "광동 네트워크 데이터 보안 및 개인 정보 보호 협회"와 공동으로 "네트워크 데이터 보안 및 개인 정보 보호 촉진" 이니셔티브를 발표했습니다. ai의 얼굴 변화에 따른 위험성도 협회가 우려하는 문제 중 하나인 것으로 이해된다.
차이나모바일 ai의 얼굴변화와 실시간 위조체험존. (출처: 2024년 전국 사이버 보안 인식 주간)
사이버보안주간을 맞아 올해 사이버보안 엑스포에서는 주요 보안업체들도 보안 분야의 신제품과 기술을 선보였다. 차이나 모바일의 심층 합성 얼굴 변화 실시간 위조 체험존에서 난두(nandu) 기자들은 ai 얼굴 변화 시뮬레이션 시스템을 체험했다. 이 과정에서 딥페이크가 생성한 영상은 실시간 위조 기술을 통해 가짜인지 정확하게 식별할 수 있다. 전체 과정은 약 5초밖에 걸리지 않습니다. china mobile의 정보 보안 및 관리 운영 센터 부책임자 wang xiaoqing은 이 시스템이 ai 얼굴 변경, ai 의성어, 문서 위조 등 다양한 시나리오에 대응할 수 있다고 말했습니다. 인터넷 실명 접속 사업에 시범 애플리케이션을 출시했다. 위조 방지 기능을 바탕으로 실명 검증 과정에서 ai 얼굴을 실시간으로 탐지해 'ai 얼굴 변경' 등의 위험을 선제적으로 예방할 수 있다. 온라인 카드 개통 및 교체가 가능하며 위조 정확도가 90% 이상에 달합니다.
실제로 일반 사람들이 deepfake 위조 방지 기술이 제공하는 보호를 어떻게 누릴 수 있는지는 현재 기술 연구 및 개발에서 중요한 제안입니다. 중국 과학 기술 대학 사이버 공간 보안 학교의 zhou wenbo 교수는 nandu 기자와의 인터뷰에서 이 점을 강조했습니다. 과학 기술 대학 사이버 공간 보안 학교의 지능형 인지 보안 연구소. 중국이 새로운 발걸음을 내디뎠다. 9월 초, 연구실에서 honor와 협력하여 개발한 기기 측 ai 얼굴 변경을 기반으로 한 세계 최초의 사기 방지 탐지 기술이 honor 휴대폰에 적용되었습니다. 사용자가 감지 시작을 클릭하면 이 기술은 영상 속 얼굴을 감지하고 ai에 의해 얼굴 스와핑 가능성을 제공합니다. 가능성이 너무 높으면 의심되는 얼굴 스와핑이 감지되었음을 사용자에게 알려줍니다. 얼굴 교환이 감지되었습니다). 중국 과학 기술 대학 사이버 공간 보안 학교의 지능형 인지 보안 연구소는 이미 2019년에 deepfacelab(딥 러닝을 사용한 비디오 얼굴 변경 도구)이라는 심층 합성 도구를 오픈 소스로 공개한 것으로 파악됩니다. 2020년에는 페이스북, mit 등이 주최하는 세계 최대 '딥페이크 탐지 챌린지(dfdc)'에 참가해 준우승을 차지했다.
ai를 사용하여 ai를 물리칠 때 해결해야 할 문제는 무엇입니까?
공격적이고 방어적인 게임부터 산업용 애플리케이션에 이르기까지, "거짓을 제거하고 진실을 보존"하기 위해 ai를 사용하는 것의 효율성과 실용성은 자명합니다. 그러나 무시할 수 없는 것은 글로벌 딥페이크 공격 및 방어 챌린지(global deepfake offensive and defense challenge)의 제안자이자 ant zoloz의 기술 이사인 yao weibin은 nandu 기자와의 인터뷰에서 aigc가 생성한 위조 항목의 수가 여전히 기하급수적으로 증가하고 있다는 것입니다. 올해 공격 건수는 지난해보다 10배가량 늘었다. 중국뿐만 아니라 한국, 필리핀, 인도네시아 등 다른 나라에서도 비슷한 상황이 벌어지고 있다.
수많은 탐지 기술이 등장했음에도 불구하고 우리는 여전히 딥페이크가 가져오는 위험을 완전히 피할 수 없는 것 같습니다. 왜 이런 상황이 발생하는 걸까요? zhou wenbai는 nandu 기자들에게 이론적 연구부터 실제 사용까지의 기술 과정은 구현되기 전에 즉시 효과를 볼 수 있는 과정이 아니라고 말했습니다. "사실 가장 중요한 것은 기술이 얼마나 완성도가 높아야 하는지 이야기하는 것이 아니라고 생각합니다. 왜냐하면 정말로 문제를 해결하려면 그 중 5%만 기술에 의존하면 되고 나머지 95%는 의존하면 되기 때문입니다. 개선하라”고 강조하며, 미디어, 콘텐츠 보급 플랫폼 등 대중과학 대중화에 국민의 참여가 매우 필요하며, 국민의 안전 예방조치에 대한 인식도 더욱 강화해야 한다고 지적했다.
중국사이버공간보안협회 인공지능 보안 거버넌스 전문위원회 위원 장보(zhang bo)도 언론과의 인터뷰에서 “ai의 얼굴 변화는 대개 영상 통화 등 거래 사기 시나리오를 동반한다”고 제안했다. 상대방 영상의 얼굴 윤곽이나 조명 등을 자세히 살펴 이상이 있는지 확인합니다. 필요한 경우 상대방에게 재빨리 고개를 들고 고개를 끄덕이며 이상 유무를 확인하도록 요청할 수 있습니다. 영상에 비정상적인 내용이 있는지 확인하여 영상이 진짜인지 확인합니다.”
기술적인 관점에서 딥페이크 탐지의 정확성을 높이기 위한 다른 방향은 무엇입니까? zhang bo는 신원 인증과 디지털 워터마킹을 결합하면 위조를 더욱 어렵게 만들 수 있다고 믿습니다. zhou wenbai는 nandu 기자에게 두 가지 측면에서 고려할 수 있다고 말했습니다. 하나는 탐지 모델을 위해 더 다양한 유형의 고품질 deepfake 데이터를 제공하는 것입니다. 사람들이 지식을 배우는 것처럼 딥 러닝 모델도 더 많은 데이터를 접하고 더 많은 지식을 학습할수록 인식 능력이 더욱 강력해집니다. "다른 하나는 데이터 게시 측면에서 적극적인 보호를 시도할 수 있다는 것입니다. 예를 들어, 우리의 데이터가 소셜 플랫폼에 게시되기 전에 일부 플랫폼에는 추적 가능한 강력한 식별 정보(예: 워터마크)가 플랫폼에 표시되어야 합니다. 이러한 식별 정보는 미디어 자료와 함께 유포될 수 있으며 식별 정보의 무결성, 의미 및 기타 내용을 탐지하여 현재 자료가 손상되거나 위조되었는지 여부를 판단합니다."라고 zhou wenbo는 말했습니다. douyin과 같은 많은 비디오 플랫폼에는 이제 ai에 의해 생성된 것으로 의심되는 비디오에 대한 라벨이 있다는 점을 언급할 가치가 있습니다.
zhang bo는 또한 관리 관점에서 ai 애플리케이션의 사용 방법과 적용 시나리오를 표준화하기 위해 관련 법률, 규정 및 규제 조치의 제정 및 구현을 가속화할 필요가 있다고 제안했습니다. zhou wenbo의 견해에 따르면, "가짜 디지털 얼굴 감지 금융 응용을 위한 기술 사양"과 같은 표준의 발표는 기업과 기관이 제공하는 서비스와 기술 적용을 표준화하는 지침으로 사용될 수 있으며, 이를 수행해야 합니다. 특정 규범 및 표준에 따라 기술을 사용하는 동안 개인 정보 보호, 데이터 보안 및 기타 측면에 대한 위협으로 인해 사용자의 권리와 이익이 손상되고 심지어 국가 이익이 침해되는 것을 방지하기 위해 기술을 구현합니다.
관련 분야의 인재 양성이라는 관점에서 볼 때, 우리는 기회와 도전에도 직면해 있습니다. 중국 공정원 원사이자 중국 이미지 그래픽 학회 회장인 왕 야오난(wang yaonan)은 최근 몇 년 동안 이 기술을 악의적으로 사용하여 해외에서 ai 얼굴 변경 사기를 저지르는 사례가 많이 발생했다고 지적했습니다. 경제적, 재산적 손실, 명예훼손 등의 사고가 발생할 수 있는 글로벌 규모의 상황에서 기술적 과제를 고려할 때 실무 능력을 갖춘 ai 인재 양성이 시급합니다. ant digital의 cto인 wang wei는 "경쟁을 통해 혁신을 촉진"하고, 현실적인 경쟁 질문을 통해 실제 응용 시나리오에서 실제 문제를 해결하기 위해 참가자의 기술 사용 능력을 향상하고, 학제간 인재를 육성하기를 희망하며 솔루션을 제안했습니다. 글로벌 ai 기술 엘리트 집결을 통해 실제 전투 훈련에서 글로벌 대결 수준을 소통하고 향상시킵니다.
인터뷰 및 작성: nandu 기자 xiong runmiao
