소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

최근 대한민국에서 발생한 '룸n 2.0' 사건은 딥페이크라는 흔한 주제를 다시 한번 전면에 부각시켰습니다.

가해자들이 텔레그램에 모여 ai를 이용해 여성 사진을 누드 사진으로 합성한 것은 이미 딥페이크의 범위가 연예계 스타와 정치인에서 시작해 여러분이나 저 같은 일반인까지 확대됐음을 보여줍니다.

ai가 눈에 띄는 과학이 된 시대에 새로운 것이 아닌 것처럼 보이지만 최근 몇 년간 점점 대중화되고 있는 이 기술이 일상생활에 어떤 영향을 미치는지 이해하고 싶습니다.

딥페이크는 어느 정도까지 진화했으며, 딥페이크는 어떤 해를 끼칠까요? deepfake에 맞서기 위해 기술을 사용하는 방법은 무엇입니까? 일반 사람들은 딥페이크를 어떻게 방지하나요?

우리는 ruilai intelligent algorithm의 과학자인 chen peng 박사와 이러한 문제에 대해 이야기했습니다. ruilai wisdom은 2018년에 설립되어 칭화대학교 인공지능 연구소에서 인큐베이션되었으며 수년 동안 ai 위조품 탐지에 깊이 관여해 왔습니다.

chen peng은 일반 사람들이 deepfake를 식별하는 데 비참하게 실패했으며 anti-deepfake는 여전히 ai에 의존하고 있다고 말했습니다.

사진 한 장, 몇 초, 딥페이크가 점점 쉬워지고 있다

딥페이크는 2017년 '미국판 티에바' 레딧에서 처음 등장했다. 주요 형태는 연예인의 얼굴을 포르노 영상의 주인공으로 바꾸거나 정치인을 스푸핑하는 것이다.

오늘날 소문을 퍼뜨리고 음란물에 참여하는 것은 여전히 ​​deepfakes의 주류 사용이지만, 점점 더 쉬워졌습니다.

chen peng은 사진 한 장을 수집하는 것만으로도 얼굴을 바꿀 수 있다고 설명했습니다. 물론 데이터가 더 많이 수집될수록 점이나 얼굴 특징 등 얼굴의 세부 사항이 더 잘 모델링되고 얼굴 변경 효과가 더 현실감 있게 나타날 것입니다. .

올해 4월 독일 예술가 두 명의 퍼포먼스 아트 프로젝트가 살아있는 사례다.

그들은 ai 카메라 nuca를 설계했습니다. 카메라 본체는 3d 프린팅되었으며, 37mm 광각 렌즈가 내장되어 있습니다. 촬영된 사진은 ai가 "옷을 벗고" 사진이 전송됩니다. 10초 이내에 "제거"됩니다.

nuca는 실제로 당신의 나체가 어떻게 생겼는지 알지 못합니다. 성별, 얼굴, 나이, 체형 등만 분석하여 ai의 눈에 당신의 나체를 보여줍니다.

거친? 어쩌면 그것은 중요하지 않습니다. 몇 초 안에 당신은 ai에 노출되었고 다른 사람들은 그것이 당신이라고 믿을 수도 있습니다.

한국의 '룸n 2.0'에도 22만7000명이 참여하는 텔레그램 채팅방, 여성 사진을 누드 사진으로 합성해 가슴 조절이 가능한 로봇 내장, 5~7초 만에 딥페이크 콘텐츠 생성 등 유사한 내용이 노출됐다.

▲딥페이크 사용법을 설명하는 채팅방 스크린샷

얼굴을 바꾸고 옷을 벗는 것은 deepfake의 한 가지 응용 프로그램일 뿐입니다.

생성적 ai 모델(gan, vae, 확산 모델 등)을 사용해 텍스트, 이미지, 오디오, 비디오 등 사실적인 콘텐츠를 합성하거나 위조하는 것을 딥페이크(deepfake)라고 할 수 있습니다.

그중에서도 오디오 딥페이크도 꽤 흔합니다.

2023년 초, 기술 전문 기자인 조셉 콕스는 은행 자동화 서비스 핫라인에 전화를 걸어 일레븐랩스가 복제한 ai 음성 '내 목소리가 내 비밀번호'를 틀어 잔액 확인을 요청했는데, 예상외로 음성 인증이 성공했다.

chen peng은 이것이 놀라운 일이 아니라고 말했습니다. 과거에는 성문 정보를 캡처하는 데 몇 분 또는 수십 분이 걸렸지만 이제는 대략 30분 또는 수십 초 안에 캡처할 수 있습니다. 앞으로 몇 번 더 괴롭히는 전화를 받으면 저희 목소리가 유출될 수도 있습니다.

물론 guo degang이 영어 크로스 토크를 사용하도록 하거나 swift가 중국어를 사용하도록 하는 등 더 정확하게 복제하고 어조와 기타 말하기 스타일을 복사하려면 여전히 더 많은 코퍼스가 필요합니다.

텍스트조차도 심하게 위조된 영역입니다. ai로 생성된 텍스트는 오랫동안 어디에서나 볼 수 있었고, 학생들이 숙제를 부정하고 처리하는 데 사용되어 교사들에게 골치 아픈 일이 되었지만 우리는 그 뒤에 숨은 위험을 인식하지 못할 수도 있습니다.

거짓 뉴스와 루머는 텍스트 딥페이크의 가장 큰 타격을 받는 영역입니다. chen peng은 과거에는 여전히 인간이 직접 사본을 작성해야 했지만 이제는 ai가 특정 이벤트에 대한 다양한 댓글을 생성한 다음 자동으로 소셜 미디어에 게시할 수 있다고 말했습니다. .

deepfake가 더 빠르고 간단하다고 chen peng에 따르면 세 가지 주요 이유가 있습니다.

첫째, vincent pictures 및 vincent videos와 같은 생성적 ai 기술이 획기적인 발전을 이루었습니다. 둘째, 컴퓨팅 성능이 더욱 대중화되었으며 소비자급 그래픽 카드는 이미 생성적 ai 모델을 실행할 수 있습니다.

또 다른 매우 중요한 점은 deepfake 기술이 더 낮은 임계값을 가진 다양한 도구에 최적화되어 있다는 것입니다.

얼굴 변경을 예로 들어보겠습니다. github에는 deepfacelive 및 deep-live-cam과 같은 deepfake용 오픈 소스 프로젝트가 많이 있습니다. 사용자는 웹 사이트에서 코드를 다운로드하고 로컬에서 실행 환경을 구성할 수 있습니다.

▲ deep-live-cam을 활용한 ai 머스크 라이브 방송

기술을 이해하지 못하는 초보자가 여전히 어렵다면 쌀을 입에 직접 넣고 모델을 캡슐화한 후 플레이어가 무료로 다운로드할 수 있도록 간단하고 사용하기 쉬운 소프트웨어를 작성하여 수익을 얻는 전문가도 있습니다. 스트리핑을 위한 많은 원클릭 앱을 포함하여 자체적으로 광고 비용을 청구합니다.

오디오 딥페이크의 경우 사용자가 sdk(개발 키트) 또는 api(응용 프로그래밍 인터페이스) 형태의 서비스를 쉽게 사용할 수 있도록 하는 성숙한 상업 회사가 이미 있습니다.

사용자는 프로그램을 배포하기 위해 그래픽 카드가 있는 장치도 필요하지 않고 대신 오디오와 같은 콘텐츠를 웹사이트에 업로드하고 결과가 생성될 때까지 기다린 후 다운로드합니다.

따라서 복잡한 기술 원리는 이면에 숨겨져 있으며, 사용자 앞에는 "기본 제공" 인터페이스가 있어 청소년도 마음대로 잘못된 정보를 생성할 수 있습니다.

간단히 말해서 chen peng의 결론은 다음과 같습니다.

딥페이크는 일반 사람들도 쉽게 얻을 수 있는 수준에 이르렀습니다.

인간은 육안으로 deepfake를 식별하는 데 완전히 실패했을 수 있습니다.

기술이 "일반 사람들의 가정에 침투"할 때 영향을 받을 가능성이 가장 높은 사람들은 일반 사람들입니다.

사기는 deepfake가 악을 행하는 가장 일반적인 방법 중 하나입니다.

올해 초에는 다국적기업 홍콩지사가 ai로 인해 2500만달러(약 250억원)의 사기를 당한 사건이 발생했다. 피해자는 화상회의에 참여했고, 나머지는 'ai 얼굴 바꾸기', 'ai 목소리 바꾸기'를 겪은 사기꾼들이었다.

▲경찰은 딥페이크를 이용해 다자간 화상회의를 위조하는 방법을 시연했다.

이제 상황이 이렇게 되었는데, 우리 자신을 보호하기 위해 무엇을 할 수 있습니까?

누군가 deepfake를 사용하여 당신을 속인다면 ai의 허점을 이용하는 것도 방법 중 하나이지만 수명이 있습니다.

예를 들어 영상통화 중 상대방의 얼굴이 ai로 대체된 것으로 의심되면 상대방에게 얼굴 앞에 손을 대고 빠르게 몇 번 스와이프하는 등 구체적인 행동을 하도록 안내할 수 있다. 또는 고개를 크게 돌리거나.

ai 얼굴 교체 이면의 모델이 특별히 손 교합에 최적화되어 있지 않으면 노출되어 손등에 얼굴이 나타나거나 갑자기 왜곡될 수 있습니다.

고개를 돌리는 원리는 동일하다. 데이터 수집 단계에서 상대방이 고의로 45도 이상 고개를 돌리는 자료를 수집하지 않으면 얼굴 핏이 부자연스러워진다.

그러나 앞으로는 육안으로 보이는 이러한 결함이 점차 줄어들 것입니다.

▲노스웨스턴대학교의 '문제 해결' 테스트: ai 생성인가, 실제인가?

chen peng은 사기꾼이 당신을 도살되기를 기다리는 살찐 양이라고 생각하고 고의적으로 당신을 속이고 소셜 미디어 정보를 제거하고 모델을 최적화하는 데 며칠을 소비한다면 이러한 방법이 효과적이라고 보장할 수 없다고 농담했습니다.

영상에 이러한 결함이 없다면 그것이 진짜 영상이라는 뜻인가요? 이것은 사실이 아닙니다.

효과가 있는지 없는지는 확실히 완전히 효과가 있다거나 100% 효과가 있을 수는 없지만 어느 정도 효과가 있습니다.

좀 더 전문적으로 표현하면, 인간의 시각적 인식은 사물이나 장면의 의미를 쉽게 구별하는 등 의미론적 수준에서 매우 잘 수행되지만, 픽셀 수준에서 낮은 수준의 뉘앙스를 처리하는 경우에는 인식 수준이 매우 뛰어납니다. 능력은 ai만큼 좋지 않습니다.

이러한 관점에서 chen peng은 일반 사람들이 deepfake를 구별하는 데 비참하게 실패했다고 믿습니다. 전문가들은 너무 많이 보고 상대적으로 포괄적인 분석 능력을 갖추고 있으며 무언가가 규칙에 부합하지 않는다는 것을 알 수 있기 때문에 여전히 싸울 수 있습니다.

우리 중 누구도 레이엔훅도 아니고 날카로운 눈도 없지만 인간의 본성은 변함이 없습니다. 따라서 기술과 무관한 전통적인 심리적 방어선도 끌어올릴 수 있습니다. 항해할 때는 조심하세요.

사기는 종종 동일한 패턴을 따릅니다. 사생활을 훔치고, 공포, 탐욕, 감정적 가치를 이용해 이야기를 꾸며내고, 아는 사람인 척하거나, 신뢰를 얻기 위해 자신을 포장하고, 돈을 궁극적인 목표로 삼습니다.

▲리얼라이스마트(realai smart)의 제품 리얼빌리브(realbelieve)는 영상 통화 중 조기 경고를 발령한다.

이 점을 명심하시고, 낯선 링크를 클릭하지 마시고, 함부로 인증번호를 입력하지 마시고, 인터넷에 얼굴, 음성, 지문 등 개인 생체정보를 과도하게 노출하지 마시고, 의심스러운 전화를 받지 않도록 주의하시기 바랍니다. 돈에 관해서는 서로의 생각을 다양하게 하세요. 서로만 아는 것을 물어보는 등 서로의 신원을 확인하는 방법이죠.

옛말에 있듯이, 가장 좋은 것은 마음을 공격하는 것입니다. 우리가 속을 수 있다는 것을 깨달으면 속지 않을 수 있습니다.

마법 대 마법, ai가 ai를 이기다

사기 방지 인식을 높이는 것만으로는 충분하지 않습니다. 한국의 '룸n 2.0' 사건은 또 다른 형태의 딥페이크 악을 보여줍니다. 사람들은 집에 앉아 있고 냄비는 하늘에서 나옵니다.

가짜 누드 사진 피해자는 '리벤지 포르노'를 접할 수 있다. 가해자가 딥페이크 자료를 유포해 협박하고 피해자를 괴롭히며 더 심각한 2차 피해를 입히는 '리벤지 포르노'를 접할 수도 있다.

하지만 이 낫은 우리 머리 위로 치켜들 수도 있습니다. 사기꾼이 당신의 사진을 갑자기 빼앗아 저속한 동영상으로 합성하고 문자 메시지를 보내 협박하고, 돈을 송금하지 않으면 노출될 것이라고 상상해 보세요. 인터넷에서 어떻게 자신을 증명할 수 있나요?

chen peng이 일하는 ruilai wisdom은 실제로 이런 개인 사업에 직면했습니다. 상대방은 영상에서 그의 얼굴이 바뀌 었다고 말했는데, 그가 지워질 수 있을까요?

물론 방법이 있습니다. 마법 대 마법, ai가 ai를 이기는 방식입니다.

chen peng은 ai 위조에 대한 두 가지 주요 기술 경로, 즉 능동적 방어와 수동적 탐지가 있다고 소개했습니다.

먼저 적극적인 방어에 대해 이야기해 보겠습니다. 소셜 미디어에 사진을 게시하고 다른 사람이 사용하는 것을 원하지 않을 때 시각적으로 감지할 수 없는 노이즈가 포함될 수 있습니다.

만약 다른 사람이 우리 사진을 이용해 모델을 훈련시키면 ai는 이러한 눈에 보이지 않는 간섭으로 인해 시각적 표현을 잘 추출할 수 없게 되고, 최종 결과가 왜곡되거나 흐려질 수 있습니다. 이를 '적대적 샘플 공격'이라고 합니다. "

'반취약성 워터마크'는 또 다른 능동방어 방식이다. 워터마크를 추가한 후 다른 사람이 우리 사진을 편집하면 워터마크가 파괴되고 우리는 해당 이미지가 처리되었으며 신뢰할 수 없다는 것을 알게 됩니다.

워터마크는 이미지의 딥페이크를 직접적으로 방지할 수는 없지만 이미지의 진위 여부를 감지하고 인증할 수 있습니다.

▲해외에서도 유사한 탐색이 있다. adobe는 이미지 소스를 결정하는 방법으로 메타데이터 매개변수를 사용하여 c2pa 표준을 시작했습니다.

물론 적극적 방어의 문턱이 높기 때문에 이런 일이 발생하기 전에 예방 조치를 취하고 사전에 사진에 대한 일부 처리를 수행해야 합니다.

더 흔한 상황은 우리가 자신에 대한 '누드 사진'을 받지만, 우리 자신에 대해 '솔직하게' 보는 것도 처음이다. 이때 수동 감지를 사용해야 합니다.

realai intelligence에는 생성 ai 콘텐츠 탐지 플랫폼 deepreal, 얼굴 ai 보안 방화벽 realguard 등 위조 탐지를 담당하는 ai 제품 시리즈가 있습니다.

▲딥리얼

간단히 말해서, ai를 사용하여 ai를 식별하는 것은 두 단계로 나누어집니다. 먼저, 대량의 위조 특징을 추출한 다음, 이러한 샘플을 기반으로 모델링하여 ai가 위조 식별 규칙을 학습하도록 합니다.

왜곡된 색상, 불합리한 질감, 부자연스러운 표현, 동기화되지 않은 오디오 및 비디오, 불규칙한 홍채 모양, 일관성 없는 두 학생의 하이라이트는 모두 ai 학습 자료입니다.

그 중 영상 위조의 정확도는 이미지보다 높을 수 있는데, 그 이유는 영상이 일련의 연속된 이미지로 구성되어 있어 서로 다른 영상 사이의 문자 모양 등 단일 이미지보다 위조에 사용할 수 있는 정보가 더 많기 때문입니다. 프레임. 행동의 연속성.

본질적으로 ai 위조는 인간의 눈을 사용하여 결함을 찾는 것과 비슷하며 ai 모델 자체의 결함도 악용합니다.

▲ 중국과학원 연구원들이 딥페이크 탐지용 ai 모델을 전 세계에 오픈소스로 공개했다

그러나 결함은 점차적으로 개선될 것이기 때문에 매우 중요한 질문이 제기됩니다. 먼저 위조가 이루어지고 인증이 뒤따르는가? 그렇다면 위조는 언제나 위조보다 반걸음 뒤쳐지는 것이 아닐까?

chen peng은 생성된 기술이 위조 기술보다 약간 앞서 있을 수 있지만 deepfake를 방어하면서 deepfake를 시뮬레이션하는 내부 적청 공격 및 방어 실험실을 보유하고 있으며 deepfake의 탐지 기능을 지속적으로 향상시키고 있다고 답했습니다.

새로운 딥페이크 기술이 나오면 빠르게 재현해 탐지 제품에서 검증할 수 있다.

게다가 모델 자체도 많은 deepfake 콘텐츠를 보았으며, 보이지 않는 콘텐츠가 발견되면 어느 정도 정확하게 식별하고 탐지할 수 있는 특정 일반화 능력을 가지고 있습니다.

▲ 빌리빌리 등 플랫폼은 ai의 얼굴을 바꾸는 엔터테인먼트 콘텐츠에 라벨을 붙인다

한마디로 ai 위변조 및 위조품 탐지는 장기적인 대결과 상호 경쟁의 '고양이와 쥐 게임'이다.

이것이 바로 chen peng이 ai 위조 알고리즘을 연구해 온 이유입니다.

anti-deepfake는 너무 대립적이며 장기적인 투자가 필요합니다. 많은 ai 제품과 달리 사용을 마친 후에는 잊어버릴 수 있습니다.

그럼에도 불구하고 그는 여전히 상대적으로 낙관적입니다. "법률과 규정을 사용하여 감독하고, 플랫폼은 콘텐츠를 관리하고, 업계는 기술과 도구를 제공하며, 미디어는 더 많은 사람들에게 위험을 인식하게 합니다. 다각적인 거버넌스가 특정 수준에 도달하면 확실히 완화될 겁니다."

미래에 우리는 인터넷 서핑을 할 때 이렇게 다소 터무니없는 시나리오에 빠질 수 있습니다. 인증 코드를 사용하면 "나는 인간입니다"를 증명할 수 있고 deepfake를 사용하면 "나는 내가 아닙니다"를 증명할 수 있습니다.

기술이 모든 악의적인 의도를 완벽하게 탐지할 수는 없지만 인간은 너무 불안해할 필요가 없습니다. deepfake의 성공은 최종 결과일 뿐이지만 deepfake 방지는 언제든지 시작할 수 있습니다.

chen peng이 말했듯이, 아주 단순한 ai 제품이라도 매우 체계적인 프로젝트입니다.

우리는 더 큰 시스템의 일부입니다. 부상당한 사람이 목소리를 내도록 하고, 가해자를 처벌하도록 하고, 악행을 막기 위한 기술이 개입하도록 하고, 그래야만 두려움이 아닌 공정한 기술을 향해 함께 일할 수 있습니다. 미래의 이용.