소식

대한민국의 n번방이 재등장! ai로 얼굴을 바꾼 수많은 여성들이 500개 학교에 웨이보를 통해 도움을 요청했다.

2024-09-01

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

지난 세기 말 작품 '공각기동대'에서 온몸이 의수로 변신한 모토코는 자신이 과연 존재하는지 의심하게 된다. 신체, 기억, 타인과의 관계 등이 복제될 수 있다면 육체적 삶의 논거로 사용될 수 없습니다.
ai 가수가 인기를 얻었을 때 스테파니 선 역시 비슷한 지적을 했다. 당신은 특별하지 않고, 이미 예측 가능하고, 불행하게도 당신은 맞춤화될 수도 있다.
어떤 일을 한 적이 없더라도 누구나 ai에 의해 설명되고 생성될 수 있다고 덧붙일 수 있습니다.
루쉰은 정말 반팔을 보고 흰 팔이 떠올랐다고 한다. 인간의 상상력은 흔합니다. 기술이 새로 발전할 때마다 특정 수직적 경로가 점점 더 성숙해지게 되는 것은 놀라운 일이 아닙니다. 바로 포르노입니다.
한때 n번방으로 전 세계를 충격에 빠뜨렸던 대한민국이 이제 버전 2.0을 경험하고 있다.
평범한 사람들에 대한 평범한 사람들의 폭력
지난번 n번방 사건에서도 가해자는 암호화된 메신저 프로그램인 텔레그램에 여러 개의 대화방을 개설하고 성착취물을 게시한 바 있다. 이번 사건은 주로 텔레그램에서 발생했습니다.
둘 사이의 주요 차이점은 범죄 수단입니다. 하나는 비밀 사진이고 다른 하나는 deepfake입니다.
우리는 ai를 사용하여 실제처럼 보이는 비디오, 오디오 또는 이미지를 생성하여 실제로 일어나지 않은 일을 시뮬레이션하는 deepfake에 이미 익숙합니다.
딥페이크는 연예계나 정치인 등에서 흔히 사용되지만, 일반인들에 의해 통제되고 다른 일반인들에게 피해를 주기 위해 이용되기도 합니다.
n번방 2.0의 가해자들은 가족, 동료, 동급생들에게까지 손을 뻗었습니다. 많은 텔레그램 대화방이 학교나 지역별로 구성되어 있어 그룹 구성원들이 공통의 지인과 유사한 주제를 가지고 있습니다.
대학별 채팅방
주변 여성들뿐만 아니라 여성 연예인들도 사냥의 대상이 된다. 교사, 간호사, 군인 등 직업별로 세분화된 대화방도 있다.
한겨레일보는 22만7000명이 참여하는 텔레그램 대화방에서 여성 사진만 있으면 5~7초 만에 딥페이크 콘텐츠가 생성된다고 보도했다.
220,000의 개념은 무엇입니까? 2023년이면 한국의 신생아 수는 23만 명에 불과하고, 전체 인구도 5천만 명이 넘습니다.
이 채팅방에는 여성 사진을 누드 사진으로 합성하고 가슴을 조절할 수 있는 로봇이 있다. 사용자가 채팅방에 입장하면 채팅창에 '이제 마음에 드는 여성 사진을 보내세요'라는 메시지가 뜬다.
deepfake 사용 방법을 보여주는 채팅방 스크린샷
참가자 수가 엄청나는데, 이는 낮은 "진입 임계값"과 관련이 있을 수 있습니다. 링크는 x(이전의 twitter)에서 특정 키워드를 검색하여 찾을 수 있습니다.
이 채팅방은 수익화 모델도 확립했습니다. 처음 두 장의 사진은 무료이며, 그 이후에는 사진당 1다이아몬드(usd 0.49, 약 rmb 3.47)의 요금이 부과됩니다. 익명성을 보장하기 위해 가상 화폐로만 결제가 가능합니다. 친구를 초대하면 무료 크레딧도 받을 수 있습니다.
하지만 '입학 증명서'가 필요한 채팅방도 있습니다. 그룹에 가입하려면 먼저 아는 사람의 사진 10장을 제출하고 인터뷰를 통과해야 합니다.
채팅 소프트웨어 카카오톡의 아바타와 인스타그램의 사진을 '원재료'로 사용할 수 있습니다.
더욱 충격적인 것은 피해자와 가해자 모두 10대 청소년이 많다는 점이다.
자원봉사자들은 실시간으로 업데이트되는 지도를 만들어 범죄가 발생한 학교를 보여줍니다. 여학교에서도 피해자는 있기 마련이다. 가해자가 꼭 같은 반 친구일 필요는 없기 때문이다.
정확히 얼마나 많은 학교가 영향을 받았는지 아직 확인되지 않았습니다. 일부 블로거들은 이번에는 70% 이상의 학교가 참여했다고 주장했습니다.
8월 26일 '한국중앙일보'는 초등학교까지 포함해 전국 최소 300여개 학교가 포함됐다고 지적했다. 8월 28일 wsj 보고서는 그 수를 약 500개 학교로 확대했습니다.
한 네티즌은 댓글란에 "이건 기본적으로 대한민국 전체인데..."라고 한탄했다.
이번 사건에 대해 뚜렷한 수사 결과는 나오지 않았지만 과거 자료를 통해 사태의 심각성을 짐작할 수 있다.
한국여성인권진흥원 통계에 따르면 올해 1월부터 8월까지 총 781명의 딥페이크 피해자가 도움을 요청했고, 그 중 미성년자는 288명으로 36.9%를 차지했다. 실제 수치는 이보다 훨씬 높을 가능성이 높습니다.
또 경찰청은 2023년 초부터 누드사진 허위사진 제작·유포 혐의로 기소된 300여 명 중 약 70%가 10대 청소년이었다고 밝혔다.
많은 한국 여성들이 웨이보에 가서 도움을 요청했다. 그들은 중국어를 모르고 휴대폰으로만 내용을 읽을 수 있었고, 그들의 무기력함과 두려움을 전하면서 ​​한때 웨이보에서 '룸n 2.0'이 화제가 됐다.
일부 네티즌들은 한국 여성들이 왜 중국 인터넷에 도움을 요청했는지 궁금해하고 있다. 사실 한국 여성들뿐만 아니라 싱가포르, 터키 등 다른 나라의 언론에서도 이 사건을 보도하고 있다.
그들은 외국인들로부터 관심과 비난을 받으면 언론이 더 적극적으로 보도할 것이고, 관련 부서는 들은 척하고 조용히 있기보다는 더 진지하게 조사할 것이라고 믿습니다.
일부 범죄 증거와 사건 주도자의 신원까지 당시 n번방처럼 한국 여성들이 직접 조사했다. 다행스럽게도 한국의 대통령과 야당 지도자가 다음과 같이 입장을 밝혔습니다.
딥페이크는 명백한 디지털 성범죄이며, 이를 영원히 근절하겠습니다.
딥페이크는 장난으로 보일 수도 있지만 익명성을 가장한 기술을 이용한 범죄행위임이 분명하며 누구나 피해자가 될 수 있습니다.
텔레그램 서버는 해외에 있고 ceo는 파리에 구금돼 있어 조사가 어렵다. 방송통신심의위원회는 프랑스 정부에 텔레그램 수사에 협조해 줄 것을 요청하는 서한을 보냈다고 밝혔다.
여론의 주목을 받은 뒤 관련 행위를 자제했지만, 일부 비양심적인 이용자들이 더욱 엄격한 '신원 확인'을 통과하고 더 많은 비공개 대화방에서 딥페이크를 계속할 것이라고 한겨레일보가 보도했다.
사용자가 비공개 채팅방 참여에 대해 논의하는 채팅방 스크린샷
허위 콘텐츠, 실제 피해
딥페이크는 새로운 것은 아니지만 그 피해가 거의 인정되지 않습니다.
한국의 일부 여성들은 자신의 소셜 미디어 계정을 비공개로 설정하거나 온라인에 게시된 사진을 삭제하여 보상을 시도했습니다.
그들은 고민하고 의심했습니다. 한편으로는 자신의 사진이 어디에 공유됐는지, 어디까지 퍼졌는지 알 수 없다. 반면 왜 피해자들에게 가해자 교육은커녕 사진 업로드에 주의를 요구하는지 이해하지 못한다.
한 여학생이 자신의 인스타그램 스토리에 “올린 사진 다 내려달라”고 요구하면 같은 학교 남학생들은 “너는 그런 일에 이용당하기엔 너무 못생겼다”고 말할 수도 있다.
여자 키가 너무 크다는 가해자의 발언
아직도 인터넷상에서는 “이런 범죄가 왜 그렇게 큰 피해를 주는지 모르겠다”, “몇몇 사람이 스스로 만들었다면 그 피해는 아주 적어야 한다”는 목소리가 나온다.
그러나 피해자들이 경험하는 것은 단순히 그들의 얼굴이 딥페이크되는 것을 보는 것 이상입니다. 가해자들 역시 이들을 모욕하고, 주소, 전화번호, 학생증 등 개인정보를 유포하고, 사생활에 관한 루머를 유포하고 접근해 괴롭힐 예정이다.
더욱 무서운 것은 '리벤지 포르노'를 접하는 것이다. 가해자들이 딥페이크 자료를 유포해 협박하고 여성에게 피해를 주겠다고 협박해 더 심각한 2차 피해를 입히는 것이다.
한국의 한 유튜버는 여자들이 소란을 피우지만 자신을 보호하기 위해 마스크를 써야 한다는 것을 알고 있다고 말했습니다.
코리아 헤럴드는 경기도에 사는 17세 고등학생 송양이 춤추는 사진과 짧은 동영상을 온라인에 공유하곤 했다고 보도했습니다. 어느 날, 그녀는 인스타그램에서 세 장의 노골적인 사진이 포함된 익명의 메시지를 받았습니다. "당신의 친구와 부모님은 당신의 삶의 이런 면을 이해하고 계십니까?"
이 사진들은 모두 딥페이크이지만 실제 이미지와 거의 구별할 수 없습니다. 악몽은 끝나지 않았고, 그녀가 답하는 메시지는 상대방을 더욱 흥분시키고 더 많은 요구를 하게 만들 뿐이다.
송씨의 요청에 따라 송씨와 가해자 사이의 문자 메시지를 수정하고 영어로 번역한 스크린샷
그 누구도 고통을 공유할 수 없습니다. 일부 피해자들은 “내가 알던 세상이 무너졌다”고 말하기도 했다.
이는 가해자가 지불한 대가와 동일하지 않습니다.
채팅방 스크린샷, "사진 찍고 싶은 포즈를 정하면 짱 멋있다" 등 일부 음란한 발언
사건은 아직 해결되지 않았지만, 한국은 앞서 딥페이크에 대해 형을 선고한 바 있으며, 그 중 하나는 지난 8월 28일 첫 재판을 받았습니다.
박씨는 2020년 7월부터 올해 4월까지 대학 동창 등 피해자 여성의 얼굴 사진을 훔쳐 419개 딥페이크 음란물을 제작해 1735개를 유포했다.
피해자들은 2021년 7월부터 뛰어다니기 시작해 가해자를 재판에 회부하는데 성공했고, 박씨는 올해 5월 기소됐다.
이번 대규모 딥페이크 사건으로 인해 관계 당국은 형량 상한을 5년에서 7년으로 늘리는 방안을 검토 중이다.
한국 여성들이 성범죄에 반대 목소리를 내고 있다.
딥페이크 청소년 범죄가 흔하지만 법에 허점이 있다는 점을 고려해 한국은 의무교육 단계에서 가해자에 대한 최고 처벌 수준을 측정하고 있다.
오늘날까지도 deepfake는 여전히 많은 곳에서 회색지대이며, 보호 노력은 위협의 속도를 따라잡을 수 없습니다.
예를 들어, 미국의 경우 피해자가 성인인 경우 주마다 법과 규정이 다르므로 범죄화하거나 민사소송을 제기하지만 현재 deepfake 포르노 콘텐츠 제작을 금지하는 연방법은 없습니다.
채팅방 화면, 멤버들이 공통 지인에 대해 이야기를 나누는 모습
입법이 어려운 이유 중 하나는 deepfake 이미지 속 피사체가 귀하와 유사하더라도 실제로는 귀하가 아니므로 귀하의 사생활이 실제로 침해되지 않는다고 믿는 사람들이 있다는 것입니다.
그러나 비록 그림은 거짓이지만 피해는 현실이라는 것은 모두가 알고 있는 사실이다.
법은 천천히 진행되는 동시에 한 번도 나타나지 않은 가해자들은 일시적으로 '활동을 중단'하고 '복귀'를 기다리고 있다.
악을 행하는 것은 너무나 쉽습니다. deepfake는 모든 사람과 관련이 있습니다.
한국도 예외는 아니다. 딥페이크는 국경을 가리지 않고 발생한다.
2023년 9월, 스페인의 알멘드랄레호(almendralejo) 마을에서 남학생 그룹이 소셜 미디어에 게시된 여학생의 사진을 '원클릭 스트리핑' ai 도구에 업로드했습니다. 이 마을에는 5개 중학교가 있는데, 그 중 최소 4개 학교에서는 같은 반 여학생들의 '나체 사진'이 유포됐다.
이 도구는 모바일 앱이나 텔레그램을 통해 사용할 수 있습니다. 피해자는 최소 30명이며, 주로 12~14세 여학생입니다.
발기인의 대부분은 그들을 알고 있었고 그들 중 최소 10명이 있었고 일부는 14세 미만이어서 형사 고발을 당할 수 없었습니다.
한 어머니, 더 많은 피해자 나오라고 촉구
그들은 이러한 '누드 사진'을 퍼뜨리기 위해 whatsapp과 텔레그램에 그룹 채팅을 만들었고, 인스타그램을 통해 피해자를 위협하여 '몸값'과 실제 누드 사진을 갈취했습니다.
미국 뉴저지의 한 고등학교에서도 같은 반 남학생들이 여름방학 동안 '누드 사진'을 찍는 등의 피해가 발생했다.
교장은 모든 사진이 삭제되었으며 다시는 유포되지 않을 것이라고 확신했습니다. 개시자는 며칠 동안 학교에서 정학을 당하고 아무런 문제가 없는 것처럼 '범죄 현장'으로 돌아갔습니다.
딥페이크는 2017년 '미국판 티에바' 레딧에서 처음 등장했다. 주요 형태는 연예인의 얼굴을 포르노 영상의 주인공으로 바꾸거나 정치인을 스푸핑하는 것이다.
기술적 관점에서 볼 때 두 가지 주요 경로가 있습니다. 하나는 이미지를 압축하고 재구성하여 한 면을 다른 면으로 바꾸는 인코더-디코더 경로이고, 다른 하나는 생성자-판별기 경로(즉, gan(generative adversarial networks))입니다. 적대적 훈련을 통한 실감나는 이미지.
오늘날 딥페이크는 더 넓은 개념으로 더 이상 원래의 얼굴 교체에만 국한되지 않고 기술적 수단을 통해 현실을 위조하는 모든 행위를 지칭하는 데 사용됩니다.
복잡한 기술적 원리는 사용자 앞에 숨겨져 있습니다. 십대들도 마음대로 허위 정보를 생성할 수 있습니다. deepfake는 기술에서 거의 문턱이 없는 도구로 변질되었습니다.
"원클릭 옷 벗기" 앱에는 사진, 이메일 주소, 몇 달러만 있으면 유명인, 동급생, 낯선 사람의 "옷"을 일괄적으로 벗을 수 있습니다. "옷 벗기"에 사용되는 사진은 종종 소셜 미디어 캡처에서 가져온 것입니다. 게시자의 동의 없이 게시자 본인도 모르는 사이에 퍼뜨립니다.
대규모 이미지에 대해 학습된 오픈 소스 확산 모델을 기반으로 사용자는 프롬프트 단어를 입력하여 유명인의 가짜 노골적인 사진을 생성할 수 있습니다.
할리우드 여배우의 ai 모델이 수천 번 다운로드되었습니다
deep-live-cam과 같은 오픈 소스 github 프로젝트는 사진만으로 화상 채팅에서 얼굴을 바꿀 수 있습니다.
젊은이들을 속이는 것은 어려울 수 있지만 노인들에게는 반드시 그런 것은 아닙니다. 비극적인 사례가 이미 현실에서 일어났습니다. 미국의 82세 남성이 ai에 대한 맹신 때문에 69만 달러를 잃었습니다. ​영상 속 펜션 속 사람을 속인 머스크.
ai 머스크의 생방송
2023년 7월, deutsche telekom은 어린이 데이터 보안에 대한 광고를 게재하여 부모에게 인터넷에서 어린이의 개인정보를 최대한 공유하지 말 것을 요청했습니다.
이미지, 비디오, 오디오는 모두 deepfake입니다. "보는 것이 믿는 것"이 ​​과거의 일이 되었다는 것을 우리는 합리적으로 이해하고 있지만, 우리의 심리학은 아직 이를 완전히 받아들이지 못하고 있으며 이에 상응하는 구별 능력도 없습니다. 피해자가 될 수도 있습니다.
기술은 중립적일 수 있지만 사람들이 기술을 사용하여 생산하는 정보는 단순한 정보가 아니라 굴욕감을 주고 낙인을 찍고 우월감을 얻기 위해 사용되는 무기이기도 합니다. 내용이 저속하고 기괴할수록 퍼지기 쉽습니다. 이는 고대부터 사실이었습니다.
평범한 사람들은 무엇을 할 수 있습니까? 적어도 우리는 기술을 어떻게 사용할지 결정할 수 있고, 어떤 정보를 생산하고 전파할지 선택할 수도 있고, 피해자에게 관심을 기울이고, 가해자를 비웃을 수도 있고, 우리의 작은 힘을 이용해 법과 사회 개념의 진보를 촉진할 수도 있습니다.
피해자는 얼굴을 바꾼 뒤 왜 사진을 삭제했나요? 피해자들은 왜 몰래 사진을 찍었고 그토록 부끄러워하는 걸까요? 이는 기술로도 답할 수 없는 질문인 것 같습니다.