소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

AI가 생성한 가짜 머스크는 온라인에서 가장 큰 거짓말쟁이가 되었습니다.

원본 링크: https://mp.weixin.qq.com/s/NKmwfvHunBbEhE091RwD-A

출처: NetEase 기술(ID: tech_163)

원제: AI가 생성한 가짜 머스크는 온라인에서 가장 큰 거짓말쟁이가 되었습니다.

8월 15일 미국 언론 보도에 따르면 최근 몇 년간 온라인 사기에 인공지능 딥페이크(Deepfake) 기술이 널리 사용되고 있으며, 특히 가짜 엘론 머스크(Elon Musk) 영상을 이용해 사기 행위를 저지르고 있다. 해당 영상은 머스크의 목소리와 움직임을 흉내내 투자자들을 현혹시켰다. 이러한 딥페이크 영상은 가격이 저렴하고 확산 속도가 빨라 사기꾼들이 사기 행위의 범위를 쉽게 확장할 수 있어 허위 투자 기회로 인해 많은 피해자가 막대한 손실을 입는 경우가 많습니다. 딥페이크의 위험이 점점 더 명백해짐에 따라 이로 인해 발생할 수 있는 사기 손실은 매년 수십억 달러에 이를 것으로 예상됩니다.

다음은 번역 전문입니다.

82세의 은퇴자인 스티브 보챔프(Steve Beauchamp)는 가족에게 약간의 수입을 추가하고 싶었고 엘론 머스크에게 희망을 걸었습니다. 지난해 말 비캄은 머스크가 빠른 수익을 약속하는 공격적인 투자 계획을 추천하는 것처럼 보이는 동영상을 접했습니다. 이에 영감을 받아 비캠은 영상 속 회사에 재빨리 연락해 248달러에 투자계좌를 개설했다. 그러나 다음 몇 주에 걸쳐 그는 점차적으로 투자를 늘려 결국 은퇴 계좌에서 690,000달러 이상을 인출했습니다.

그러나 얼마 지나지 않아 그 돈은 사라지고 인공지능을 이용해 새로운 유형의 디지털 사기를 저지르는 사기꾼 집단의 손에 넘어갔습니다. 사기꾼들은 AI 기술을 사용하여 머스크의 목소리를 대체하고 입 모양을 디지털 휴먼을 위해 작성한 새 대본에 맞게 미세 조정하는 등 교묘하게 머스크와의 실제 인터뷰를 변경했습니다. 일반 시청자에게는 이 작업이 거의 감지되지 않습니다.

비캠은 영상을 떠올리며 "영상 속 뚜렷한 이미지가 있고 한눈에 머스크라는 것을 알 수 있다. AI가 그런 말을 하게 했는지는 지금은 잘 모르겠다. 하지만"이라고 감격했다. "영상에 따르면, 누군가 나에게 군중 속에서 그 사람의 신원을 묻는다면 나는 분명히 그 사람을 지적할 수 있습니다."

01

머스크는 딥페이크를 자주 방문합니다.

최근 몇 달 동안 인터넷에는 머스크의 가짜 이미지를 사용하여 잠재 투자자를 오도하는 '딥페이크'라고 알려진 수천 개의 AI 기반 동영상이 넘쳐났습니다. Deloitte는 이러한 유형의 AI 기반 딥페이크가 매년 수십억 달러의 사기 손실로 이어질 수 있다고 추정합니다.

이러한 비디오는 제작 비용이 매우 저렴하고 몇 분 안에 완료할 수 있으며 Facebook의 유료 광고를 포함한 소셜 미디어를 통해 홍보되어 도달 범위가 크게 확대됩니다. 딥페이크 비디오를 모니터링하고 탐지하는 회사 Sensity의 공동 창립자이자 위협 인텔리전스 이사인 Francesco Cavalli는 "이것은 역대 최대 규모의 딥페이크 사기일 수 있습니다."라고 경고했습니다.

비디오는 종종 생생하며 Musk의 특유의 고르지 못한 억양과 남아프리카 억양을 정확하게 포착합니다. 사기꾼들은 대개 월스트리트저널 인터뷰 등 실제 영상에서 시작하는데, 가짜 영상에는 기자의 목소리가 그대로 담겨 있어 영상의 진정성을 더해준다.

사기꾼들은 고급 립싱크 기술을 사용하여 머스크의 입 움직임을 조정하여 가짜 대사와 완벽하게 일치시켰습니다. 또한 샘플 클립에서 모든 사운드를 복사할 수 있는 사운드 복제 도구를 사용하여 AI 사운드를 추가했습니다. 최종 광고에는 뉴스 조직의 스타일을 모방한 가짜 그래픽이 포함될 수도 있는데, 이는 일반 인터넷 사용자에게 상당히 설득력이 있을 수 있습니다.

Sensity의 분석에 따르면 Musk는 이러한 동영상에서 가장 많이 등장하는 화자입니다. 그는 특히 작년 말 이후 분석된 거의 2,000개의 샘플 중 거의 4분의 1에 달하는 딥페이크 사기에 등장했습니다. 암호화폐를 주제로 한 영상 중 이 비율은 거의 90%에 달합니다. Deepfake 광고에는 Warren Buffett과 같은 유명한 투자자나 Amazon 창립자 Jeff Bezos와 같은 비즈니스 거물이 자주 사용됩니다.

얼마나 많은 딥페이크가 온라인에 유통되고 있는지 정확하게 계산하기는 어렵지만 Facebook의 광고 라이브러리에서 일반적인 사기 관련 언어를 검색하면 수십만 개의 광고가 드러났으며 그 중 다수에는 딥페이크 동영상이 포함되어 있었습니다. Facebook은 정책을 위반한 콘텐츠의 상당 부분을 삭제하고 관련 계정을 금지했지만, 다른 동영상은 네트워크에 남아 있으며 매일 더 많은 동영상이 나타나는 것으로 보입니다.

YouTube에는 '라이브'라는 라벨이 붙은 가짜 콘텐츠도 많이 있습니다. 사실 이 영상들은 사전에 녹화된 딥페이크 영상입니다. 유튜브에서 '엘론 비트코인 ​​컨퍼런스' 등의 키워드를 검색하면 생방송으로 위장한 수십 개의 영상을 볼 수 있다. 영상 속 딥 페이크 머스크는 암호화폐 사기를 행하고 있어 오해의 소지가 매우 높다.

도널드 J. 트럼프(Donald J. Trump) 전 미국 대통령이 비트코인 ​​컨퍼런스에서 연설한 후, "라이브(Live)"라는 라벨이 붙은 수십 개의 비디오가 YouTube에 빠르게 나타났으며, 그의 계정으로 전송된 암호화폐를 두 배로 주장하는 머스크의 사전 녹화된 딥페이크 비디오를 보여주었습니다. 하지만 동영상은 수많은 시청자의 관심을 끌었으며 일부 동영상은 조회수가 수십만 회에 달했습니다. 그러나 YouTube는 사기꾼들이 조회수를 인위적으로 부풀리기 위해 온라인 트롤을 이용할 수 있다고 말했습니다.

비영리 소비자 옹호 단체인 Better Business Bureau의 보고서에 따르면, 텍사스 주민은 2023년 2월 YouTube에서 이른바 '라이브' 동영상을 통해 머스크라고 주장하는 사기 메시지를 본 후 36,000달러를 잃었습니다. 주민은 "비트코인을 송금했지만 아무것도 받지 못했다"고 말했다.

02

FB와 YouTube가 가장 큰 타격을 입었습니다.

유튜브는 성명을 통해 올해 1월부터 3월까지 플랫폼이 스팸 방지 정책을 위반한 이유로 1,570만 개 이상의 채널과 820만 개 이상의 동영상을 삭제했다고 밝혔습니다.

허위 광고가 급증하자 호주의 억만장자 앤드루 포레스트(Andrew Forrest)는 페이스북 모회사인 메타(Meta)를 상대로 민사소송을 제기했다. 이들 광고 사업이 무고한 사용자들을 잘못된 투자로 유도했다고 주장한다. 포레스트가 직접 제작한 영상도 딥페이크 광고 제작에 활용된 것으로 전해졌다.

Meta는 플랫폼에서 사기 행위를 식별하기 위해 자동화된 탐지 시스템을 훈련하고 있다고 답했지만, 자금이 풍부한 사기 조직이 탐지를 회피하기 위해 전술을 끊임없이 바꾸기 때문에 이것이 고양이와 쥐의 복잡한 게임임을 인정했습니다. 유튜브는 사기 및 동영상 변조에 대한 정책을 재차 강조했으며, 올해 3월에는 모든 창작자에게 AI를 사용해 현실적인 콘텐츠를 제작할 때 명확한 공개를 요구했습니다.

인터넷에는 많은 사람들이 저축한 재산을 잃은 사기 사건에 대한 보고가 넘쳐납니다. 홍콩 증권선물위원회는 지난 5월 머스크와 관련된 사기 행위에 대해 경고를 발표했습니다. 올해 초 연방거래위원회(Federal Trade Commission)와 FBI도 미국인들에게 AI 기반 사이버 범죄와 딥페이크 사기의 증가에 대해 경고했습니다.

FBI는 이메일로 보낸 성명에서 "범죄자들은 ​​사이버 공격과 기타 범죄 활동을 더욱 효과적이고 탐지하기 어렵게 만들기 위해 AI를 전력 증폭기로 사용하고 있다"고 강조했습니다.

디지털 사기는 인터넷의 성장과 함께 성장했습니다. 그러나 지난해 정교한 AI 도구가 대중에게 공개되면서 머스크를 특징으로 하는 새로운 딥페이크 물결이 등장했습니다. 이 도구를 사용하면 일반인이 유명인의 목소리를 복제하거나 동영상을 정밀하게 조작할 수 있어 포르노 업계와 밈 제작자의 관심을 끌었습니다. 사기꾼과 점점 더 많은 사기 조직.

사이버 보안 연구소 CTM Insights의 설립자인 Lou Steinberg는 "조직 범죄 집단이 이러한 방식으로 돈을 벌 수 있다는 사실을 발견했기 때문에 이제 상황이 바뀌고 있습니다."라고 말했습니다. 그는 이러한 위조 시도가 점점 더 많아질 것이라고 예측했습니다. 돈을 사기 위한 유일한 목적. "

예를 들어 AI가 생성한 동영상이 완벽하지는 않지만 일부 동영상에서는 머스크의 목소리가 로봇처럼 들릴 수 있으며 입 모양이 항상 대사와 일치하지 않는 것은 아닙니다. 그러나 전문가들은 이 동영상이 일부 사기 대상에 대해 충분히 설득력이 있으며 시간이 지남에 따라 기술이 향상되고 있다고 경고합니다.

Sensity의 Cavalli에 따르면 동영상 제작 비용은 약 10달러로 매우 적으며 대부분의 사기꾼은 다양한 무료 또는 저렴한 도구를 사용하여 10분 이내에 가짜 동영상을 제작합니다. 그들은 주로 인도, 러시아 및 동유럽에 위치하고 있습니다.

"효과가 있다"고 Cavalli는 말했습니다. "결과적으로 그들은 이 활동을 계속 확장하고, 국경을 넘어, 여러 언어로 번역하고, 더 많은 대상에게 사기를 계속 퍼뜨릴 것입니다."

03

노인들은 완벽한 목표를 세운다

이러한 유형의 사기는 처음에는 피해자가 250달러와 같은 소액의 돈을 투자하도록 유도하기 위해 고수익 인공 지능 투자 소프트웨어를 가장하여 사용하는 경우가 많습니다. 이후 투자의 부가가치 효과를 과장하여 점차 투자금액을 증가시키도록 유도한다.

머스크는 AI로 구동되는 자동화된 거래 상품을 설명하며 매일 투자 수익을 두 배로 늘릴 수 있다고 주장하는 테슬라 주주총회 영상도 가짜였다.

암호화폐 커뮤니티를 연구하는 전문가들은 머스크가 부를 벌기 위해 비전통적인 방법을 자주 찾는 보수주의자, 반체제 인사, 암호화폐 애호가로 구성된 독특한 글로벌 팬 그룹을 보유하고 있어 사기의 이상적인 표적이 된다고 지적합니다. .

암호화폐 커뮤니티를 연구하는 연구원 몰리 화이트(Molly White)는 “부(富)의 비밀이 숨겨져 있다고 믿는 사람들이 분명히 있다”고 말했다. 그녀는 어떤 사람들은 항상 부의 비밀을 터득하는 것에 대한 환상을 갖고 있으며 일단 그것을 찾으면 하루아침에 부자가 될 것이라고 생각한다고 지적했습니다.

사기꾼은 특히 암호화폐, 인공 지능 또는 Musk에 대해 잘 알고 있지만 안전한 투자 방법에는 익숙하지 않은 노년층 인터넷 사용자를 표적으로 삼습니다.

데이비스 캘리포니아 대학의 과학 및 기술 연구 교수인 핀 브런튼(Finn Brunton)은 “소셜 미디어가 등장하기 전부터 노인들은 항상 사기꾼의 표적이 되었습니다.”라고 말했습니다.

비컴은 75세에 은퇴할 때까지 캐나다 온타리오에 있는 한 회사의 영업사원으로 일했던 홀아비였습니다. 2023년 페이스북에 합류한 지 얼마 지나지 않아 그는 광고 사기를 당했다. 그는 CNN 생방송에서 머스크를 본 것을 기억했지만 CNN 대변인은 머스크가 수년 동안 방송국에서 인터뷰를 한 적이 없었다고 말했습니다.

비캠은 지난 12월 마그나-FX(Magna-FX)라는 회사에 27,216달러를 송금했고, 이로 인해 그는 자신의 투자 가치가 증가하고 있다고 믿게 됐다고 그와 회사가 주고받은 이메일에 따르면 밝혀졌다. 이 기간 동안 판매 대리인은 소프트웨어를 사용해 비캠의 컴퓨터를 원격으로 제어하고 승인 없이 자금을 이체하기도 했습니다.

Beacham이 자금을 인출하려고 했을 때 그는 관리비 3,500달러와 수수료 3,500달러를 추가로 지불해야 한다는 말을 들었습니다. 그는 돈을 지불했지만 나중에 약 200,000달러의 자금을 풀려면 20,000달러를 지불해야 한다는 말을 들었습니다. 그가 은퇴 저축을 모두 소진하고, 신용카드 한도를 한도까지 쓰고, 신용한도를 낮추고, 여동생에게 돈을 빌려 투자하고 비용을 지불했음에도 불구하고, 사기꾼들은 그에게 더 많은 돈을 요구했습니다. 이때쯤 비캄은 문제의 심각성을 깨닫고 경찰에 신고했다.

회사 웹사이트, 전화번호, Beacham이 연락한 에이전트가 사용한 이메일 주소 등 Magna-FX의 흔적은 대부분 웹에서 사라졌습니다. 비슷한 이름과 서비스를 가진 회사는 논평 요청에 응답하지 않았습니다.

Beacham은 Better Business Bureau에 제출한 보고서에서 "현 시점에서 나는 모든 비판과 조롱을 나의 속임에 대한 처벌로 받아들일 용의가 있습니다"라고 말했습니다.

그는 사기꾼들에게 공개하지 않은 적은 금액의 퇴직 계좌와 연금에 의존하고 있으며, 저축한 돈으로 전 세계를 여행할 계획이라고 말했습니다. 비캄은 해당 범죄를 지역 경찰에 신고했지만 사건은 천천히 진행되고 있다.

그는 “사기 사건이 너무 많아 대기 상태에 빠졌다”며 “큰 기대는 하지 않았다”고 말했다.

*헤더 이미지 출처 : Visual China

괴짜가 물었다

소셜 미디어 플랫폼

딥 페이크 콘텐츠가 확산되는 가운데,

책임은 무엇입니까?

채총신: 좋은 리더는 자기 인식이 가장 뛰어난 사람이어야 합니다.

좋아요와 팔로우Geek Park 비디오 계정，