소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

출처: 법치일보

장쇼쿤 기자

"사진도 있고 진실도 있고 모두 전문가가 인증한 것입니다."

최근 텐진 시민인 리멍(가명)은 '인기 과학 기사'를 두고 어머니와 열띤 논쟁을 벌였다. 그녀의 어머니는 그 기사에 소위 의사와 의료진이 도출한 동영상, 사진, 연구 결론이 포함되어 있다고 굳게 믿었다. 가짜일 수도 있습니다. Li Meng은 기사를 주의 깊게 확인한 결과 해당 기사가 AI에 의해 생성되었다는 사실을 발견했으며 플랫폼도 소문을 반박했기 때문에 가짜임에 틀림없습니다.

이 기사의 내용은 고양이와 관련이 있습니다. 고양이와 놀다가 "질병"이라는 불치병에 걸린 소녀가 있었는데, 나중에 그녀의 온몸이 알아볼 수 없게 되었습니다. 이 기사 때문에 리멍의 어머니는 자신도 '질병'에 걸릴까 두려워 고양이 키우기를 단호히 반대했다. 이에 대해 리멍은 "엄마가 인터넷을 덜 사용했으면 좋겠다"며 웃지도 울지도 못했다.

AI 루머에 속은 사람은 리멍의 어머니만이 아니다. 최근 여러 곳의 공안 기관에서 AI 도구를 사용하여 소문을 퍼뜨린 사례가 많이 공개되었습니다. 하루에 거짓 뉴스가 최고조에 달하고 일일 수입이 10,000위안 이상이며 회사의 실제 관리자인 Wang Moumou는 842개의 운영 계좌로 5개의 기관을 운영하고 있습니다.

법치일보 기자들이 인터뷰한 전문가들은 편리한 AI 도구 덕분에 루머 제작 비용이 크게 줄어들고 루머 규모와 확산 규모가 커졌다고 지적했다. AI 유언비어는 문턱이 낮고, 일괄 생산이 어렵고, 식별이 어렵다는 특징을 갖고 있어 감독 강화와 그 배후 사슬 차단이 시급하다.

인공지능을 이용해 거짓 뉴스를 조작하다

빠르게 퍼져 많은 사람들을 속였습니다.

지난 6월 20일 상하이 경찰은 인기를 끌기 위해 '지하철 중산공원역에서 사람을 찌르라'는 등 허위 사실을 조작한 브랜드 마케터 2명을 공고했다. 보고서에는 한 가지 세부 사항이 주목을 끌었습니다. 위조범이 AI 소프트웨어를 사용하여 비디오 기술을 생성하여 지하철 공격 및 기타 허위 정보에 대한 허위 비디오를 제작했다는 것입니다.

기자는 최근 몇 년간 AI를 활용한 루머 확산이 빈번히 발생하고 있으며, 일부 루머는 상당한 사회적 공황과 피해를 초래하고 있다는 사실을 알아냈다.

지난해 상하이에서 발생한 소녀 실종 사건의 경우 일당이 '소녀의 아버지가 계부다', '소녀가 원저우로 끌려갔다' 등의 루머를 악의적으로 '클릭베이트', '충격파' 방식으로 조작한 바 있다. 갱단은 AI 도구 및 기타 도구를 사용하여 루머 콘텐츠를 생성했습니다. 114개의 계정 매트릭스를 통해 6일 만에 268개의 기사를 게시했으며 많은 기사가 100만 회 이상의 클릭을 기록했습니다.

공안부 사이버보안국은 최근 사건을 발표했다. 2023년 12월부터 '시안시 후이구 땅에서 뜨거운 물이 뿜어져 나온다'는 정보가 인터넷상에 자주 유포됐고, '지진으로 인해 땅에서 뜨거운 물이 뿜어져 나온다' 등의 루머가 돌기도 했다. ", "지하 열관 파열로 인해". . 조사 결과 AI 원고 정리를 통해 관련 루머가 생성됐다.

최근 '진안의 한 고층 주상복합 건물에서 화재가 발생해 많은 사람이 뛰어내려 탈출했다', '아침 운동 아저씨가 지난 영웅산 인근 무덤에서 살아있는 사람을 발견했다'… 소식'이 인터넷에 널리 퍼지며 큰 관심을 끌었다. 진안시당위 사이버행정부는 진안 인터넷 공동 루머 반박 플랫폼을 통해 즉각 루머에 대해 반박했지만, 여전히 '사진과 진실'의 등장에 많은 사람들이 혼란스러워하고 있다.

올해 4월 칭화대학교 저널리즘커뮤니케이션학과 뉴미디어연구센터가 발표한 연구 보고서에 따르면 지난 2년간 AI 관련 루머 중 경제 및 기업 관련 루머가 43.71%로 가장 높은 비중을 차지했다. 지난해 경제·기업 루머 AI 루머 증가율은 99.91%에 달하며, 그 중 케이터링 테이크아웃, 택배 등 업계가 AI 루머로 가장 큰 피해를 입었다.

그렇다면 AI를 사용하여 가짜 뉴스를 만드는 것이 얼마나 쉬운가요?

기자는 시중에 나와 있는 다양한 인기 인공지능 소프트웨어를 테스트한 결과, 키워드만 제공되면 사건의 세부 내용, 댓글, 조회수, 팔로우 등이 포함된 '뉴스 보도'가 몇 초 만에 즉시 생성될 수 있다는 사실을 발견했습니다. 업 액션 등 시간과 장소, 사진과 배경음악을 추가하면 진짜와 가짜처럼 보이는 보도자료가 완성된다.

기자는 AI가 만들어낸 루머에 '보도에 따르면', '관련 부서에서 사고 원인을 심층 조사하고 긴급 복구 조치를 취하고 있다', '일반인에게 상기시킨다' 등의 내용이 섞여 있는 것을 발견했다. 대중이 일상생활의 안전에 관심을 갖도록 해주세요.” 온라인에 게시된 후 진위 여부를 구별하는 데 어려움을 겪는 경우가 많습니다.

AI 뉴스, 인기 과학 기사, 사진, 더빙 영상, 얼굴 교체 후 모방된 음성 외에도 이러한 것들은 모두 AI를 사용하여 생성할 수 있으며 일부 실제 콘텐츠를 통합하면 구별하기 어려워집니다.

중국 런민대학교 저널리즘 및 사회 발전 센터의 연구원인 Zeng Chi는 "생성 AI"의 접합 특성이 소문과 강한 유사성을 가지고 있다고 말했습니다. 둘 다 "무에서 유를 창조"하여 보이는 정보를 생성합니다. 현실적이고 합리적이다. AI는 소문을 퍼뜨리는 일을 더욱 단순하고 '과학적'으로 만들었습니다. AI는 인기 있는 사건을 기반으로 패턴을 요약하고 플롯을 연결해 사람들의 '기대'에 부응하는 소문을 빠르게 만들어 더 빠르게 퍼뜨릴 수 있습니다.

"온라인 플랫폼은 AI 기술을 활용해 이미지와 동영상의 복제를 역으로 탐지할 수 있지만 콘텐츠를 검열하는 것은 어렵습니다. 현재 사람들은 루머를 완전히 차단할 수 있는 능력이 없으며, 확인되지 않은 루머나 루머도 많습니다. 검증할 수 없고 모호한 정보”라고 Zeng Chi는 말했습니다.

트래픽을 얻기 위한 위조

다수 범죄 의심

일부 AI 소프트웨어의 '소문 퍼뜨리기 효율성'은 놀랍습니다. 예를 들어, 하루에 190,000개의 기사를 생성할 수 있는 가짜 소프트웨어가 있습니다.

소프트웨어를 압수한 시안 경찰에 따르면, 소프트웨어에 저장된 7일간의 기사를 추출한 결과, 최신 뉴스, 사회 화제, 사회 생활 등을 다루는 기사의 총 수가 100만 개를 넘는 것으로 확인됐다. 계정 사용자는 이러한 "뉴스"를 관련 플랫폼에 체계적으로 게시한 후 플랫폼의 트래픽 보상 시스템을 사용하여 수익을 얻습니다. 현재 사건과 관련된 계정은 플랫폼에 의해 차단되었으며 관련 소프트웨어와 서버도 폐쇄되었습니다. 경찰은 여전히 ​​사건을 조사하고 있습니다.

많은 AI 루머 유포 사건 이면에는 유언비어 유포자의 동기가 주로 트래픽을 전환하고 수익을 창출하는 것입니다.

“인공지능을 활용해 대중적인 카피를 대량 생산하면 갑자기 부자가 될 것이다.” “홍보글을 AI가 도와주면 1분 안에 기사 3개를 끝낼 수 있다.” “이미지와 텍스트 생성, AI가 자동으로 기사를 쓰고, 단일 번호로 하루에 500개 이상을 쉽게 생성할 수 있으며, 다중 계정 운영은 초보자도 쉽게 시작할 수 있습니다.”... 기자가 검색한 결과 많은 소셜 플랫폼에 유사한 “부자 되기” 기사가 돌고 있고 많은 블로거가 추진하고 있는 것으로 나타났습니다. 댓글 영역에 있습니다.

올해 2월, 상하이 공안국은 한 예술가의 '불운을 겪고 후회하며 죽었다'는 짧은 영상이 전자상거래 플랫폼에 등장해 많은 수의 좋아요와 재게시가 이루어진 것을 발견했습니다.

조사 결과 영상 내용은 위조된 것으로 드러났다. 해당 영상 게시자는 사건을 접한 뒤 전자상거래 플랫폼에서 지역 특산품 온라인 매장을 운영했다고 고백했다. 매출 부진으로 인해 그는 온라인 상점 계정으로 트래픽을 유도하기 위해 눈길을 끄는 가짜 뉴스를 만들었습니다. 그는 비디오 편집 방법을 모르기 때문에 AI 기술을 사용하여 텍스트와 비디오를 생성합니다.

베이징 잉허 법률 사무소의 파트너 장창(Zhang Qiang)은 기자들에게 AI를 이용해 온라인 루머를 조작하는 것, 특히 허위 위험, 전염병, 재난, 경찰 정보를 조작하고 고의적으로 퍼뜨리는 것은 허위 정보를 조작하고 고의적으로 퍼뜨리는 범죄로 의심받을 수 있다고 말했습니다. 형법상. 개인이나 기업의 명예에 영향을 미치는 경우에는 형사상 명예훼손 및 영업신인 및 명예 훼손의 의심을 받을 수 있습니다. 주식증권 및 선물거래에 영향을 미치고 거래시장을 교란하는 경우에는 형법상 증권 및 선물거래에 관한 허위정보를 조작, 유포하는 혐의를 받을 수 있습니다.

루머 반박 메커니즘을 지속적으로 개선해 나가겠습니다.

합성 콘텐츠에 명확하게 라벨을 지정하세요.

AI 사기와 혼란을 통제하고 온라인 생태계의 거버넌스를 심화하기 위해 관련 부서와 플랫폼은 최근 몇 년간 다양한 정책과 조치를 도입했습니다.

2022년 초, 중국 사이버 공간 관리국 등은 "인터넷 정보 서비스 심층 합성 관리에 관한 규정"을 발표했습니다. 이 규정은 어떤 조직이나 개인도 심층 합성 서비스를 사용하여 정보를 생산, 복사, 출판 또는 전파할 수 없다고 규정하고 있습니다. 법률 및 행정법규에서 금지하는 행위 딥합성 서비스는 국가안보 및 이익을 위협하고, 국가 이미지를 훼손하며, 사회공공이익을 침해하고, 경제사회질서를 교란하고, 정당한 권리를 침해하는 등 법률 및 행정법규에서 금지하는 행위에 관여합니다. 타인의 이익 등 심층 합성 서비스 제공자 및 사용자는 심층 합성 서비스를 사용하여 허위 뉴스 정보를 생성, 복사, 출판 또는 유포하는 것이 허용되지 않습니다.

올해 4월 중앙사이버공간위원회 사무처는 ''자체미디어' 무제한 트래픽 정화 및 정정 특별조치 시행에 관한 고시'를 발표해 정보 출처 표시 및 표시 강화를 요구했다. . AI 등의 기술을 이용하여 정보를 생성한 경우에는 기술에 의해 생성된 것임을 명확히 표시해야 합니다. 허구, 추론 등이 포함된 모든 콘텐츠에는 허구라는 라벨이 명확하게 표시되어야 합니다.

AI 기술을 사용하는 것으로 의심되는 콘텐츠의 경우 일부 플랫폼에서는 "해당 콘텐츠가 AI에 의해 생성된 것으로 의심됩니다. 신중하게 선별해 주세요"라는 알림을 아래에 게시하고, 허구, 추론 등이 포함된 콘텐츠에는 픽션 라벨을 명확하게 추가합니다. ., 불법 계정에 대한 '조치' 및 기타 조치를 취합니다. 일부 대형 모델 개발자들은 대형 모델을 통해 생성된 콘텐츠를 배경 설정을 통해 워터마킹해 사용자들에게 알릴 것이라고 밝히기도 했다.

Zhang Qiang의 견해에 따르면 사람들은 여전히 ​​생성 AI에 대한 이해가 부족하고 이를 다루는 경험이 부족합니다. 이런 경우 언론을 통해 AI 정보 선별에 주의를 기울이도록 하는 것이 매우 필요하다. 동시에, 법 집행 차원의 대응 노력을 강화하고 AI를 통해 루머, 사기 등의 행위를 신속하게 조사하고 시정하는 것이 필요합니다.

중국 전매대학교 문화산업관리대학 법학과장 정닝(Zheng Ning)은 기존의 루머 반박 메커니즘이 더욱 개선되어야 한다고 믿습니다. 일단 루머로 확인된 정보는 즉시 표시되어야 하며, 해당 루머가 더 확산되어 더 큰 피해를 끼치는 것을 방지하기 위해 해당 루머를 열람한 유저들에게 다시 한 번 푸시해 드립니다.

일부 사람들은 루머 유포에 대한 주관적인 인식이 전혀 없이 AI 합성 콘텐츠를 인터넷에 게시하게 되고, 이로 인해 대량으로 재게시되고 많은 사람들이 이를 믿어 피해를 입게 되는 경우도 있다는 점은 주목할 만하다.

이와 관련하여 Zeng은 이를 방지하는 가장 간단한 방법은 관련 부서나 플랫폼을 통해 규정을 제정하는 것이며 모든 AI 합성 콘텐츠에는 "이 사진/비디오는 AI 합성입니다"라는 문구를 표시해야 한다고 믿습니다.