notícias

A IA torna a divulgação de rumores mais fácil e mais “científica”?

2024-07-17

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Fonte: Diário do Estado de Direito

Repórter Zhang Shoukun

“Existem fotos e a verdade, e tudo é certificado por especialistas.”

Recentemente, a cidadã de Tianjin Li Meng (pseudônimo) teve uma discussão acalorada com sua mãe sobre um "artigo científico popular": sua mãe acreditava firmemente que o artigo continha vídeos, fotos e conclusões de pesquisas tiradas por vários supostos médicos e equipes médicas. Pode ser falso; Li Meng identificou cuidadosamente o artigo e descobriu que o artigo foi gerado por IA, e a plataforma também refutou o boato, portanto deve ser falso.

O conteúdo deste artigo é relacionado a gatos - havia uma menina que brincava com um gato e contraiu uma doença terminal chamada “doença”. Mais tarde, toda a sua pessoa ficou irreconhecível. Foi precisamente por causa deste artigo que a mãe de Li Meng se opôs firmemente a que ela criasse um gato, porque temia que ela também sofresse de “doenças”. Li Meng não conseguia rir ou chorar por causa disso: “Eu realmente espero que minha mãe use menos a Internet”.

A mãe de Li Meng não é a única que foi enganada por rumores de IA. Recentemente, agências de segurança pública em muitos lugares divulgaram uma série de casos relacionados ao uso de ferramentas de IA para espalhar boatos. Por exemplo, a agência que publicou notícias falsas sobre a conta da “explosão de Xi'an” poderia gerar de 4.000 a 7.000 peças. notícias falsas em um dia de pico, com uma renda diária de 1 Mais de 10,000 yuans, e o verdadeiro controlador da empresa, Wang Moumou, opera 5 dessas instituições com 842 contas operacionais.

Especialistas entrevistados por repórteres do "Rule of Law Daily" apontaram que ferramentas convenientes de IA reduziram bastante os custos de produção de boatos e aumentaram a ordem de grandeza e a disseminação de boatos. A disseminação de boatos sobre IA tem características de baixo limiar, produção em lote e dificuldade de identificação. É urgente fortalecer a supervisão e cortar a cadeia de interesses por trás dela.

Usando IA para fabricar notícias falsas

Espalhou-se rapidamente e muitas pessoas foram enganadas

Em 20 de junho, a polícia de Xangai emitiu um aviso de que dois comerciantes da marca fabricaram informações falsas, como "Esfaquear alguém na estação de metrô Zhongshan Park", para ganhar popularidade. O pessoal relevante foi detido administrativamente pela polícia. No relatório, um detalhe chamou a atenção: um falsificador usou software de IA para gerar tecnologia de vídeo para fabricar vídeos falsos de ataques no metrô e outras informações falsas.

O repórter descobriu que, nos últimos anos, o uso de IA para espalhar boatos tem ocorrido com frequência e se espalha muito rapidamente. Alguns boatos causaram pânico e danos sociais consideráveis.

No ano passado, no caso de uma menina desaparecida em Xangai, uma gangue fabricou maliciosamente rumores como "o pai da menina é seu padrasto" e "a menina foi levada para Wenzhou" de forma "clickbait" e "grupo de choque". A gangue usou ferramentas de IA e outras ferramentas para gerar conteúdo de boatos. Por meio de uma matriz de 114 contas, publicaram 268 artigos em 6 dias, com muitos artigos tendo mais de 1 milhão de cliques.

O Gabinete de Segurança Cibernética do Ministério de Segurança Pública anunciou recentemente um caso. Desde dezembro de 2023, uma informação sobre "água quente jorrando do solo no distrito de Huyi, cidade de Xi'an" tem sido frequentemente divulgada na Internet, com rumores como "água quente jorrando do solo por causa de um terremoto " e "por causa do rompimento de tubulações térmicas subterrâneas". Após investigação, os rumores relevantes foram gerados através da limpeza de manuscritos de IA.

Recentemente, "um incêndio ocorreu em um prédio residencial alto em Jinan, e muitas pessoas pularam para escapar" e "um homem que fazia exercícios matinais descobriu uma pessoa viva em um túmulo perto da Montanha dos Heróis em Jinan"... Esses ultrajantes "blockbuster news" foram amplamente divulgadas na Internet e atraíram muita atenção. A Administração do Ciberespaço do Comitê do Partido Municipal de Jinan refutou imediatamente os rumores por meio da Plataforma Conjunta de Refutação de Rumores da Internet de Jinan, mas muitas pessoas ainda estavam confusas com o aparecimento de "imagens e verdade".

Um relatório de pesquisa divulgado pelo Centro de Pesquisa de Novas Mídias da Escola de Jornalismo e Comunicação da Universidade Tsinghua em abril deste ano mostrou que entre os rumores sobre IA nos últimos dois anos, os rumores econômicos e corporativos representaram a maior proporção, atingindo 43,71%; no ano passado, rumores econômicos e corporativos A taxa de crescimento dos rumores sobre IA chegou a 99,91%, entre os quais setores como catering para viagem e entrega expressa são os mais atingidos pelos rumores sobre IA.

Então, quão fácil é usar IA para criar notícias falsas?

O repórter testou uma variedade de softwares populares de inteligência artificial no mercado e descobriu que, desde que as palavras-chave sejam fornecidas, uma “reportagem” pode ser gerada imediatamente em alguns segundos, incluindo os detalhes do incidente, comentários e opiniões, siga ações -up, etc. Adicione a hora e o local, fotos e música de fundo, e uma reportagem que parece real e falsa será concluída.

O repórter descobriu que muitos rumores gerados por IA foram misturados com conteúdos como "de acordo com relatórios", "departamentos relevantes estão conduzindo investigações aprofundadas sobre a causa do acidente e tomando medidas para realizar reparos de emergência" e "lembrando o general público preste atenção à segurança na vida diária". As pessoas muitas vezes têm dificuldade em distinguir a autenticidade depois de publicá-lo online.

Além de notícias de IA, artigos científicos populares, fotos, dublagem de vídeos e vozes imitadas após a substituição de rosto, todos eles podem ser gerados usando IA. Após o ajuste manual e a incorporação de algum conteúdo real, eles se tornarão difíceis de distinguir.

Zeng Chi, pesquisador do Centro de Jornalismo e Desenvolvimento Social da Universidade Renmin da China, disse que a natureza de união da “IA generativa” tem uma forte afinidade com os rumores. Ambos estão “criando coisas do nada” – criando informações que parecem. real e razoável. A IA tornou a divulgação de rumores mais simples e mais "científica". A IA resume padrões e une enredos com base em eventos importantes e pode criar rapidamente rumores que atendam às "expectativas" das pessoas e se espalhem mais rapidamente.

"As plataformas online podem usar a tecnologia de IA para detectar reversamente a junção de imagens e vídeos, mas é difícil censurar o conteúdo. Atualmente, as pessoas não têm a capacidade de interceptar completamente os rumores, sem mencionar que há muitos rumores não verificados ou informações não verificáveis ​​​​e ambíguas ", disse Zeng Chi.

Falsificação para ganhar tráfego

Suspeito de vários crimes

A “eficiência de espalhar boatos” de alguns softwares de IA é surpreendente. Por exemplo, existe software falso que pode gerar 190 mil artigos por dia.

De acordo com a polícia de Xi'an que apreendeu o software, extraiu os artigos guardados pelo software durante 7 dias e descobriu que o número total ultrapassava 1 milhão, cobrindo notícias atuais, temas sociais quentes, vida social e outros aspectos. Os usuários da conta publicam essas “notícias” em plataformas relevantes de maneira organizada e, em seguida, usam o sistema de recompensa de tráfego da plataforma para obter lucros. Atualmente, as contas envolvidas no caso foram bloqueadas pela plataforma e o software e os servidores relevantes também foram encerrados. A polícia ainda está investigando o caso.

Por trás de muitos incidentes de disseminação de boatos sobre IA, as motivações dos espalhadores de boatos são principalmente desviar o tráfego e obter lucros.

“Use IA para produzir direitos autorais populares em massa e, de repente, você ficará rico.” “Deixe a IA me ajudar a escrever artigos promocionais e posso terminar 3 artigos em 1 minuto.” o único número pode facilmente produzir mais de 500 por dia. Operação com várias contas, os novatos podem começar facilmente”... A pesquisa do repórter descobriu que existem artigos semelhantes sobre “enriquecimento” circulando em muitas plataformas sociais, e há muitos blogueiros pressionando. na área de comentários.

Em fevereiro deste ano, o Departamento de Segurança Pública de Xangai descobriu que um pequeno vídeo de um artista "malfadado e morto arrependido" apareceu em uma plataforma de comércio eletrônico, que atraiu um grande número de curtidas e repostagens.

Após investigação, descobriu-se que o conteúdo do vídeo era forjado. Depois que o editor do vídeo chegou ao caso, ele confessou que administrava uma loja online de especialidades locais em uma plataforma de comércio eletrônico. Devido às vendas fracas, ele criou notícias falsas atraentes para atrair tráfego para sua conta na loja online. Ele não sabe editar vídeos, então usa tecnologia de IA para gerar textos e vídeos.

Zhang Qiang, sócio do escritório de advocacia Beijing Yinghe, disse aos repórteres que o uso de IA para fabricar rumores online, especialmente fabricar e espalhar deliberadamente falsos perigos, epidemias, desastres e informações policiais, pode ser suspeito do crime de fabricar e espalhar deliberadamente informações falsas no âmbito do direito penal. Se afetar a reputação de um indivíduo ou de uma empresa, pode ser suspeito de difamação criminosa e de danos à credibilidade e reputação empresarial. Se afectar a negociação de valores mobiliários e de futuros e perturbar o mercado de negociação, pode ser suspeito de fabricar e disseminar informações falsas sobre a negociação de valores mobiliários e de futuros ao abrigo da lei penal.

Continuar a melhorar o mecanismo de refutação de boatos

Rotule claramente o conteúdo sintético

A fim de controlar a fraude e o caos da IA ​​e aprofundar a governação do ecossistema online, os departamentos e plataformas relevantes introduziram uma série de políticas e medidas nos últimos anos.

Já em 2022, a Administração do Ciberespaço da China e outros emitiram os "Regulamentos sobre a Gestão de Síntese Profunda de Serviços de Informação da Internet", que estipula que nenhuma organização ou indivíduo pode usar serviços de síntese profunda para produzir, copiar, publicar ou disseminar informações proibidos por leis e regulamentos administrativos. Os serviços de síntese profunda envolvem-se em atividades proibidas por leis e regulamentos administrativos, tais como pôr em perigo a segurança e os interesses nacionais, prejudicar a imagem do país, infringir os interesses sociais e públicos, perturbar a ordem económica e social, infringir os direitos legítimos. e interesses de outros, etc. Os provedores e usuários de serviços de síntese profunda não estão autorizados a usar serviços de síntese profunda para produzir, copiar, publicar ou disseminar informações de notícias falsas.

Em abril deste ano, o Secretariado da Comissão Central de Assuntos do Ciberespaço emitiu o "Aviso sobre a Execução da Ação Especial de" Limpeza e Retificação do Tráfego Abundante Ilimitado de 'Auto-Media'", exigindo o fortalecimento da rotulagem e exibição de fontes de informação . Se a informação for gerada utilizando tecnologias como a IA, deve ser claramente marcada como gerada pela tecnologia. Qualquer conteúdo que contenha ficção, dedução, etc. deve ser claramente rotulado como ficção.

Para conteúdo suspeito de usar tecnologia de IA, algumas plataformas publicarão um lembrete abaixo de que "o conteúdo é suspeito de ser gerado por IA, examine com atenção" e adicionarão claramente um rótulo de ficção ao conteúdo que contém ficção, dedução, etc. ., e tomar "ações" contra contas ilegais "e outras medidas. Alguns desenvolvedores de modelos grandes também declararam que colocarão marcas d’água no conteúdo gerado por modelos grandes por meio de configurações de plano de fundo para informar os usuários.

Na opinião de Zhang Qiang, as pessoas ainda não têm compreensão suficiente da IA ​​generativa e não têm experiência em lidar com ela. Neste caso, é muito necessário lembrar as pessoas através da mídia para prestarem atenção à triagem de informações de IA. Ao mesmo tempo, é necessário aumentar os esforços de resposta a nível da aplicação da lei e investigar e corrigir prontamente comportamentos como rumores e fraudes através da IA.

Zheng Ning, diretor do Departamento Jurídico da Escola de Gestão da Indústria Cultural da Universidade de Comunicação da China, acredita que o mecanismo existente de refutação de boatos deve ser melhorado ainda mais. Uma vez que uma informação seja identificada como boato, ela deve ser marcada imediatamente e. empurrado novamente para os usuários que navegaram no boato para refutá-lo. Dicas para evitar que esse boato se espalhe ainda mais e cause danos maiores.

É importante notar que algumas pessoas podem não ter nenhuma consciência subjetiva de espalhar boatos, mas apenas publicar conteúdo sintetizado por IA na Internet. Como resultado, ele é republicado em grande número e muitas pessoas acreditam nisso, causando danos.

A este respeito, Zeng acredita que a maneira mais simples de evitá-lo é formular regulamentos através de departamentos ou plataformas relevantes, e todo o conteúdo sintetizado por IA deve ser marcado com "esta imagem/vídeo é sintetizado por IA".