notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

coisas inteligentes
Compilado por Chen Junda
Editar Panken

De acordo com um relatório de ontem da importante revista acadêmica Nature, o uso de IA generativa na redação acadêmica deu início a um crescimento explosivo. Pesquisas relevantes mostram que 10% dos resumos de artigos no PubMed, o maior banco de dados na área biomédica, são suspeitos de terem sido escritos por IA, o que equivale ao envolvimento da IA ​​em 150.000 artigos todos os anos.

Uma pesquisa da Universidade de Ciências Aplicadas de Berlim, na Alemanha, mostra que a precisão média das principais ferramentas de detecção de AIGC é de apenas 50%, e é fácil determinar que o conteúdo da escrita humana é gerado pela IA. No entanto, muitos artigos gerados por IA podem ser facilmente ocultados através de paráfrases, substituição de sinônimos, etc. Além disso, o uso de ferramentas de IA por falantes nativos de inglês é mais difícil de detectar.

Embora as ferramentas de IA já tenham sido amplamente utilizadas na academia antes, o uso de IA generativa para produzir artigos diretamente ou escrever textos fantasmas ainda é controverso. As ferramentas de IA facilitam o plágio e podem levar ao uso indevido de conteúdo protegido por direitos autorais.

A escrita assistida por IA tem seus méritos. Muitos estudiosos usam a escrita generativa assistida por IA para evitar o problema de publicar artigos em idiomas desconhecidos e podem se concentrar na própria pesquisa científica. Muitas revistas permitem o uso de ferramentas generativas de IA, mas exigem que os autores divulguem detalhadamente seu uso em seus artigos.

1. A IA pode estar envolvida na redação de 150.000 resumos, e é mais provável que falantes não nativos de inglês sejam descobertos

Desde o lançamento do ChatGPT no final de 2022, o uso de IA na redação acadêmica explodiu. Uma pesquisa da Universidade de Tübingen, na Alemanha, mostra que no primeiro semestre de 2024, pelo menos 10% dos resumos em artigos biomédicos serão escritos usando IA, o que equivale a aproximadamente 150.000 artigos por ano, anualmente.

Esta equipe de pesquisa analisou os resumos de 14 milhões de artigos no banco de dados da área biomédica PubMed de 2010 a 2024. Eles descobriram que após o surgimento de ferramentas generativas de IA representadas pelo ChatGPT, o uso de palavras estilísticas modificadoras específicas aumentou anormalmente. A equipe de pesquisa usou a frequência dessas palavras para estimar a proporção de resumos escritos com IA.

Os pesquisadores também descobriram que o uso de ferramentas de escrita de IA também variou entre os países. Os seus dados mostram que artigos de países como a China e a Coreia do Sul utilizam ferramentas de escrita de IA com mais frequência do que artigos de países de língua inglesa.

▲O uso de vocabulário estilístico na redação acadêmica aumentou (Fonte: "Natureza")

De acordo com a análise da equipa de investigação, a frequência de utilização da IA ​​pelos autores nos países de língua inglesa pode ser semelhante à de outros países, mas a forma como a utilizam pode ser mais difícil de detetar.

Na verdade, antes do surgimento desta onda de IA generativa, a IA já tinha sido usada em áreas como a descoberta de medicamentos e a previsão da estrutura de proteínas. Esses usos não causaram muita controvérsia. um papel. Ainda é um papel coadjuvante.

A aplicação de IA generativa na redação acadêmica traz dois problemas principais. Por um lado, o plágio é facilitado pela IA generativa. Os plagiadores podem usar IA generativa para parafrasear pesquisas de outras pessoas no estilo de revistas acadêmicas. O texto parafraseado é geralmente menos semelhante ao texto original, por isso é difícil ser julgado como plágio.

Além disso, o modelo de IA consome uma grande quantidade de conteúdo protegido por direitos autorais durante o processo de treinamento e é muito provável que o modelo produza conteúdo protegido por direitos autorais ao usuário sem qualquer aviso. O New York Times descobriu uma vez que o chatbot de IA da OpenAI, ChatGPT, havia produzido diretamente as palavras originais da reportagem do New York Times, sem marcar a fonte. Eles também processaram a OpenAI por violação.

2. As ferramentas de detecção falham no jogo de gato e rato. Elas podem ser facilmente contornadas e mal avaliadas.

Em resposta ao uso crescente de ferramentas de IA, muitas empresas lançaram ferramentas de detecção de conteúdo AIGC, mas essas ferramentas falharam no “jogo de gato e rato” com IA generativa.

No final do ano passado, vários estudiosos da Universidade de Ciências Aplicadas de Berlim, na Alemanha, publicaram um estudo. Eles descobriram que apenas 5 das 14 ferramentas de detecção de IA comumente usadas na academia alcançaram uma taxa de precisão superior a 70%. A precisão média do reconhecimento é de apenas 50% -60%.

▲ As principais ferramentas de detecção de AIGC no mercado apresentam desempenho insatisfatório (Fonte: Weber‑Wulf et al.)

Essas ferramentas de detecção de AIGC apresentam desempenho ainda pior quando confrontadas com conteúdo gerado por IA, editado por humanos e transcrito por máquinas. Com apenas operações simples, como substituição de sinônimos e ajuste de ordem de palavras, a precisão da ferramenta de detecção AIGC será reduzida para menos de 50%. Estudos demonstraram que a precisão de reconhecimento abrangente das ferramentas de detecção AIGC é de apenas 50%.

▲05 e 06 na figura são, respectivamente, o texto após edição humana e paráfrase mecânica gerada pela IA. A ferramenta de detecção AIGC tem um desempenho muito fraco nesses dois tipos de texto (Fonte: Weber‑Wulf et al.)

Os dados mostram que as ferramentas de reconhecimento AIGC existentes no mercado têm alta precisão na identificação de artigos escritos por humanos. No entanto, se o autor primeiro escrever um artigo original em um idioma com o qual está familiarizado e depois solicitar ao software de tradução que o traduza para outro idioma, a ferramenta de identificação poderá julgá-lo erroneamente como AIGC. Isto pode ter um impacto extremamente negativo na reputação acadêmica de acadêmicos e estudantes.

3. As fronteiras entre a escrita assistida e a má conduta acadêmica são confusas, e as ferramentas de escrita de IA também têm seu valor.

No entanto, o uso de ferramentas generativas de IA traz conveniência para alguns pesquisadores. Hend Al-Khalifa, pesquisador de tecnologia da informação na Universidade King Saud em Riade, compartilhou que antes do advento das ferramentas generativas de IA, muitos colegas que não eram proficientes em inglês enfrentavam grandes dificuldades ao escrever artigos e agora, esses acadêmicos podem se concentrar. na pesquisa em si, em vez de gastar muito tempo escrevendo.

A linha entre a escrita assistida por IA e a má conduta acadêmica é difícil de traçar. Soheil Feizi, cientista da computação da Universidade de Maryland, acredita que usar IA generativa para parafrasear o conteúdo de um artigo existente é claramente plágio.

Mas a utilização de ferramentas de IA para auxiliar na expressão de opiniões não deve ser punida. Com a premissa de divulgar proativamente o uso de ferramentas de IA, os pesquisadores podem usar palavras de alerta detalhadas para gerar texto ou usar ferramentas de IA para editar rascunhos.

Muitas revistas também padronizaram o uso de ferramentas de IA na redação acadêmica, sem proibi-lo diretamente. A importante revista acadêmica "Science" estipula que a IA não pode ser listada como coautor, e o autor deve divulgar o sistema de IA e as palavras utilizadas, e ser responsável pela veracidade do conteúdo e se há suspeita de plágio.

▲ Regulamentos relevantes sobre o uso de IA na revista acadêmica "Science" (Fonte: Site oficial da revista acadêmica "Science")

A revista acadêmica Nature estipula que os pesquisadores devem registrar o uso de ferramentas generativas de IA na seção “Métodos de Pesquisa”. As estatísticas mostram que, em outubro de 2023, 87 dos 100 periódicos mais bem classificados desenvolveram diretrizes para o uso de ferramentas generativas de IA.

Conclusão: as ferramentas de IA não são um flagelo, apenas a mudança da orientação académica pode curar a causa raiz

Na última temporada de formatura universitária, muitas universidades nacionais também introduziram ferramentas de teste AIGC no processo de defesa e revisão de teses de graduação. No entanto, a introdução deste indicador não reduziu eficazmente a má conduta académica relacionada com ferramentas de IA. Existem também vários serviços no mercado especializados em reduzir a taxa de IA. Depois de serem mal interpretados como gerados por IA, os trabalhos de muitos alunos foram alterados de forma irreconhecível devido à redução da taxa de IA.

A adoção de uma abordagem adversa às ferramentas generativas de IA na investigação académica pode não ser capaz de resolver este problema. Acadêmicos da Universidade de Ciências Aplicadas de Berlim, na Alemanha, também enfatizaram, ao resumir a pesquisa, que o problema do abuso de IA na redação acadêmica é difícil de resolver apenas com a detecção de AIGC. Ajustar a atmosfera acadêmica orientada para o papel e para os resultados é a chave para isso. resolvendo esse problema.

Fonte: "Natureza"