notícias

A tese de graduação que eles mesmos escreveram foi considerada como tendo a cara de uma IA

2024-07-22

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Quando Shu Ran viu as cores vermelha e amarela da tese de graduação no sistema de detecção de IA, ela sentiu “vontade de chorar”. Ela se perguntou mentalmente: Eu pareço tanto com a IA?

No artigo de 23 mil palavras de Shu Ran, dezenas de passagens foram detectadas como “risco médio” e “risco alto”. Shu Ran explicou que isso significava que, embora sua tese de graduação fosse original, ela não poderia atender aos requisitos de revisão de tese da escola devido à “alta taxa de IA”.

Com a popularidade da IA, muitos estudantes usarão a IA para gerar artigos ao escrever artigos. De acordo com os sites oficiais de algumas universidades, para os formandos de 2024, essas escolas emitiram pela primeira vez editais sobre testes de AIGC (inteligência artificial generativa), esclarecendo que os alunos devem respeitar rigorosamente as normas acadêmicas e a ética acadêmica na condução de projetos de graduação (teses ). Evite confiar demais em conteúdos gerados de forma inteligente e garanta a independência e originalidade do seu projeto de graduação (tese).

Todos os alunos entrevistados acreditam que a detecção de IA pode de fato impedir que os alunos usem a IA para escrever artigos, até certo ponto, mas a atual função de detecção de IA ainda não está madura. “É difícil entender como pode ser julgado como escrita de IA, porque mesmo que seja escrita humana ou tenha sido modificada, será detectada como escrita de IA novamente. Shu Ran disse que o resultado do uso da tecnologia para sancionar a tecnologia levará.” às exigências do papel, pelo contrário.

Para os alunos que foram erroneamente considerados como tendo escrito sua tese de graduação pela IA, a máquina lhes deu um número. Eles não tinham como apelar e só podiam modificá-lo de acordo com a lógica de funcionamento da máquina. Um paradoxo óbvio é que à medida que a inteligência artificial se torna cada vez mais parecida com os humanos, as frases escritas pelos próprios humanos tornam-se cada vez mais parecidas com a inteligência artificial. Neste momento, se a IA for usada para detectar se a escrita fantasma de IA é usada, maior será a possibilidade de que seu artigo seja mal interpretado como escrita fantasma de IA.

Alterado de “risco médio” para “risco alto”

No final de abril deste ano, Shu Ran, que estava prestes a se formar na universidade, decidiu o tema de sua tese de graduação após conversar com seu tutor.

Um mês depois, Shu Ran começou a escrever o primeiro rascunho do artigo. Enquanto escrevia sua tese, ela já havia entrado em uma empresa como estagiária. Todos os dias, depois de sair do trabalho, ela ficava deitada em frente ao computador quebrando a cabeça, escrevendo até meia-noite antes de fazer uma pausa. Durante os dois dias do fim de semana, ela dedicou todo o seu tempo à redação do artigo.

Como a estrutura estrutural da tese foi discutida previamente com o tutor, o pensamento de Shu Ran ficou mais claro e suave durante o processo de redação. Além disso, o tutor apresentou requisitos mais detalhados para o formato do seu trabalho, incluindo índice, fontes, linhas de tabelas, etc.

Cerca de meio mês depois, ela terminou de escrever o primeiro rascunho do artigo. De acordo com as exigências da escola, sua tese de graduação deve ter mais de 20 mil palavras. Depois de revisá-lo várias vezes, o artigo de Shu Ran ficou com 23.000 palavras.

Outro requisito da escola é que, além das verificações gerais de plágio, os alunos precisam usar uma ferramenta de IA chamada "GeZida" como sistema de detecção de citações em papel, e os resultados da detecção devem ser de "baixo risco".

Shu Ran aprendeu por meio de pesquisas on-line que este software pode fornecer verificação de plágio de papel, detecção de formato, correção de formato, gerenciamento de papel e outras funções. A verificação de plágio de artigos descobre principalmente a taxa de duplicação do conteúdo do artigo, comparando-o com o banco de dados do periódico.

Diferentes algoritmos de sistema de verificação de duplicação e tamanhos de banco de dados são diferentes. Por exemplo, a regra de verificação de duplicação do CNKI é de 13 caracteres, ou seja, se 6,5 caracteres forem repetidos continuamente, eles serão marcados em vermelho. O objetivo da detecção de IA é identificar qual conteúdo é gerado pela IA e fazer julgamentos analisando o estilo de linguagem, detectando conteúdo repetido, gramática e lógica.

Uma semana depois de escrever o primeiro rascunho do artigo, Shu Ran o enviou ao seu supervisor. Depois que o instrutor propôs modificações, ela modificou tudo “manualmente”, desde o título até o quadro, até ficar satisfeita com isso. Duas semanas antes da defesa, ela submeteu seu trabalho à ferramenta de IA para teste.

Antes de Shu Ran enviá-lo, uma de suas colegas de quarto conduziu primeiro um teste de IA. O resultado é que a taxa de detecção de duplicação é de 13% e a detecção de IA é de “risco médio”. A colega de quarto não ficou surpresa com o resultado. Ela disse a Shu Ran que parte de sua tese foi escrita por AI.

Shu Ran achou que era "bastante novo" na época, mas pensou consigo mesma que tal artigo deveria ter muito peso, já que seu próprio artigo foi escrito palavra por palavra. Quando Shu Ran enviou o artigo, a taxa de verificação de plágio que apareceu diante dela era de apenas 1%, mas o relatório de IA também era de “risco médio”.

Isso significa que ela deve reduzir a taxa de IA de “risco médio” para “risco baixo”.

Assim como Shu Ran, a tese de graduação do estudante universitário de Sichuan, Lin Tianle, também foi considerada escrita por IA. Dois meses antes da formatura deste ano, Lin Tianle recebeu repentinamente um aviso da escola pedindo para verificar a taxa de IA. Um dia antes do prazo para entrega do trabalho, ele soube que a escola exigia que os alunos usassem o sistema de detecção de papel VIP. O sistema mostrou que o AIGC pode ser usado para detectar o AIGC para identificar com rapidez e precisão o conteúdo gerado por IA em textos acadêmicos. , e pode identificar efetivamente se o texto é parcial ou Todos são gerados por modelos de IA, e os resultados da detecção não têm nada a ver com a qualidade do artigo. Eles apenas indicam a probabilidade de os fragmentos de conteúdo do artigo terem a possibilidade de IA. geração.

A Escola Lin Tianle exige que a taxa de IA seja inferior a 30%. Se você ultrapassar esse índice, não conseguirá passar na revisão cega de sua tese e não poderá se formar. Depois que ele carregou o artigo, o resultado foi de 37%. Lin Tianle disse que o conteúdo marcado como IA foi todo escrito por ele.

Antes disso, ele já havia verificado no CNKI e descobriu que a taxa de duplicação era de 0%, então estava relativamente confiante em seu artigo. No dia da entrega da primeira versão, o professor sugeriu que ele acrescentasse novo conteúdo, então ele continuou a revisar e finalizou à tarde. “Sinto que trabalhei muito e estava muito ocupado antes do prazo, mas a taxa de IA foi estimada em 37%. Estou com muita raiva.”


Lin Tianle reclamou dos resultados dos testes nas plataformas sociais.As fotos deste artigo são todas fornecidas pelos entrevistados.

Por já ter recomendado alunos de pós-graduação, Lin Tianle tinha requisitos mais elevados para sua tese. Todas as manhãs, às 9 horas da manhã, ele ia ao laboratório para marcar pontos e escrever trabalhos, e continuava a escrever até as oito ou nove horas da noite. Às vezes, ficava acordado até as onze ou duas horas. escrever. Durou um semestre e a tese teve quase 40 mil palavras.

Ele estava originalmente muito confiante, e seu colega sênior que estava estudando para um doutorado também o elogiou pelo rico conteúdo de seu artigo, pelos belos diagramas e pela taxa de verificação de plágio nunca excedeu 3%. ter sido escrito por IA, e o humor de Lin Tianle caiu no fundo.

Sua taxa de IA caiu?

Quando começou a revisar seu artigo, Shu Ran pensou sozinho nas revisões, de acordo com as instruções vermelhas e amarelas do software. Para aquelas frases semelhantes a outros conteúdos, “parece um pouco com IA”, elas foram alteradas palavra por palavra.

Ela se formou em economia e comércio internacional e sua tese envolveu explicações conceituais de muitos termos profissionais. Mas o que a preocupa é que essas explicações fixas provavelmente serão marcadas em vermelho pelo sistema de IA, e ela não poderá “criar um novo conceito”.

Seu método de modificação específico é substituir as palavras por sinônimos, ou ajustar a ordem das frases, ou usar algum vocabulário mais "avançado" para combater "as palavras e frases mecânicas e de baixo nível fornecidas pela IA". Mas ela não esperava que o resultado do novo teste fosse de “alto risco”.

O coração de Shu Ran estava completamente “partido”. Ela não conhecia os algoritmos e as regras. Ela só sabia que o software marcaria diferentes níveis de risco. Os marcados em vermelho eram riscos altos, os marcados em amarelo eram riscos médios e os marcados em verde eram riscos baixos. No primeiro resultado do teste, havia 35 parágrafos de “risco médio” em seu artigo, mas após a revisão, passaram a ter mais de 50 parágrafos.


Depois que Shu Ran revisou o artigo, ele se tornou “alto risco”.

Depois que o jornal foi considerado de “alto risco”, Shu Ran se acalmou por uma noite. No dia seguinte, ela começou a pesquisar online maneiras de reduzir o risco. No início, ela tentou várias ferramentas de IA que poderiam reduzir a taxa de IA, “mas não adiantaram”.

Depois disso, ela buscou alguma experiência compartilhando postagens de graduados universitários sobre redução das taxas de IA, dizendo que eles deveriam remover palavras como "primeiro", "segundo" e "e" do artigo, bem como alterar frases e ordem das palavras, etc. Ela revisou o artigo novamente usando esse método, e o artigo voltou ao “risco médio”.

Depois de um dia de mudanças, estou de volta ao ponto de partida. Shu Ran sentiu que esse método de modificação era muito lento, então continuou pesquisando online. Desta vez, ao refinar a experiência de outras pessoas na redução das taxas de IA, ela resumiu uma regra que aprendeu de cor, ou seja, “o complexo torna-se simples, retorne à verdade, o ativo torna-se passivo e o simples torna-se complexo”.

Faltavam apenas dois dias para a versão final do artigo ser submetida. Os papéis de Shu Ran e seus colegas de quarto foram todos considerados de “alto risco” ou “médio risco”. “Alguns deles usam IA para escrever para si próprios, alguns copiam artigos de outras pessoas e alguns deles escrevem eles próprios.” Shu Ran disse que os resultados dos testes foram semelhantes. A taxa de detecção de duplicação não foi muito alta, mas a taxa de IA foi muito alta.

Ficamos acordados até as três da manhã. Naquela noite, a coisa mais comum que se dizia um ao outro no dormitório era: “Sua taxa de IA caiu?”

Embora a escola oferecesse uma oportunidade de teste gratuita, Shu Ran queria usá-la na versão final porque, assim que o relatório do teste fosse publicado, o sistema o enviaria diretamente ao professor. Ela gastou mais de 200 yuans em quatro oportunidades de teste.

Ela sentiu que o papel era como um exame físico. “Tudo acabou dando errado”. O relatório era muito detalhado. “Podem até ser algumas palavras muito pesadas e ficariam marcadas em vermelho”.

Durante o processo de redução da taxa de IA, Shu Ran ficou pensando nas palavras do instrutor: Se ele não passar na tese, isso afetará sua formatura. Após a defesa, haverá inspeções aleatórias. Se você falhar nas inspeções aleatórias, as consequências serão graves.

Ao amanhecer, Shu Ran não conseguia se lembrar quantas vezes havia revisado o artigo inteiro. Verificando novamente, embora ainda houvesse vários parágrafos no relatório que mostravam “risco médio” e “risco baixo”, o resultado geral foi a palavra “risco zero” pela qual ela estava extremamente ansiosa.

Ela deu um suspiro de alívio e mal podia esperar para compartilhar seu método de redução da taxa de IA com seus colegas. Ela ficou acordada até tarde para ajudar sua colega de quarto a mudar seu trabalho para “baixo risco”. “Meu colega de quarto ficou muito feliz e disse que você é o deus do nosso dormitório.”

Mas Shu Ran sentiu que também mudou o papel de sua colega de quarto para torná-lo “ilegível”. Para reduzir a taxa de IA, ela, assim como outros alunos, não se importava mais com a suavidade e suavidade do conteúdo do trabalho. No entanto, no final ela passou com sucesso na defesa.

Assim como Shu Ran, Lin Tianle também pesquisou online várias maneiras de reduzir a taxa de IA. Um colega sugeriu que ele usasse software de IA para reduzir a taxa de IA, mas ele recusou. Reescrevi três vezes e finalmente apaguei de raiva.

Porém, o índice de IA apurado no jornal ainda era de 30,13%, e ele sentiu que talvez fosse necessário adiar a formatura. Ele se lembrou daquela noite, quase todos os alunos da turma, assim como ele, ficaram acordados a noite toda revisando seus trabalhos por causa da IA.

A princípio, a escola notificou que o manuscrito deveria ser enviado antes da meia-noite daquele dia. Devido à instabilidade do sistema de detecção de IA, muitos alunos não conseguiram enviar o manuscrito com sucesso, e a escola teve que adiar o prazo para 12h. próximo dia.

Mais tarde, Lin Tianle aprendeu a reduzir a taxa de IA usando menos conectivos, mais vírgulas nas frases e várias frases curtas compartilhando o mesmo assunto.

Para ser mais rápido e eficiente, Lin Tianle excluiu todas as partes marcadas em vermelho e as reescreveu diretamente. Depois de revisá-lo três vezes, ainda havia áreas marcadas em vermelho no papel. Ele continuou a reescrevê-lo e, no final, a taxa de IA caiu apenas menos de 7%.

O prazo está cada vez mais apertado e ele só pode continuar excluindo as milhares de palavras marcadas em vermelho. Ele sabe que isso terá um certo impacto no conteúdo da tese “A impressão não é tão boa quanto antes, mas não tem outro jeito. Pelo menos posso me formar com sucesso”.

“Exposição deliberada das deficiências humanas”

Quando uma colega de classe perguntou a Shu Ran como reduzir a taxa de IA, ela disse, meio brincando, que na verdade estava “expondo deliberadamente algumas pequenas deficiências dos seres humanos”, como não ser capaz de escrever bem.

A alegria de reduzir com sucesso a taxa de IA não durou alguns minutos e Shu Ran começou a se sentir desapontado. O artigo que ela escreveu de todo o coração e alma foi “consertado” e finalmente ficou “em pedaços” e não atingiu o objetivo que desejava.

Isso também a fez pensar, quando a IA se tornar cada vez mais inteligente, e as coisas que ela escreve forem "muito avançadas, muito profissionais e cada vez mais próximas dos seres humanos, e se usarmos sistemas de detecção de IA para nos permitir reduzir a IA taxa, isso não está apenas nos colocando em risco? "Você se tornou menos humano?" Shu Ran sentiu que isso era um paradoxo.


O artigo de Shu Ran foi marcado em amarelo pela AI antes de ser revisado.


O artigo de Shu Ran não estava mais marcado em amarelo após a revisão, mas as frases tornaram-se ilógicas.

Em relação ao comportamento equivocado, a dúvida comum entre os universitários entrevistados é: como é determinado o procedimento? “Muitas pessoas usam a IA para tornar a sua linguagem falada mais académica. Agora, para evitar a censura, estão deliberadamente a mudar a sua linguagem académica para ser mais coloquial”, disse Gu Siqi, um graduado sénior de uma universidade em Zhejiang.

Em dezembro do ano passado, Gu Siqi concluiu a proposta de relatório de sua tese de graduação. Em fevereiro deste ano, ela começou a escrever o primeiro rascunho. Demorou cerca de duas semanas para revisar as informações, conceber e escrever o manuscrito. Ela entregou o primeiro rascunho do trabalho à professora. Depois, você irá revisá-lo de acordo com as sugestões do professor, e será concluída uma dissertação de graduação.

A escola que Gu Siqi frequenta também tem novos regulamentos este ano. Diferente da finalização da versão em papel dos anos anteriores, os alunos precisam fazer o upload do trabalho através do sistema CNKI. Após a finalização do rascunho, só em maio a escola notificou os alunos de que iria verificar a taxa de IA. Gu Siqi pensou consigo mesma, já escrevi, não vou mudar mais. “O professor apenas disse que a taxa de IA para trabalhos excelentes deveria ser inferior a 10%, mas não disse quão baixa deveria ser a taxa de IA para trabalhos qualificados”, lembrou Gu Siqi.

Depois que o artigo foi carregado no sistema de detecção, Gu Siqi descobriu que um determinado parágrafo que ela escreveu, “uma conclusão muito lógica”, foi identificado como escrito pela IA. Embora não haja exigência de proporção específica, o professor disse para tentar reduzir a taxa de IA do papel. Antes da queda, a taxa de IA do papel de Gu Siqi era de 38%.

Então ela teve que remover palavras lógicas, enfraquecer a conexão entre as sentenças anteriores e seguintes, ou alterar a ordem dos parágrafos, ou comprimir vários parágrafos em um único parágrafo. Após a interrupção, “parecia mais que foi escrito por uma máquina”. No entanto, após meio dia de modificação, a taxa de IA do papel caiu.

Mas Gu Siqi sentiu que os “destaques” em seu artigo se tornaram “medíocres” no final. "Isso me deixou muito desconfortável quando li o jornal."

Depois de ouvir que a IA poderia ser usada para reduzir a taxa de IA, ela também tentou usar o ChatGPT e outros softwares. Naquela época, ela quis eliminar as palavras relacionadas, mas o resultado final foi “completamente irrelevante” para o que ela queria escrever.

Gu Siqi sente: “Há uma certa lacuna entre a lógica da IA ​​​​e a lógica humana. Ela terá algumas ideias humanas, mas não é tão suave quanto a nossa escrita humana e parece muito estranha. compreender algumas palavras-chave para identificar se o artigo foi escrito por IA. Portanto, usar IA para alterar a taxa de IA parece muito contraditório.

Após repetidas revisões, Lin Tianle reduziu seus “requisitos acadêmicos”. Mudar à força a lógica da escrita também o fez sentir-se “confuso”. “Os conectivos que uso desde criança para fazer o artigo fluir mais suavemente não podem mais ser usados. Parece que se tornaram exclusivos da IA.”

Embora a tese de Lin Tianle tenha sido finalmente avaliada como uma excelente tese de graduação, como ele desejava, ele ainda sentia uma sensação de injustiça que não tinha onde expressar. “Não usei IA para escrever. Devo admitir algo que não fiz por alguns dias?

Tecnologia de “sanções” tecnológicas

Antes e depois de um artigo ser produzido e enviado, a IA é usada como uma ferramenta auxiliar, depois como um sistema para detectar escrita fantasma de IA e, em seguida, como uma ferramenta para reduzir a taxa de IA. “A IA domina tudo”, disse Lin Tianle.

A especialidade de Lin Tianle é automação. Às vezes, ele usa IA para perguntar sobre o significado de um determinado código. “A IA dará respostas mais pacientes e detalhadas do que os humanos”. Ele reconheceu a IA como uma ferramenta prática. Mas para a taxa de verificação de documentos por meio de IA, ele acha que os padrões de detecção e a precisão não são convincentes.

Lin Tianle certa vez contou ao seu orientador de tese sobre sua confusão. O professor sente que o sistema de detecção não é realmente muito inteligente no momento, mas a escola tem regulamentos relevantes. Não há outra maneira senão encorajá-lo a revisar mais rapidamente.

A escola onde Lin Tianle frequenta está conduzindo uma tese de graduação em detecção de IA pela primeira vez este ano. Embora o sistema ainda esteja em beta público, ele já foi utilizado. “Não foi dito antes que a Lei do Grau detectaria IA, mas no final a lei excluiu o artigo sobre IA. Porque só pode ser julgado com base em palavras simples e é suspeito.”

Ele estava se referindo à "Lei de Graduação da República Popular da China (Projeto)", que será revisada em agosto de 2023. O projeto esclarece que existe má conduta acadêmica, como plágio, plágio, falsificação, falsificação de dados, escrita fantasma de inteligência artificial, etc. nas dissertações ou resultados práticos, a unidade conferente de grau revogará o certificado de grau após deliberação e decisão da Comissão de Avaliação de Graus.

No entanto, na Lei de Graduação que foi finalmente promulgada em abril deste ano, a escrita fantasma de inteligência artificial não foi incluída na consideração de má conduta acadêmica. "No entanto, algumas escolas já começaram a realizar testes de IA", disse um professor de uma universidade em Chongqing. A introdução do "sistema de serviço de testes AIGC (inteligência artificial generativa)" pelas universidades se deve principalmente a considerações de integridade acadêmica para garantir o desempenho. originalidade dos artigos e use isso para resistir ao comportamento da escrita fantasma de inteligência artificial.

Avisos de algumas escolas mostram que as ferramentas de inteligência artificial só podem ser usadas para trabalhos auxiliares, como recuperação de literatura e processamento de dados, e são estritamente proibidas de serem usadas diretamente na redação de teses. No entanto, escolas diferentes têm requisitos diferentes quanto à proporção de conteúdo gerado por inteligência artificial.

No processo de redução desesperada da taxa de IA, Gu Siqi teve a mesma confusão: “Os julgamentos da IA ​​são precisos e confiáveis?”

Ela ouviu alguns alunos dizerem que as palavras que agradeceram a um determinado professor em seus agradecimentos foram marcadas como escrita de IA. Ela não sabia o motivo pelo qual seu artigo foi considerado escrito por uma IA e não tinha como corrigi-lo. Após a mudança inicial, verifiquei e descobri que havia caído apenas 1%.

Havia alguns parágrafos no final que ela realmente não sabia como modificar e não conseguia excluir. Então ela usou um método de redução de peso, primeiro traduzindo para o inglês e depois de volta para o chinês, e a taxa de IA finalmente caiu para os 15% exigidos pela escola. Para reduzir a taxa de IA, alguns colegas ao seu redor primeiro traduziram o chinês para o estoniano e depois para o chinês.

Havia um colega no grupo de Gu Siqi cuja introdução e agradecimentos do artigo foram todos escritos pela IA. Depois de enviá-lo diretamente ao professor, o professor “repreendeu severamente” o aluno: “Tal comportamento deve ser má conduta acadêmica. maior do que a participação da inteligência artificial, a IA é apenas uma ferramenta.”

Depois que a escola pediu para começar a verificar a taxa de IA, Gu Siqi se comunicou com seu instrutor. Seu tutor geralmente gosta de usar IA para auxiliar no ensino e não restringe o uso de IA pelos alunos. O instrutor acredita que o uso da IA ​​pode ajudar os alunos a expandir seu pensamento "Por exemplo, a IA dá três ideias. Se você puder expandir além das ideias da IA ​​para quatro ou cinco, você terá a iniciativa de interagir com a IA."

No futuro, Gu Siqi planeja estudar para a pós-graduação. Ela acredita que todos os trabalhos futuros podem ser testados por IA. O teste é necessário, “porque de fato há muitas pessoas que usam IA diretamente para escrever por si mesmas”. No entanto, o conteúdo que ela mesma escreveu também foi considerado escrita fantasma de IA, indicando que o sistema ainda não está perfeito.

Em junho, Shu Ran foi aprovada na defesa de tese e recebeu seu diploma com sucesso. A tese de graduação está em seu computador. Ocasionalmente, ela se lembrava do “processo doloroso” de redução da taxa de IA de sua tese, como se tivesse acabado de concluir uma tarefa “atordoada”.

Ela ainda não sabe nada sobre o sistema que a determinou como ghostwriter.

(Para proteger a privacidade dos entrevistados, os nomes dos personagens deste artigo são pseudônimos)