notizia

I ChatGPT stanno inquinando il circolo accademico

2024-08-01

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina


cose intelligenti
Compilato da Chen Junda
Modifica Panken

Secondo un rapporto pubblicato ieri dalla prestigiosa rivista accademica Nature, l’uso dell’intelligenza artificiale generativa nella scrittura accademica ha registrato una crescita esplosiva. Ricerche pertinenti mostrano che il 10% degli abstract di articoli su PubMed, il più grande database in campo biomedico, sono sospettati di scrittura basata sull’intelligenza artificiale, il che equivale al coinvolgimento dell’intelligenza artificiale in 150.000 articoli ogni anno.

Una ricerca dell’Università di Scienze Applicate di Berlino in Germania mostra che la precisione media dei principali strumenti di rilevamento AIGC è solo del 50% ed è facile determinare che il contenuto della scrittura umana è generato dall’intelligenza artificiale. Tuttavia, molti documenti generati dall’intelligenza artificiale possono essere facilmente nascosti tramite parafrasi, sostituzione di sinonimi, ecc. Inoltre, l’uso di strumenti di intelligenza artificiale da parte di madrelingua inglesi è più difficile da rilevare.

Sebbene gli strumenti di intelligenza artificiale siano stati ampiamente utilizzati in passato nel mondo accademico, l’uso dell’intelligenza artificiale generativa per produrre direttamente documenti o scrivere in ghostwriting è ancora controverso. Gli strumenti di intelligenza artificiale facilitano il plagio e possono portare all'uso improprio di contenuti protetti da copyright.

La scrittura assistita dall’intelligenza artificiale non è priva di meriti. Molti studiosi utilizzano la scrittura generativa assistita dall’intelligenza artificiale per evitare il problema di pubblicare articoli in lingue sconosciute e possono concentrarsi sulla ricerca scientifica stessa. Molte riviste consentono l’uso di strumenti di intelligenza artificiale generativa, ma richiedono agli autori di divulgarne l’utilizzo in dettaglio nei loro articoli.

1. L’intelligenza artificiale potrebbe essere coinvolta nella stesura di 150.000 abstract, e i non madrelingua inglesi hanno maggiori probabilità di essere scoperti

Dal rilascio di ChatGPT alla fine del 2022, l’uso dell’intelligenza artificiale nella scrittura accademica è esploso. Una ricerca dell’Università di Tubinga in Germania mostra che nella prima metà del 2024 almeno il 10% degli abstract negli articoli biomedici sarà scritto utilizzando l’intelligenza artificiale, il che equivale a circa 150.000 articoli all’anno su base annua.

Questo gruppo di ricerca ha analizzato gli abstract di 14 milioni di articoli nel database biomedico PubMed dal 2010 al 2024. Hanno scoperto che dopo l’emergere degli strumenti di intelligenza artificiale generativa rappresentati da ChatGPT, l’uso di specifiche parole stilistiche di modifica è aumentato in modo anomalo. Il team di ricerca ha utilizzato la frequenza di queste parole per stimare la percentuale di abstract scritti utilizzando l’intelligenza artificiale.

I ricercatori hanno anche scoperto che l’uso degli strumenti di scrittura basati sull’intelligenza artificiale variava anche da paese a paese. I loro dati mostrano che i documenti provenienti da paesi come la Cina e la Corea del Sud utilizzano strumenti di scrittura basati sull’intelligenza artificiale più frequentemente rispetto ai documenti dei paesi di lingua inglese.


▲L'uso del vocabolario stilistico nella scrittura accademica è aumentato (Fonte: "Natura")

Secondo l’analisi del gruppo di ricerca, la frequenza di utilizzo dell’intelligenza artificiale da parte degli autori nei paesi di lingua inglese potrebbe essere simile a quella di altri paesi, ma il modo in cui la utilizzano potrebbe essere più difficile da individuare.

In effetti, prima che emergesse questa ondata di IA generativa, l’IA era già stata utilizzata in campi come la scoperta di farmaci e la previsione della struttura delle proteine. Questi usi non hanno causato troppe controversie. La ragione di ciò potrebbe essere che in tali applicazioni l’IA gioca chiaramente un ruolo. È ancora un ruolo di supporto.

L’applicazione dell’intelligenza artificiale generativa nella scrittura accademica comporta due problemi principali. Da un lato, il plagio è facilitato dall’intelligenza artificiale generativa. I plagiatori possono utilizzare l'intelligenza artificiale generativa per parafrasare la ricerca di altre persone nello stile delle riviste accademiche. Il testo parafrasato è generalmente meno simile al testo originale, quindi è difficile essere giudicato come plagio.

Inoltre, il modello di intelligenza artificiale consuma una grande quantità di contenuti protetti da copyright durante il processo di formazione ed è molto probabile che il modello restituisca contenuti protetti da copyright all'utente senza alcuna richiesta. Il New York Times una volta scoprì che il chatbot AI di OpenAI ChatGPT aveva prodotto direttamente le parole originali del rapporto del New York Times senza menzionarne la fonte. Hanno anche citato in giudizio OpenAI per violazione.

2. Gli strumenti di rilevamento falliscono nel gioco del gatto col topo Possono essere facilmente aggirati e facilmente mal giudicati.

In risposta al crescente utilizzo degli strumenti di intelligenza artificiale, molte aziende hanno lanciato strumenti di rilevamento dei contenuti AIGC, ma questi strumenti hanno fallito nel “gioco del gatto e del topo” con l’intelligenza artificiale generativa.

Alla fine dello scorso anno, diversi studiosi dell’Università di Scienze Applicate di Berlino in Germania hanno pubblicato uno studio in cui hanno scoperto che solo 5 dei 14 strumenti di rilevamento dell’intelligenza artificiale comunemente utilizzati nel mondo accademico raggiungevano un tasso di precisione superiore al 70%. La precisione media del riconoscimento è solo del 50%-60%.


▲I principali strumenti di rilevamento AIGC presenti sul mercato hanno prestazioni scadenti (Fonte: Weber‑Wulf et al.)

Questi strumenti di rilevamento AIGC funzionano ancora peggio di fronte a contenuti generati dall’intelligenza artificiale, modificati da esseri umani e trascritti da macchine. Con solo semplici operazioni come la sostituzione dei sinonimi e la regolazione dell'ordine delle parole, la precisione dello strumento di rilevamento AIGC sarà ridotta a meno del 50%. Gli studi hanno dimostrato che la precisione del riconoscimento completo degli strumenti di rilevamento AIGC è solo del 50%.


▲05 e 06 nella figura sono rispettivamente il testo dopo la modifica umana e la parafrasi automatica generata dall'intelligenza artificiale. Lo strumento di rilevamento AIGC ha prestazioni molto scarse su questi due tipi di testo (Fonte: Weber‑Wulf et al.)

I dati mostrano che gli strumenti di riconoscimento AIGC sul mercato hanno un’elevata precisione nell’identificazione di documenti scritti da persone. Tuttavia, se l’autore prima scrive un articolo originale in una lingua che gli è familiare e poi chiede al software di traduzione di tradurlo in un’altra lingua, lo strumento di identificazione potrebbe erroneamente valutarlo come AIGC. Ciò può avere un impatto estremamente negativo sulla reputazione accademica di accademici e studenti.

3. I confini tra scrittura assistita e cattiva condotta accademica sono sfumati e anche gli strumenti di scrittura basati sull’intelligenza artificiale hanno il loro valore.

Tuttavia, l’uso di strumenti di intelligenza artificiale generativa è vantaggioso per alcuni ricercatori. Hend Al-Khalifa, ricercatore di informatica presso la King Saud University di Riyadh, ha condiviso che prima dell’avvento degli strumenti di intelligenza artificiale generativa, molti colleghi che non conoscevano bene l’inglese incontravano grandi difficoltà quando scrivevano articoli, e ora questi studiosi possono concentrarsi sulla ricerca stessa senza dedicare troppo tempo alla scrittura.

Il confine tra scrittura assistita dall’intelligenza artificiale e cattiva condotta accademica è difficile da tracciare. Soheil Feizi, informatico dell’Università del Maryland, ritiene che l’uso dell’intelligenza artificiale generativa per parafrasare il contenuto di un articolo esistente sia chiaramente un plagio.

Ma l’uso degli strumenti di intelligenza artificiale per facilitare l’espressione delle opinioni non dovrebbe essere punito. Con la premessa di divulgare in modo proattivo l’uso degli strumenti di intelligenza artificiale, i ricercatori possono utilizzare parole dettagliate per generare testo o utilizzare strumenti di intelligenza artificiale per modificare le bozze.

Molte riviste hanno anche standardizzato l’uso degli strumenti di intelligenza artificiale nella scrittura accademica, senza vietarlo direttamente. L'importante rivista accademica "Science" stabilisce che l'intelligenza artificiale non può essere elencata come coautore e che l'autore dovrebbe rivelare il sistema di intelligenza artificiale e le parole tempestive utilizzate ed essere responsabile dell'accuratezza del contenuto e dell'eventuale sospetto di plagio.


▲Normative pertinenti sull'uso dell'intelligenza artificiale nella rivista accademica "Science" (Fonte: sito web ufficiale della rivista accademica "Science")

La rivista accademica Nature stabilisce che i ricercatori dovrebbero registrare l'uso di strumenti di intelligenza artificiale generativa nella sezione "Metodi di ricerca". Le statistiche mostrano che a partire dall’ottobre 2023, 87 delle 100 riviste più importanti hanno sviluppato linee guida per l’utilizzo di strumenti di intelligenza artificiale generativa.

Conclusione: gli strumenti di intelligenza artificiale non sono una piaga e solo cambiando l’orientamento accademico è possibile risolverne la causa principale.

Nella scorsa stagione di laurea, anche molte università nazionali hanno introdotto strumenti di test AIGC nel processo di difesa e revisione della tesi di laurea. Tuttavia, l’introduzione di questo indicatore non ha frenato in modo efficace la cattiva condotta accademica relativa agli strumenti di intelligenza artificiale. Esistono anche vari servizi sul mercato specializzati nella riduzione del tasso di intelligenza artificiale. Dopo essere stati erroneamente giudicati generati dall'intelligenza artificiale, i documenti di molti studenti sono stati modificati in modo irriconoscibile a causa della riduzione del tasso di intelligenza artificiale.

L’adozione di un approccio contraddittorio agli strumenti di intelligenza artificiale generativa nella ricerca accademica potrebbe non essere in grado di risolvere questo problema. Anche gli studiosi dell’Università di Scienze Applicate di Berlino in Germania hanno sottolineato, nel riassumere la ricerca, che il problema dell’abuso dell’intelligenza artificiale nella scrittura accademica è difficile da risolvere con il solo rilevamento dell’AIGC. La chiave per adattare l’atmosfera accademica è orientata alla carta e ai risultati risolvendo questo problema.

Fonte: "Natura"