notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Daintelligenza artificiale generativa Da quando l’epidemia ha colpito il mondo, molti creatori di contenuti hanno affermato che i loro lavori vengono utilizzati per addestrare modelli di intelligenza artificiale senza autorizzazione. Ma finora è stato difficile determinare se il lavoro che dicono sia stato effettivamente utilizzato in determinati set di dati di addestramento.

Ora, i ricercatori hanno sviluppato un nuovo modo per dimostrarlo. Recentemente, un team di ricercatori dell'Imperial College di Londra ha sviluppato le "trappole del copyright", un tipo di testo nascosto che consente a scrittori ed editori di contrassegnare in modo subdolo i loro lavori per scoprire in seguito se sono protetti da copyright. Utilizzati per addestrare modelli di intelligenza artificiale. L’idea è simile alle tattiche precedentemente utilizzate dai detentori del copyright, come l’aggiunta di posizioni false alle mappe o parole false ai dizionari.

Queste insidie ​​del copyright sull’IA hanno scatenato uno dei più grandi dibattiti nel campo dell’IA. Molti editori e autori stanno combattendo azioni legali contro aziende tecnologiche, sostenendo che la loro proprietà intellettuale è inclusa nei set di dati di addestramento sull’intelligenza artificiale senza autorizzazione.Ad esempio, il New York TimesIA aperta La causa può essere il caso più tipico.

Finora, il codice per generare e rilevare le trappole è stato lanciato su GitHub. Successivamente, il team prevede di sviluppare uno strumento per consentire agli utenti di generare e inserire da soli trappole sul copyright.

Yves-Alexandre de Montjoye, professore di matematica applicata e informatica all'Imperial College di Londra, che ha guidato la ricerca, ha dichiarato all'International Machine Learning Conference, una conferenza importante sull'intelligenza artificiale che si terrà questa settimana a Vienna: "Al momento non c'è consenso su cosa utilizzare per addestrare l’intelligenza artificiale. C’è una totale mancanza di trasparenza quando si tratta di modelli intelligenti, che a nostro avviso impedisce alle aziende di intelligenza artificiale e ai creatori di contenuti di trovare il giusto equilibrio”.

Per creare la trappola, lui e il suo team hanno utilizzato un generatore di parole per creare migliaia di frasi sintetiche. Le frasi sono lunghe e fondamentalmente incomprensibili, come: "Quando arrivano tempi turbolenti... Cosa c'è in vendita e, cosa più importante, quando è meglio, questo elenco ti dice chi apre giovedì sera con i normali orari di vendita e altri orari di apertura" per te. "

Yves-Alexandre de Montjoye ha spiegato: "Abbiamo generato 100 frasi trappola e poi abbiamo selezionato casualmente una frase per inserirla nel testo più volte. Allo stesso tempo, la trappola può anche essere inserita nel testo in vari modi." ad esempio, in Utilizza testo bianco su sfondo bianco o incorporalo nel codice sorgente dell'articolo. Questa frase deve essere ripetuta da 100 a 1000 volte nel testo.

Per individuare queste insidie, hanno inserito 100 frasi sintetiche generate in un modello linguistico di grandi dimensioni e hanno visto se il modello le etichettava come nuove frasi. Se il modello ha visto frasi trappola nei suoi dati di addestramento, mostra un "punteggio di perplessità" più basso ma se il modello è "sorpreso" dalle frasi, significa che le ha incontrate per la prima volta e quindi queste frasi non lo sono; trappole.

In passato, i ricercatori hanno suggerito di utilizzare modelli linguistici per memorizzare i dati di addestramento per determinare se nei dati è presente qualcosa. Questa tecnica, nota come "attacchi di inferenza di appartenenza", funziona meglio nei modelli avanzati di grandi dimensioni, poiché questi modelli tendono a ricordare grandi quantità di dati durante l'addestramento.

"Al contrario, i modelli più piccoli che sono sempre più popolari e possono essere eseguiti su dispositivi mobili sono meno suscettibili agli attacchi di inferenza di appartenenza a causa delle minori quantità di dati di memoria. Ciò rende più facile determinare se prendono di mira uno specifico soggetto protetto da copyright. Diventa più difficile da addestrare sul testo”, ha affermato Gautam Kamath, assistente professore di informatica presso l’Università di Waterloo. Non è stato coinvolto nello studio.

Trappola del copyright, come modo per condurre attacchi di inferenza sull'appartenenza, anche su modelli più piccoli. Il team di Yves-Alexandre de Montjoye ha inserito la sua trappola nel set di dati di addestramento di CroissantLLM. CroissantLLM è un modello linguistico bilingue francese-inglese di nuova concezione formato da un gruppo di ricerca dell'Imperial College di Londra in collaborazione con partner dell'industria e del mondo accademico. CroissantLLM ha 1,3 miliardi di parametri, una frazione dei modelli all'avanguardia (ad esempio, GPT-4 avrebbe 1,76 trilioni di parametri).

"La ricerca mostra che tali trappole possono effettivamente essere introdotte nei dati di testo, migliorando significativamente l'efficacia degli attacchi di inferenza sull'appartenenza, anche per modelli più piccoli", ha detto Gautam Kamath, ma ha aggiunto che c'è ancora molto lavoro da fare .

“Ripetere una frase di 75 caratteri 1.000 volte in un testo ha un grande impatto sul testo originale. Ciò potrebbe consentire a un formatore che addestra un modello di intelligenza artificiale di individuare una trappola e saltare il contenuto che la contiene, o semplicemente di eliminarla e ignorare il resto. il testo. Ciò rende anche il testo originale difficile da leggere", ha sottolineato Gautam Kamath.

"Ciò rende le trappole del copyright poco pratiche al momento. Molte aziende faranno la deduplicazione, in altre parole, puliranno i dati, e queste trappole del copyright potrebbero essere eliminate. Il professore di informatica della UC Irvine e la startup Sameer Singh, co- ha detto il fondatore di Spiffy AI. Anche lui non è stato coinvolto nello studio.

Dal punto di vista di Gautam Kamath, un altro modo per migliorare le trappole del copyright è trovare altri modi per contrassegnare i contenuti protetti da copyright in modo che gli attacchi di inferenza di appartenenza funzionino meglio contro di essi o per migliorare gli stessi attacchi di inferenza di appartenenza.

Yves-Alexandre de Montjoye riconosce che queste trappole non sono infallibili. "Un aggressore motivato potrebbe rimuovere la trappola se sapesse che esiste", ha detto.

"Ma se riusciranno a rimuoverli tutti è un'incognita, e potrebbe essere un po' un gioco del tipo 'gatto e topo'," ha detto "Anche così, più trappole si piazzano, meglio è senza dedicare molte risorse ingegneristiche ." Diventa più difficile rimuovere tutte le trappole."

"È importante ricordare che le trappole del copyright possono essere una misura tampone o semplicemente un inconveniente per i formatori modello. È impossibile per chiunque pubblicare un contenuto contenente una trappola e garantire che sarà sempre una trappola valida", ha affermato Gautam Kamath.

Collegamento originale:

https://www.technologyreview.com/2024/07/25/1095347/a-new-tool-for-copyright-holders-can-show-if-their-work-is-in-ai-training-data/