Le mie informazioni di contatto
Posta[email protected]
2024-08-15
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Rapporto sul cuore della macchina
Dipartimento editoriale di Machine Heart
I contributori hanno guadagnato molto da questa conferenza ACL.
L'ACL 2024 della durata di sei giorni si terrà a Bangkok, in Tailandia.
ACL è la principale conferenza internazionale nel campo della linguistica computazionale e dell'elaborazione del linguaggio naturale. È organizzata dall'Associazione internazionale per la linguistica computazionale e si tiene ogni anno. ACL è sempre stata al primo posto in termini di influenza accademica nel campo della PNL ed è anche una conferenza consigliata da CCF-A.
La conferenza ACL di quest'anno è la 62esima e ha ricevuto più di 400 lavori all'avanguardia nel campo della PNL. Ieri pomeriggio la conferenza ha annunciato il miglior articolo e altri premi. Questa volta sono stati assegnati 7 Best Paper Awards (due inediti), 1 Best Theme Paper Award e 35 Outstanding Paper Awards.
La conferenza ha inoltre assegnato 3 Resource Awards, 3 Social Impact Awards e 2 Time Test Awards.
Inoltre, il premio alla carriera in questa conferenza è stato assegnato a Ralph Grishman, professore presso il Dipartimento di Informatica della New York University.
Di seguito sono riportate informazioni specifiche sul premio.
carta migliore
Documento 1: Missione: modelli linguistici impossibili
Introduzione all'articolo: Chomsky e altri ritengono che la capacità di apprendimento dei modelli linguistici di grandi dimensioni (LLM) sia la stessa per le lingue che possono o meno essere apprese dagli esseri umani. Tuttavia, ci sono poche prove sperimentali pubblicate a sostegno di questa affermazione.
Lo studio ha sviluppato una serie di linguaggi sintetici di varia complessità, ciascuno progettato alterando sistematicamente i dati inglesi utilizzando un ordine delle parole e regole grammaticali innaturali, con l’obiettivo di sintetizzare lingue che sarebbero impossibili da imparare per gli esseri umani.
Lo studio ha condotto estesi esperimenti di valutazione per valutare la capacità del piccolo modello GPT-2 di apprendere queste "lingue impossibili" e ha condotto queste valutazioni in diverse fasi durante la formazione per confrontare il processo di apprendimento per ciascuna lingua. La scoperta principale dello studio è che GPT-2 è difficile da imparare, "lingue impossibili" rispetto all'inglese, sfidando le affermazioni di Chomsky e altri.
Ancora più importante, lo studio spera che il suo approccio apra una fruttuosa linea di indagine, consentendo di testare diverse architetture LLM su una varietà di "linguaggi impossibili" per comprendere come LLM possa essere utilizzato come strumento di indagine cognitiva e tipologica.
Documento 2: Perché le funzioni sensibili sono difficili per i trasformatori?
Riassunto: Studi sperimentali hanno identificato una serie di bias di apprendibilità e limitazioni dei trasformatori, come la persistente difficoltà nell’imparare a calcolare linguaggi formali semplici come PARITY, e una propensione verso funzioni di basso grado. Tuttavia, la comprensione teorica rimane limitata e le teorie esistenti sulla rappresentazione sovrastimano o sottostimano le capacità di apprendimento realistiche.
Questo studio dimostra che nell'architettura del trasformatore, il panorama delle perdite è limitato dalla sensibilità dello spazio di ingresso: i trasformatori le cui uscite sono sensibili a molte parti della stringa di ingresso sono posizionati in punti isolati nello spazio dei parametri, con conseguente distorsione a bassa sensibilità in generalizzazione.
Questo studio mostra teoricamente e sperimentalmente che la teoria unifica ampie osservazioni sperimentali sulle capacità e sui bias di apprendimento dei trasformatori, come il loro bias di generalizzazione a bassa sensibilità e grado e la difficoltà di generalizzazione della lunghezza di parità. Ciò suggerisce che per comprendere i pregiudizi induttivi di un trasformatore è necessario studiare non solo la sua espressività di principio, ma anche il panorama della sua funzione di perdita.
Articolo 3: Decifrare il linguaggio osseo di Oracle con modelli di diffusione
Introduzione all'articolo: Oracle Bone Script (OBS) ha avuto origine durante la dinastia Shang in Cina circa 3.000 anni fa. È la pietra angolare della storia del linguaggio e precede molti sistemi di scrittura consolidati. Sebbene siano state scoperte migliaia di iscrizioni, un gran numero di ossa oracolari rimangono indecifrate, avvolgendo questa antica lingua con un velo di mistero. L’emergere della moderna tecnologia AI ha aperto nuovi campi per la decifrazione Oracle, ponendo sfide ai tradizionali metodi di PNL che fanno molto affidamento su grandi corpora di testo.
Questo articolo introduce un nuovo metodo che utilizza la tecnologia di generazione di immagini per sviluppare un modello di diffusione ottimizzato per la decifrazione Oracle, Oracle Bone Script Decipher (OBSD). Utilizzando la strategia di diffusione condizionale, OBSD ha generato importanti indizi per la decifrazione di Oracle e ha aperto una nuova direzione per l’analisi assistita dall’intelligenza artificiale delle lingue antiche. Per verificarne l'efficacia, i ricercatori hanno condotto esperimenti approfonditi sul set di dati Oracle e i risultati quantitativi hanno dimostrato l'efficacia dell'OBSD.
Documento 4: Stima causale dei profili di memorizzazione
Introduzione all'articolo: Comprendere la memoria nei modelli linguistici ha implicazioni pratiche e sociali, come lo studio delle dinamiche di formazione dei modelli o la prevenzione della violazione del copyright. Ricerche precedenti definiscono la memoria come la relazione causale tra "l'addestramento utilizzando un'istanza" e "la capacità del modello di prevedere quell'istanza". Questa definizione si basa su un controfattuale: la capacità di osservare cosa sarebbe successo se il modello non avesse visto l'istanza. I metodi esistenti faticano a fornire stime computazionalmente efficienti e accurate di tali controfattuali. Inoltre, questi metodi in genere stimano la memoria dell'architettura del modello piuttosto che la memoria di istanze specifiche del modello.
Questo articolo colma un’importante lacuna proponendo un approccio nuovo, efficace e basato su principi per la stima della memoria basato su un disegno econometrico della differenza nella differenza. Con questo metodo, i ricercatori osservano il comportamento del modello solo su un numero limitato di istanze durante l'intero processo di addestramento per descrivere il profilo di memoria del modello, cioè l'andamento della sua memoria durante il processo di addestramento. Negli esperimenti che utilizzano la suite di modelli Pythia, hanno scoperto che la memoria (i) è più forte e più persistente nei modelli più grandi, (ii) è determinata dall'ordine dei dati e dalla velocità di apprendimento e (iii) è stabile tra le diverse dimensioni dei modelli i ricordi nel modello più grande possono essere previsti dal modello più piccolo.
Paper 5: Modello Aya: un modello linguistico multilingue ad accesso aperto ottimizzato per le istruzioni
Introduzione all'articolo: le recenti scoperte nei modelli linguistici di grandi dimensioni (LLM) si sono concentrate su un numero limitato di lingue ricche di dati. Come si possono ampliare le possibilità di innovazione oltre gli altri linguaggi? La ricerca introduce Aya, un modello linguistico generativo multilingue su larga scala che segue le istruzioni per 101 lingue, oltre il 50% delle quali sono considerate a scarse risorse. Aya supera mT0 e BLOOMZ nella maggior parte dei compiti e copre il doppio delle lingue.
Inoltre, la ricerca introduce una vasta gamma di nuove valutazioni, estendendo lo stato dell’arte della valutazione multilingue a 99 lingue. Infine, lo studio fornisce un'indagine dettagliata sulla composizione ottimale della miscela, sulla potatura dei dati, sulla tossicità, sui bias e sulla sicurezza del modello.
Articolo 6: Ricostruzione del proto-linguaggio neurale semisupervisionato
Motivo del premio: questa ricerca innovativa mira a semi-automatizzare il compito di ricostruzione del linguaggio prototipale nella linguistica storica, proponendo una nuova architettura semi-supervisionata. Questo metodo supera i precedenti metodi supervisionati introducendo un processo di riflessione "linguaggio nativo-prototipo" nella ricostruzione "linguaggio nativo-prototipo". Questo articolo è un buon esempio di come i moderni modelli computazionali, come i codificatori e decodificatori neurali, possono contribuire alla linguistica.
Documento 7: Soddisfabilità del linguaggio naturale: esplorare la distribuzione dei problemi e valutare i modelli linguistici basati sui trasformatori (non pubblicato)
Motivo del premio: questo articolo descrive chiaramente un set di dati di valutazione sintetica per l'inferenza logica. Questo è un buon complemento a set di dati di inferenza di grandi dimensioni in cui non è chiaro quali abilità vengono misurate. In teoria, ci sono effettivamente ragioni per aspettarsi che alcuni sottoinsiemi siano più difficili di altri, e queste aspettative sono confermate nel documento. All'interno di ciascuna categoria, gli autori prestano particolare attenzione al campionamento dei casi veramente impegnativi.
Premio testato nel tempo
L'ACL Time Test Award premia i documenti onorari che hanno avuto un impatto a lungo termine nei campi dell'elaborazione del linguaggio naturale e della linguistica computazionale. È diviso in due premi: 10 anni fa (2014) e 25 anni fa (1999 A massimo). vengono assegnati due documenti all'anno.
Paper 1: GloVe: vettori globali per la rappresentazione delle parole
Introduzione: i metodi per l'apprendimento delle rappresentazioni delle parole nello spazio vettoriale hanno avuto successo nel catturare regole semantiche e sintattiche a grana fine utilizzando l'aritmetica vettoriale, ma le regole sintattiche rimangono opache. Questo studio analizza e chiarisce quali proprietà deve avere il modello affinché le regole sintattiche appaiano nei vettori di parole.
Questo studio propone un nuovo modello di regressione lineare logaritmica globale - GloVe, progettato per apprendere rappresentazioni vettoriali di parole. Questo modello combina i vantaggi della fattorizzazione della matrice globale e dei metodi della finestra di contesto locale.
GloVe ha ottenuto la migliore prestazione del 75% nel compito di analogia di parole e ha sovraperformato i modelli correlati nel compito di somiglianza delle parole e nel riconoscimento delle entità denominate.
Motivo del premio: i word embedding sono stati la pietra angolare dei metodi di deep learning per l’elaborazione del linguaggio naturale (NLP) dal 2013 al 2018 e continuano ad esercitare un’influenza significativa. Non solo migliorano le prestazioni dei compiti di PNL, ma hanno anche un impatto significativo sulla semantica computazionale, come la somiglianza e l’analogia delle parole. I due metodi di incorporamento delle parole più influenti sono probabilmente skip-gram/CBOW e GloVe. Rispetto a skip-gram, GloVe è stato proposto successivamente. Il suo vantaggio relativo risiede nella sua semplicità concettuale, ottimizzando la somiglianza dello spazio vettoriale direttamente in base alle caratteristiche di distribuzione tra le parole, piuttosto che indirettamente come un insieme di parametri da una prospettiva di modellazione del linguaggio semplificata.
Documento 2: Misure di somiglianza distribuzionale
Introduzione all'articolo: l'autore studia le misure di similarità della distribuzione con l'obiettivo di migliorare le stime di probabilità di eventi di co-occorrenza invisibili. Il loro contributo è triplice: un confronto empirico di un'ampia gamma di misure; una classificazione delle funzioni di somiglianza basata sulle informazioni che contengono e l'introduzione di una nuova funzione che è superiore nella valutazione delle distribuzioni degli agenti sottostanti;
Premio alla carriera
Il premio alla carriera di ACL è stato consegnato a Ralph Grishman. Ralph Grishman è professore presso il Dipartimento di Informatica della New York University, specializzato nella ricerca nel campo dell'elaborazione del linguaggio naturale (PNL). È il fondatore del progetto Proteus, che ha dato un contributo significativo all'estrazione delle informazioni (IE) e ha promosso lo sviluppo del campo.
Ha anche sviluppato Java Extraction Toolkit (JET), uno strumento di estrazione di informazioni ampiamente utilizzato che fornisce più componenti di analisi del linguaggio come segmentazione delle frasi, annotazione di entità denominate, annotazione e normalizzazione di espressioni temporali, tagging di parti del discorso, parsing di parti e co- analisi. Si riferisce all'analisi. Questi componenti possono essere combinati in pipeline secondo diverse applicazioni, che possono essere utilizzate per l'analisi interattiva di singole frasi o per l'analisi batch di interi documenti. Inoltre, JET fornisce strumenti semplici per l'annotazione e la visualizzazione dei documenti e include un processo completo per estrarre entità, relazioni ed eventi in conformità con la specifica ACE (Automatic Content Extraction).
Il lavoro del professor Grishman copre molteplici questioni fondamentali della PNL e ha avuto un profondo impatto sulla moderna tecnologia di elaborazione del linguaggio.
35 documenti eccezionali
Premio per il miglior articolo a tema
Tesi: OLMo: Accelerare la scienza dei modelli linguistici
Citazione: Questo lavoro è un passo importante verso la trasparenza e la riproducibilità nella formazione di grandi modelli linguistici, un passo avanti negli sforzi della comunità per fare progressi (o almeno per consentire ad altri ricercatori che non siano giganti del settore di contribuire).
Premio carta risorsa
3 articoli hanno vinto il Resource Paper Award.
Articolo 1: Latxa: un modello linguistico aperto e una suite di valutazione per il basco
Istituzione: Università dei Paesi Baschi, Spagna
Motivi del premio: questo articolo descrive in dettaglio i dettagli della raccolta del corpus e della valutazione del set di dati. Sebbene rilevante per la ricerca sulla lingua basca, questa metodologia può essere estesa alla costruzione di modelli di grandi dimensioni per altre lingue con scarse risorse.
Articolo 2: Dolma: un corpus aperto di tre trilioni di token per la ricerca sulla pre-formazione dei modelli linguistici
Motivo del premio: questo documento dimostra l'importanza della gestione dei dati durante la preparazione di set di dati per l'addestramento di modelli linguistici di grandi dimensioni. Ciò fornisce informazioni molto preziose a un'ampia gamma di persone all'interno della comunità.
Documento 3: AppWorld: un mondo controllabile di app e persone per il benchmarking degli agenti di codifica interattivi
Motivi del premio: questa ricerca è un lavoro molto importante e sorprendente nella costruzione di simulazione e valutazione di ambienti interattivi. Incoraggerà tutti a produrre parametri di riferimento dinamici più rigorosi per la comunità.
Premio Impatto Sociale
3 articoli hanno vinto il Social Impact Award.
Titolo 1: Come Johnny può convincere gli LLM a effettuare il jailbreak: ripensare la persuasione per sfidare la sicurezza dell'intelligenza artificiale umanizzando gli LLM
Motivo del premio: questo articolo esplora il tema della sicurezza dell'intelligenza artificiale: il jailbreak, studiando un metodo sviluppato nel campo della ricerca in scienze sociali. La ricerca è molto interessante e ha il potenziale per avere un impatto significativo sulla comunità.
Paper 2: DIALECTBENCH: un punto di riferimento della PNL per dialetti, varietà e lingue strettamente correlate
Motivo del premio: la variazione dialettale è un fenomeno poco studiato nei campi della PNL e dell'intelligenza artificiale. Tuttavia, dal punto di vista della lingua e della società, la sua ricerca ha un valore estremamente elevato e ha importanti implicazioni per le applicazioni. Questo articolo propone un punto di riferimento molto nuovo per studiare questo problema nell'era LLM.
Documento 3: Bere birra dopo la preghiera? Misurare i pregiudizi culturali in grandi modelli linguistici
Motivi del premio: questo articolo dimostra una questione importante nell'era LLM: i pregiudizi culturali. Questo articolo studia la cultura araba e l'ambiente linguistico e i risultati mostrano che dobbiamo considerare le differenze culturali quando progettiamo i LLM. Pertanto, lo stesso studio può essere replicato in altre culture per generalizzare e valutare se anche altre culture sono colpite da questo problema.
Raccogli e organizza le informazioni sulle notizie più recenti e rendile accessibili gratuitamente a tutti.
Posta[email protected]