notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

La rubrica AIxiv è una rubrica in cui Machine Heart pubblica contenuti accademici e tecnici. Negli ultimi anni, la rubrica Heart of the Machine AIxiv ha ricevuto più di 2.000 segnalazioni, riguardanti i migliori laboratori delle principali università e aziende di tutto il mondo, promuovendo efficacemente gli scambi accademici e la divulgazione. Se hai un lavoro eccellente che desideri condividere, non esitare a contribuire o contattarci per segnalarlo. E-mail di presentazione: [email protected] [email protected];

Gli autori dell'articolo provengono tutti dal Laboratorio di tecnologia linguistica dell'Università di Cambridge. Uno è uno studente di dottorato del terzo anno, Liu Yinhong, e i suoi supervisori sono i professori Nigel Collier e Ehsan Shareghi. I suoi interessi di ricerca riguardano la valutazione di modelli e testi di grandi dimensioni, la generazione di dati, ecc. Zhou Han, uno studente di dottorato del secondo anno a Tongyi, è guidato dai professori Anna Korhonen e Ivan Vulić. Il suo interesse di ricerca è sui modelli efficienti di grandi dimensioni.

I modelli di grandi dimensioni mostrano eccellenti capacità di seguire i comandi e di generalizzare le attività. Questa capacità unica deriva dall'uso da parte degli LLM del comando che segue i dati e dell'apprendimento per rinforzo con feedback umano (RLHF) nella formazione. Nel paradigma di formazione RLHF, il modello di ricompensa è allineato con le preferenze umane basate sui dati di confronto delle classifiche. Ciò migliora l'allineamento dei LLM con i valori umani, generando così risposte che assistono meglio gli esseri umani e aderiscono ai valori umani.

Recentemente, la prima grande conferenza sul modello COLM ha appena annunciato i risultati di accettazione. Uno dei lavori ad alto punteggio ha analizzato il problema della distorsione del punteggio che è difficile da evitare e correggere quando LLM viene utilizzato come valutatore di testo e ha proposto di convertire il problema di valutazione. in un problema di classificazione delle preferenze. Pertanto, è stato progettato l'algoritmo PairS, un algoritmo in grado di cercare e ordinare in base alle preferenze a coppie. Utilizzando le ipotesi di incertezza e transitività LLM, PairS può fornire classifiche di preferenza efficienti e accurate e dimostrare una maggiore coerenza con il giudizio umano su più set di test.

Link al documento: https://arxiv.org/abs/2403.16950

Argomento principale: Allineamento con il giudizio umano: il ruolo della preferenza a coppie nei valutatori di modelli linguistici di grandi dimensioni

Indirizzo Github: https://github.com/cambridgeltl/PairS

Quali sono i problemi legati all’utilizzo di modelli di grandi dimensioni per la valutazione?

Un gran numero di lavori recenti hanno dimostrato le eccellenti prestazioni dei LLM nella valutazione della qualità del testo, formando un nuovo paradigma per la valutazione senza riferimenti di compiti generativi, evitando costosi costi di annotazione umana. Tuttavia, i valutatori LLM sono molto sensibili alla progettazione tempestiva e possono anche essere influenzati da molteplici pregiudizi, tra cui pregiudizi posizionali, pregiudizi di verbosità e pregiudizi di contesto. Questi pregiudizi impediscono ai valutatori LLM di essere equi e affidabili, portando a incoerenze e disallineamenti con il giudizio umano.

Per ridurre le previsioni distorte degli LLM, il lavoro precedente ha sviluppato tecniche di calibrazione per ridurre le distorsioni nelle previsioni LLM. Per prima cosa conduciamo un'analisi sistematica dell'efficacia delle tecniche di calibrazione nell'allineare gli stimatori LLM puntuali. Come mostrato nella Figura 2 sopra, i metodi di calibrazione esistenti non riescono ancora ad allineare bene lo stimatore LLM anche quando vengono forniti dati di supervisione.

Come mostrato nell'Equazione 1, riteniamo che la ragione principale del disallineamento della valutazione non siano i pregiudizi sulla distribuzione del punteggio di valutazione del LLM, ma il disallineamento dello standard di valutazione, cioè la somiglianza del valutatore LLM. Riteniamo che i valutatori LLM avranno criteri di valutazione più coerenti con gli umani quando eseguono valutazioni a coppie, quindi esploriamo un nuovo paradigma di valutazione LLM per promuovere giudizi più allineati.

Ispirato da RLHF

Come mostrato nella Figura 1 di seguito, ispirato dall'allineamento dei modelli di ricompensa attraverso i dati sulle preferenze in RLHF, riteniamo che il valutatore LLM possa ottenere previsioni più allineate con gli esseri umani generando classifiche di preferenza. Recentemente, sono iniziati alcuni lavori per ottenere classifiche di preferenza consentendo a LLM di eseguire confronti a coppie. Tuttavia, la valutazione della complessità e della scalabilità delle classifiche delle preferenze è stata ampiamente trascurata. Ignorano l'ipotesi di transitività, rendendo la complessità del numero di confronti O (N^2), rendendo il processo di valutazione costoso e irrealizzabile.

PairS: algoritmo efficiente di ricerca delle preferenze

In questo lavoro proponiamo due algoritmi di ricerca delle preferenze a coppie (PairS-greedy e PairS-beam). PairS-greedy è un algoritmo basato sul presupposto di transitività completa e sul merge sort e può ottenere un ordinamento delle preferenze globali con solo complessità O (NlogN). L'ipotesi di transitività significa che, ad esempio, per tre candidati, LLM ha sempre se A≻B e B≻C, quindi A≻C. Con questo presupposto possiamo utilizzare direttamente gli algoritmi di classificazione tradizionali per ottenere classifiche di preferenza dalle preferenze a coppie.

Tuttavia, LLM non ha una transitività perfetta, quindi abbiamo progettato l'algoritmo PairS-beam. Sotto l'ipotesi di transitività più flessibile, deriviamo e semplifichiamo la funzione di verosimiglianza per la classificazione delle preferenze. PairS-beam è un metodo di ricerca che esegue una ricerca del fascio in base al valore di verosimiglianza in ciascuna operazione di unione dell'algoritmo di merge sort e riduce lo spazio di confronto a coppie attraverso l'incertezza delle preferenze. PairS-beam può regolare la complessità del contrasto e la qualità della classificazione e fornire in modo efficiente la stima di massima verosimiglianza (MLE) della classificazione delle preferenze. Nella Figura 3 di seguito mostriamo un esempio di come PairS-beam esegue un'operazione di unione.

Risultati sperimentali

Abbiamo testato più set di dati rappresentativi, comprese le attività di abbreviazione a risposta chiusa NewsRoom e SummEval e l'attività di generazione di storie a risposta aperta HANNA, e abbiamo confrontato più metodi di base di valutazione a punto singolo LLM, tra cui Nessuno Punteggio diretto supervisionato, G-Eval, GPTScore e supervisionato corsi di formazione UniEval e BARTScore. Come mostrato nella Tabella 1 di seguito, PairS ha una maggiore coerenza con le valutazioni umane rispetto a loro in ogni attività. GPT-4-turbo può persino ottenere effetti SOTA.

Nell'articolo confrontiamo anche due metodi di base per la classificazione delle preferenze, il tasso di vincita e la valutazione ELO. PairS può raggiungere la propria classifica di preferenza della stessa qualità con solo circa il 30% del numero di confronti. Il documento fornisce inoltre ulteriori approfondimenti su come le preferenze a coppie possono essere utilizzate per calcolare quantitativamente la transitività degli stimatori LLM e su come gli stimatori a coppie possono trarre vantaggio dalla calibrazione.

Per ulteriori dettagli sulla ricerca, fare riferimento al documento originale.