uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

AIxiv-sarake on sarake, jossa Machine Heart julkaisee akateemista ja teknistä sisältöä. Viime vuosina Heart of the Machine AIxiv -kolumni on saanut yli 2 000 raporttia, jotka kattavat tärkeimpien yliopistojen ja yritysten huippulaboratoriot ympäri maailmaa ja edistävät tehokkaasti akateemista vaihtoa ja levittämistä. Jos sinulla on erinomaista työtä, jonka haluat jakaa, ole hyvä ja osallistu tai ota meihin yhteyttä raportoidaksesi. Lähetyssähköposti: [email protected]; [email protected]

Artikkelin kirjoittajat ovat kaikki Cambridgen yliopiston kieliteknologian laboratoriosta. One on kolmannen vuoden tohtoriopiskelija Liu Yinhong, ja hänen ohjaajiaan ovat professorit Nigel Collier ja Ehsan Shareghi. Hänen tutkimuskohteitaan ovat laaja malli- ja tekstiarviointi, tiedon tuottaminen jne. Tongyissa toisen vuoden tohtoriopiskelija Zhou Han mentoroi professorit Anna Korhonen ja Ivan Vulić.

Suurissa malleissa on erinomaiset komennon seuraamis- ja tehtävien yleistysominaisuudet. Tämä ainutlaatuinen kyky johtuu LLM:n tietojen seuraamisesta ja RLHF-oppimisesta koulutuksessa. RLHF-harjoitteluparadigmassa palkitsemismalli on kohdistettu ihmisten mieltymyksiin vertailutietoihin perustuen. Tämä parantaa LLM:ien yhdenmukaistamista inhimillisten arvojen kanssa ja tuottaa siten vastauksia, jotka auttavat ihmisiä paremmin ja noudattavat inhimillisiä arvoja.

Äskettäin ensimmäinen suuri mallikonferenssi COLM on juuri julkistanut hyväksymistulokset. Eräässä korkean pistemäärän saaneesta työstä analysoitiin pisteytysvirheongelmaa, jota on vaikea välttää ja korjata, kun LLM:ää käytetään tekstin arvioijana, ja ehdotettiin arviointiongelman muuntamista. mieltymysten ranking-ongelmaksi. Näin ollen kehitettiin PairS-algoritmi, joka voi etsiä ja lajitella pareittain. Hyödyntämällä epävarmuuden ja LLM-transitiivisuuden oletuksia, PairS voi antaa tehokkaita ja tarkkoja mieltymysteoksia ja osoittaa parempaa johdonmukaisuutta ihmisen harkinnan kanssa useissa testisarjoissa.

Paperilinkki: https://arxiv.org/abs/2403.16950

论文标题: Yhdistäminen ihmisen harkintaan: Pareittainen suosimisen rooli suurten kielimallien arvioijissa

Githubin osoite: https://github.com/cambridgeltl/PairS

Mitä ongelmia on suurten mallien käytössä arvioinnissa?

Lukuisat viimeaikaiset työt ovat osoittaneet LLM:ien erinomaisen suorituskyvyn tekstin laadun arvioinnissa, muodostaen uuden mallin generatiivisten tehtävien viittausvapaalle arvioinnille, välttäen kalliita inhimillisiä huomautuskustannuksia. LLM-arvioijat ovat kuitenkin erittäin herkkiä nopealle suunnittelulle, ja he voivat jopa vaikuttaa useisiin harhaan, mukaan lukien sijaintiharha, monisanaisuus ja kontekstiharha. Nämä ennakkoluulot estävät LLM-arvioijia olemasta oikeudenmukaisia ​​ja luotettavia, mikä johtaa epäjohdonmukaisuuksiin ja epäjohdonmukaisuuksiin ihmisen harkinnan kanssa.

LLM:iden puolueellisten ennusteiden vähentämiseksi aikaisemmissa töissä on kehitetty kalibrointitekniikoita, joilla vähennetään LLM-ennusteiden harhaa. Suoritamme ensin systemaattisen analyysin kalibrointitekniikoiden tehokkuudesta pistekohtaisten LLM-estimaattien kohdistamisessa. Kuten yllä olevasta kuvasta 2 näkyy, olemassa olevat kalibrointimenetelmät eivät vieläkään pysty kohdistamaan LLM-estimaattoria hyvin, vaikka valvontatiedot toimitetaan.

Kuten yhtälö 1 osoittaa, uskomme, että pääasiallinen syy arvioinnin vääristymiseen ei ole LLM:n ennakkoluulojen jakauma, vaan arviointistandardin epätasaisuus, eli LLM-arvioijan samankaltaisuus. Uskomme, että LLM-arvioijilla on johdonmukaisemmat arviointikriteerit ihmisten kanssa tehdessään pariarviointia, joten tutkimme uutta LLM-arviointiparadigmaa edistääksemme yhdenmukaisempia arvioita.

RLHF:n inspiroima

Kuten alla olevasta kuvasta 1 näkyy, inspiroituneena palkitsemismallien kohdistamisesta RLHF:n preferenssitietojen avulla, uskomme, että LLM-arvioija voi saada ennusteita, jotka ovat paremmin linjassa ihmisten kanssa, luomalla etusijajärjestykset. Viime aikoina on aloitettu työ mieltymysten luomiseksi antamalla LLM:n suorittaa parivertailuja. Kuitenkin etusijajärjestyksen monimutkaisuuden ja skaalautuvuuden arviointi on jäänyt suurelta osin huomiotta. He jättävät huomiotta transitiivisuusoletuksen, mikä tekee vertailujen lukumäärän O (N^2) monimutkaisuuden, mikä tekee arviointiprosessista kalliin ja mahdottomaksi.

PARIT: Tehokas asetushakualgoritmi

Tässä työssä ehdotamme kahta parikohtaista preferenssihakualgoritmia (PairS-greedy ja PairS-beam). PairS-greedy on algoritmi, joka perustuu täydelliseen transitiivisuusolettamukseen ja yhdistämislajitteluun, ja se voi saada globaalin preferenssilajittelun vain O (NlogN) monimutkaisuudella. Transitiivisuusoletus tarkoittaa, että esimerkiksi kolmen ehdokkaan kohdalla LLM:llä on aina jos A≻B ja B≻C, niin A≻C. Tämän oletuksen perusteella voimme suoraan käyttää perinteisiä ranking-algoritmeja saadaksemme paremmuusjärjestyksen parittaisista preferensseistä.

LLM:llä ei kuitenkaan ole täydellistä transitiivisuutta, joten suunnittelimme PairS-keila-algoritmin. Löysemmän transitiivisuusoletuksen mukaisesti johdamme ja yksinkertaistamme todennäköisyysfunktion preferenssien luokittelua varten. PairS-beam on hakumenetelmä, joka suorittaa keilahaun todennäköisyysarvon perusteella jokaisessa yhdistämislajittelualgoritmin yhdistämisoperaatiossa ja pienentää parittaista vertailuavaruutta asetusten epävarmuuden kautta. PairS-beam voi säätää kontrastin monimutkaisuutta ja sijoituksen laatua ja tarjota tehokkaasti parhaan mahdollisen arvioinnin (MLE). Alla olevassa kuvassa 3 on esimerkki siitä, kuinka PairS-beam suorittaa yhdistämistoiminnon.

Kokeelliset tulokset

Testasimme useilla edustavilla aineistoilla, mukaan lukien suljetut lyhennetehtävät NewsRoom ja SummEval sekä avoin tarinanluontitehtävä HANNA, ja vertasimme useita LLM:n yhden pisteen arvioinnin perusmenetelmiä, mukaan lukien None Supervised -suora pisteytys, G-Eval, GPTScore ja ohjasi koulutettuja UniEvalia ja BARTScorea. Kuten alla olevasta taulukosta 1 näkyy, PairS:llä on parempi yhdenmukaisuus ihmisten arvioiden kanssa kuin niillä jokaisessa tehtävässä. GPT-4-turbo voi jopa saavuttaa SOTA-efektejä.

Artikkelissa vertaamme myös kahta perusmenetelmää etusijajärjestykseen, voittoprosenttiin ja ELO-luokitukseen. PairS voi saavuttaa samanlaatuisen paremmuusjärjestyksensä vain noin 30 prosentilla vertailujen määrästä. Paperi tarjoaa myös enemmän näkemyksiä siitä, kuinka parikohtaisia ​​preferenssejä voidaan käyttää LLM-estimaattien transitiivisuuden kvantitatiiviseen laskemiseen ja kuinka pari-estimaattorit voivat hyötyä kalibroinnista.

Lisätietoja tutkimuksesta löytyy alkuperäisestä julkaisusta.