uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Eri tulostusmuodot voivat itse asiassa vaikuttaa suurten mallien suorituskykyyn? !

Annetaan suurten kielimallien (LLM) ratkaista sama matemaattinen ongelma kahden kehotteen alla.

• Elizan tuntipalkka ensimmäiseltä 40 työtunnilta viikossa on 10 dollaria ja ylityökorvaus on x 1,2 per tunti. Jos Eliza työskenteli 45 tuntia tällä viikolla, kuinka paljon hän ansaitsi tällä viikolla?

Ajatusketjun kehotus: "Anna tuloste, vaiheittaiset perustelut, seuraavassa muodossa: ...Vastaus: Lopullinen vastaus on...".

Muotorajoituskehote: "Anna tulos seuraavassa kelvollisessa JSON-muodossa: ... (katso kuva tietyn JSON-muodon osalta)".

Oikea vastaus on460, voidaan nähdä, että ajatteluketju (anna mallin ajatella askel askeleelta) toimii, mutta muotorajoitus ("tulostus JSON-muodossa") epäonnistuu! !

Tämä on kohtaus Taiwanin kansallisen yliopiston ja Appier AI Researchin uudesta tutkimuksesta. He havaitsivat, että...

Muotorajoitukset heikentävät LLM:ien päättelykykyä, ja mitä tiukemmat rajoitukset, sitä huonompi päättely. (sisältää kapinallisen hahmon)

Mutta hyvä uutinen on, että sitä voidaan hoitaa.

He löysivät,paras ratkaisuSe on "toissijainen muunnos" (oikein), eli LLM:t vastaavat ensin kysymyksiin luonnollisella kielellä ja muuntaa sitten vastaukset kohdemuotoon.

Prosessissa he vertasivat eri mallien, kuten GPT-3.5 Turbon, Claude 3 Haikun, Gemini 1.5 Flashin, suorituskyvyn eroja luotaessa dataa eri muodoissa.Siitä kävi ilmi：

GPT pitää YAML:sta, Claude XML:stä ja Gemini/Gemma JSONista. (Pääasiassa jokaisella on omat mieltymyksensä)

Tutkimuksen luettuaan jotkut nettiläiset huomauttivat, että se onTasapainottaa jäsenneltyä sukupolven ja tehtävän päättelyäMerkitys:

Muotorajoitukset vähentävät LLM:n päättelykykyä

Yllämainittu tutkimus on julkaistu arXiv:ssä. Paperi paljastaa pääasiassa, että muotorajoitusten alaisena LLM:n päättelykyky laskee merkittävästi.Varsinkin JSON-tilassa。

Koko ajan,LLM:ien sisällyttäminen teollisiin sovelluksiinSuurin este on niiden puute noudattaa standardoituja tulostusmuotoja.

Yleinen ratkaisu on strukturoitu luominen, jossa muotorajoitukset antavat LLM:ille mahdollisuuden tarjota tulosteita standardoidussa muodossa, kuten JSON tai XML.

Mutta vaikka tämä rajoitus voidaan saavuttaa monilla tavoilla, sen myöhempiä vaikutuksia ei ole tutkittu. (Vaikuttaako rajoitus mallin suorituskykyyn?)

Tee se vain, tutkijat hyväksyvät3 yleistä menetelmääArvioi eri muotorajoitusten vaikutus loppupään suorituskykyyn:

• JSON-tila: Rajoita LLM:ien tuotto ennalta määritetyllä tunnistetilalla
• FRI: Ohjaa LLM:itä luomaan vakiomuotoisia vastauksia, jotka noudattavat tiettyjä malleja
• NL-to-Format: kaksivaiheinen prosessi, joka ensin vastaa kysymyksiin luonnollisella kielellä ja muuntaa sitten kohdemuotoon

Minun on muuten lisättäväLuonnollinen kieli (NL), joka on rajoittamattomin muoto ja sallii mallien vastata kysymyksiin vapaasti luonnollisella kielellä.

Arviointiobjektit ovat GSM8K (sisältää matemaattisia ongelmia luonnollisessa kieliympäristössä) ja Last Letter Concatenation (viimeisen kirjaimen yhteystehtävä), kaksi tietojoukkoa, jotka edellyttävät täsmällisiä vastauksia, sekä Shuffled Objects (shuffled Objects).

He havaitsivat, että löysemmät vihjeet johtivat yleensä parempiin tuloksiin näissä päättelyn tehtävissä.

samaan aikaan,JSON-skeema toimii huonoimmin useimmissa tapauksissa, jota seuraa Format Restriction Instructions (FRI), sitten Natural Language to Format (NL to Format) -muunnos ja Natural Language (NL) -kehotteet.

Tutkimuksessa havaittiin myös, että eri LLM:t reagoivat erilaisiin tietomuotoihinnäyttää erilaisia ​​mieltymyksiä。

Esimerkiksi GPT suosii YAML-muotoa, Claude XML-muotoa ja Gemini/Gemma JSON-muotoa.

Luokittelutehtävissä kuitenkinMuotorajoitukset ovat saattaneet parantaa tarkkuutta, koska se vähentää mahdollisia vastausvaihtoehtoja ja alentaa siten virheprosenttia.

He päättelivät lisäksi, että muotorajoitukset voivat vähentää mallin päättelykykyä.syy, sisältäen pääasiassa:

• Rajoittaa mallin kykyä luoda tarvittavia välipäättelyvaiheita.
• Asetetut muotoiluvaatimukset voivat olla ristiriidassa tavan kanssa, jolla malli luonnollisesti tuottaa vastauksia.
• Muotoiluvirheet voivat johtaa siihen, että vastaus katsotaan virheelliseksi muotoiluongelmien vuoksi, vaikka perustelut olisivat oikein.

Hyviä uutisia: Se voidaan parantaa

Vastauksena tähän ongelmaan he ehdottivat useita vastatoimia:

Ensinnäkin, kuten aiemmin mainittiin, JSON-tila toimii huonoimmin useimmissa tapauksissa ja lopuksi luonnollisen kielen muotoon (NL-muotoon) muunnos.

Sitten päinvastoin,Paras ratkaisu muotorajoitusten ratkaisemiseen on NL to Formateli LLM:t vastaavat ensin kysymyksiin luonnollisella kielellä ja muuntavat sitten vastaukset kohdemuotoon. Tämä lähestymistapa mahdollistaa paremman suorituskyvyn erottamalla päättelyn muodon noudattamisesta.

Lisäksi strukturoitu tulosavainjärjestysSillä on suuri vaikutus siihen, miten LLM:t vastaavat.

Esimerkiksi GPT-3.5 Turboa käytettäessä 100 % JSON-tilan vastauksista asetti "vastaus"-näppäimen väärin ennen "päättelyä", mikä sai mallin antamaan vastauksen suoraan ajatteluprosessin näyttämisen sijaan.

Tutkimukset osoittavat myös, että muotorajoitukset johtavatJäsennysvirheEi tärkein syy suorituskykyeroon.

Esimerkiksi LLaMA 3 8B -mallissa JSON-muodon jäsennysvirheprosentti Last Letter -tehtävässä on vain 0,15 %, mutta verrattuna luonnolliseen kieleen, suorituskykyero on 38,15 %.

ja voiVähennä näitä virheitä korjaavilla vinkeilläEsimerkiksi Claude-3-Haiku-mallissa Viimeinen kirje -tehtävässä korjausvaiheen kautta JSON- ja YAML-muotojen tarkkuus parani +2,8% ja +44,8%.

Yllä oleva tarkoittaa myös sitä, että LLM:itä käytettäessä on löydettävä tasapaino helposti jäsennettävän muodon ja luontaisten päättelykykyjen säilyttämisen välillä.

Lopuksi tutkijat muistuttivat lehdessä:

• Säännöllisiin lausekkeisiin verrattuna LLM:t voivat tarjota syvällisemmän ja tarkemman tekstin ymmärtämisen. Ne eivät rajoitu pintapuoliseen kuvioiden täsmäämiseen, vaan voivat todella ymmärtää vastauksen merkityksen ja kontekstin.