uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Wang Dequanin tutkimusryhmä Shanghai Jiao Tong -yliopistossa
Qubits |. Julkinen tili QbitAI

Professori Wang Dequanin tutkimusryhmä Shanghai Jiao Tong -yliopistossa esitti tällaisen kysymyksen viimeisimmässä tutkimuksessa.

Kuvittele tämä skenaario: Lastentarhassa oleva lapsi pitää kädessään tiikerin kuvaa ja kysyy: "Tämä kissanpentu on erittäin söpö. Onko se naaraskissa?"

Et voi vastata suoraan "kyllä" tai "ei", mutta osoita ensin "ristiriita" tässä kysymyksessä—-Tämä kuva on tiikereistä, ei kissasta。

Aikaisemmin on kuitenkin vähän järjestelmällistä tutkimusta siitä, kuinka suuret mallit reagoivat.

Sinun on tiedettävä, että tekoälymalli, joka ei pysty havaitsemaan "käskyristiriitoja", tuottaa tuloksia "kysymyksille, joihin ei pitäisi olla vastauksia", ja riippumatta siitä, kummalle konfliktin puolelle saadut tulokset suuntautuvat, se aiheuttaa mahdollisia katastrofeja ja vaikuttaa tekoälyyn. turvallisuus ja superlinjaus (Super Alignment).

Tässä uusimmassa tutkimuksessa ryhmä ehdottiMultimodaaliset vertailuarvot——ristiriitainen ohjesarja, ja suunnitteli innovatiivisenAutomaattinen tietojoukon luontikehys, nimettyAutomaattinen luonti。

Tiimi havaitsi, että multimodaalisesta suuresta mallista puuttui hyvin ristiriitaisten käyttöohjeiden havaitseminen, joten he ehdottivatKognitiivinen herätyskehotusmenetelmä(CAP), joka lisää kognitiivisia kykyjä ulkomaailmasta ja parantaa siten kykyä havaita ristiriitoja.

Paperi julkaistaan ​​18. European Conference on Computer Vision (ECCV) -tapahtumassa tämän vuoden lokakuussa.

Voivatko suuret mallit havaita ristiriitaiset ohjeet?

Tällä hetkellä multimodaaliset suuret mallit ovat edistyneet suuresti tieteellisessä tutkimuksessa ja sovellusalueilla. Ne voivat käsitellä erilaisia ​​tietotyyppejä, mukaan lukien tekstiä ja kuvia, ja ne osoittavat ihmisen kognition kaltaisia ​​ominaisuuksia.

Tiimi uskoo, että näiden mallien menestys johtuu laajasta tutkimus- ja kehitystyöstä, jonka ansiosta ne voivat seurata tarkasti ihmisen ohjeita, jopa hieman "alistuvaan".

Lisäksi nämä mallit ovat erityisen hyviä pitkissä yhteyksissä. Multimodaaliset suuret mallit, kuten Claude 3 ja Gemini 1.5 Pro, ovat osoittaneet tehokkaita ominaisuuksia. Claude 3 -sarjan mallit tarjoavat 200 000 tokenin kontekstiikkunan, Gemini 1.5 Pron vakiokontekstiikkunan koko on 128 000, ja se voi saavuttaa jopa miljoonan tunnuksen yksityisen esikatseluvaiheen aikana.

Nämä edistysaskeleet mahdollistavat multimodaaliset suuret mallit suoriutumaan hyvin monimutkaisista tehtävistä ja täyttävät ihmisten tarpeet pitkäaikaisessa vuorovaikutuksessa.

Kuitenkin multimodaalisen vuorovaikutuksen syvenemisen ja kontekstin pituuden lisääntymisen myötä ristiriitaisten ohjeiden ongelma tulee yhä näkyvämmäksi.

Kuten alla näkyy, kun käyttäjät (kuten lapset tai kielen aloittelijat) käyttävät näitä malleja, he eivät usein ole tietoisia mahdollisista multimodaalisista konflikteista.

Samaan aikaan kun dialogikierrosten määrä kasvaa ja kontekstiikkuna laajenee, käyttäjien on vaikea muistaa kaikkia yksityiskohtia, mikä johtaa ristiriitaan ohjeiden välillä.

Lisäksi modaliteettien määrän kasvaessa modaliteetin välillä voi myös esiintyä ristiriitoja. Kun näiltä malleilta puuttuu itsetietoisuus ja kyky havaita ristiriitoja, niiden suorituskyky kärsii.

Vastatakseen näihin haasteisiin tämän artikkelin tutkimusryhmä ehdotti multimodaalista vertailutestiä.ristiriitainen ohjesarja” (Self-Contradictory Instructions, SCI), käytetään arvioimaan multimodaalisten suurten mallien kykyä havaita ristiriitaisia ​​ohjeita.

SCI sisältää20 000 ristiriitaista ohjettaja8 tehtäväätasaisesti jakautuneenakieli - kielijavisuaalinen-verbaalinenkahdessa paradigmassa.

Kaavion yläosassa kieli-lingvistinen paradigma sisältää ristiriitoja kontekstien ja direktiivien välillä, kuten ristiriitaiset suunnittelusäännöt, ristiriitaiset objektin ominaisuudet, yksinomaiset direktiivit ja kielletty sanasto.

Kuvan alaosassa: visuaalis-kielellinen paradigma kattaa multimodaaliset konfliktit, kuten OCR-tekstintunnistuskonfliktit, kaaviokonfliktit, geometriset konfliktit ja semanttiset ristiriidat. Kahdeksan tehtävän joukossa vain semanttiset ristiriidat sisältävät muita tietojoukkoja (ImageNet).

Konkreettisena esimerkkinä voidaan todeta, että semanttisia ristiriitoja rakentaessaan tutkijat luovat ensin vastaavaa tekstiä kuvien perusteella ja korvaavat sitten tekstin keskeiset semanttiset tiedot uudella semanttiikalla, jotka ovat samanlaisia, mutta erilaisia.

Alla olevassa kuvassa kuvassa on strutsi (Strutsi).

Myöhemmin tämän kysymyksen avainsemantiikka "strutsi" korvattiin sanalla "Kiwi". Tällä tavalla muodostetaan ristiriitainen pari multimodaalisia käskyjä.

Koko SCI-rakennusprosessin ajan kirjoittaja suunnitteli innovatiivisen automaattisen tietojoukon luomiskehyksen --Automaattinen luonti。

Se rakentaa multimodaalisen silmukan ohjelmien ja suurten kielimallien avulla. Kehys hyödyntää ohjelmia ja suuria kielimalleja mahdollistaakseen automaattisen tietojoukon luomisen.

AutoCreate alkaa useista tehtäviin liittyvistä siementiedoista ja ylläpitää siemenvarastoa. Jokaisessa syklissä AutoCreate sisältää kaksi haaraa:kielen haara(vasemmalla) javisuaalinen haara(oikealla). Jokainen haara koostuu generaattoreista ja sisustajista.

Lopuksi siivooja sulkee pois tiedot, jotka eivät täytä kriteerejä. Kun ihmiset ovat suorittaneet laatutarkastukset, nämä tiedot syötetään takaisin siemenpankkiin käytettäväksi seuraavalla kierroksella.

AutoCreate parantaa huomattavasti SCI-tietosarjojen rakentamisnopeutta ja sisällön laajuutta.

Kuinka parantaa konfliktien havaitsemiskykyä?

SCI-aineiston avulla tutkijat arvioivat kattavasti suurten mallien suorituskykyä ristiriitaisten ohjeiden käsittelyssä.

Kokeelliset tulokset osoittavat, että nykyiset suuret mallit osoittavat usein tiettyjä puutteita ristiriitaisten ohjeiden edessä.

He voivat käsitellä tietoa ja tietoa, muttaPuute kykyä arvioida ohjeiden kohtuullisuutta, mitä tutkimusryhmä kutsuu "kognitiiviseksi" kyvyksi.

Tämä puute johtuu itsetietoisuuden puutteesta ja kyvyttömyydestä tunnistaa ohjeiden epäjohdonmukaisuuksia.

Siksi tutkijat ehdottivat yksinkertaista drop-in kehotusmenetelmää nimeltä "Kognitiivisen heräämisen vinkkejä"(Kognitiivinen herääminen, CAP).

CAP-passi sisääntulossaLisää yksinkertainen muistutus, kognitiivisia kykyjä voidaan ruiskuttaa ulkomaailmasta, mikä parantaa suuren mallin ristiriitojen havaitsemiskykyä, eikä periaatteessa ole negatiivista vaikutusta.

Tämä havainto viittaa siihen, että nykyiset multimodaaliset suuret mallit vaativat enemmän itsetietoisuutta ja kognitiivisia kykyjä käsitelläkseen paremmin monimutkaisia ​​ohjeristiriitoja.

Lisätietoa aiheesta kiinnostuneet lapset voivat katsoa alkuperäisen paperin.

Tietoja kirjoittajasta

Paperin ensimmäinen kirjoittaja on tohtorikandidaatti Shanghai Jiao Tong -yliopistossaGao Jin。

Hänen tutkimusalueitaan ovat tietokonenäkö, multimodaaliset suuret mallit, tekoälyn valtuuttamat biotieteet jne.

Artikkelin vastaava kirjoittaja on vakinainen apulaisprofessori ja tohtorinohjaaja Shanghai Jiao Tong -yliopistossaWang Dequan, hän valmistui Fudanin yliopistosta kandidaatin tutkinnon ja tohtorin tutkinnon Kalifornian yliopistosta, Berkeleystä, jossa hän opiskeli professori Trevor Darrellin johdolla.

Hänen tutkimustyönsä on julkaistu huipputason kansainvälisissä konferensseissa, kuten CVPR, ICCV, ECCV, ICLR, ICML, ICRA, IROS jne. Hänen kirjoituksiaan on siteerattu Google Scholarissa yli 10 000 kertaa viimeisen viiden vuoden aikana, ja hänen kirjoituksiaan on ollut H- indeksi 20.

Paperilinkki: https://arxiv.org/abs/2408.01091
Linkki projektiin: https://selfcontradiction.github.io/