uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Kirjoittaja |. Ma Xuewei

Huumeiden käyttämisestä aivojen stimuloimiseen "Superbodyssa" elektronisen interferenssin käyttämiseen aivotilan tunkeutumiseen kyberpunk-kulttuurissa, ihmisillä on ollut monia fantasioita ihmisen aivojen manipuloinnin mahdollisuudesta. Kuvitellaan,Mitä jos ihmiset voisivat itse asiassa manipuloida suoraan jokaista hermosolua ihmisaivoissa?

Siihen mennessä ihmiset pystyvät ymmärtämään suoraan näiden hermosolujen roolin tiettyjen kohteiden havaitsemisessa ja toivottavasti tekemään joitain hyvin "scifi"-asioita.

Todellisessa elämässä tällaista koetta on lähes mahdoton toteuttaa ihmisen aivoissa, mutta se on mahdollista keinotekoisissa hermoverkoissa. Koska mallit sisältävät kuitenkin usein miljoonia hermosoluja, ne ovat liian suuria ja monimutkaisia ​​ja vaativat paljon työvoimaa ymmärtääkseen, mikä tekee suuren mittakaavan mallien ymmärtämisestä erittäin haastavan tehtävän.

Tätä tarkoitusta varten MIT:n tietojenkäsittelytieteen ja tekoälyn laboratorion (MIT CSAIL) tutkimusryhmä lanseerasi järjestelmän, joka käyttää hermomalleja suorittaakseen automaattisesti mallin ymmärtämiseen liittyviä tehtäviä - MAIA tai "Multimodaaliset automaattiset tulkittavat agentit”。

MAIA käyttää esikoulutettuja visuaalisia kielimalleja automatisoidakseen hermomallien ymmärtämisen.Modulaarinen rakenne mahdollistaa MAIA:nJoustavuus arvioida mitä tahansa järjestelmää ja lisätä helposti uusia kokeellisia työkaluja . Lisäksi se voi automatisoida monimutkaisia ​​kokeita, käyttää iteratiivisia kokeellisia menetelmiä hypoteesien testaamiseen ja päivittää hypoteeseja koetulosten perusteella.

Jacob Steinhardt, apulaisprofessori Kalifornian yliopistosta Berkeleystä, uskoo, että näiden menetelmien laajentaminen voi olla yksi tärkeimmistä tavoista ymmärtää ja valvoa tekoälyjärjestelmiä turvallisesti. Tutkimusryhmä kuitenkin uskoo siihenParannettu MAIA ei korvaa tekoälyjärjestelmien ihmisen valvontaa . MAIA vaatii edelleen ihmisen valvontaa havaitakseen virheet, kuten vahvistuspoikkeaman ja kuvan luonti-/muokkausvirheet.

Mikä on todellinen vaikutus?

Vaikka olemassa olevat automatisoidut tulkintamenetelmät yksinkertaisesti merkitsevät tai visualisoivat tiedot kerran, MAIA pystyy luomaan hypoteeseja, suunnittelemaan kokeita niiden testaamiseksi ja parantamaan niiden ymmärtämistä iteratiivisen analyysin avulla. Yhdistämällä esikoulutetut visuaaliset kielimallit (VLM:t) tulkintatyökalukirjastoon, tämä multimodaalinen lähestymistapa voi vastata käyttäjien kyselyihin kirjoittamalla ja suorittamalla mallikohtaisia ​​kohdennettuja kokeita ja parantaa jatkuvasti lähestymistapaansa, kunnes se pystyy tarjoamaan kattavan vastauksen.

MAIA-kehyksen ydin on esiopetetun multimodaalisen mallin (kuten GPT-4V) ohjaama agentti, joka pystyy automaattisesti suorittamaan kokeita selittääkseen muiden järjestelmien käyttäytymistä. Se tekee tämän muodostamalla tulkittavia alirutiineja Python-ohjelmiin.

Kuva |. MAIA-arkkitehtuuri

Tutkimusryhmä arvioi MAIA:n hermosolujen kuvausparadigman perusteella. Tutkimus osoitti, että MAIA saavutti erinomaiset kuvausvaikutukset sekä todellisissa malleissa että synteettisten neuronien tietosarjoissa, joiden ennustusominaisuudet ovat paremmat kuin perusmenetelmät ja verrattavissa ihmisten asiantuntijoihin.

Kuva |. Arviointi MAIA Kuvaus

Lisäksi MAIA:lla on hyvät sovellusmahdollisuudet poistaa vääriä ominaisuuksia ja paljastaa harhoja, mikä voi auttaa ihmiskäyttäjiä ymmärtämään mallien käyttäytymistä paremmin ja parantamaan mallin suorituskykyä ja oikeudenmukaisuutta.

Käytä MAIAa virheellisten ominaisuuksien poistamiseen

Väärät ominaisuudet voivat vaikuttaa mallin kestävyyteen todellisissa skenaarioissa. MAIA voi tunnistaa ja poistaa mallin vääriä piirteitä, mikä parantaa mallin kestävyyttä. Tutkimusryhmä harjoitti ResNet-18:lla Spawrious-tietoaineistoa, joka sisältää neljä eri taustalla olevaa koirarotua.

Aineistossa jokainen koiranrotu liitetään harhaanjohtavasti tiettyyn taustaan ​​(esim. lumi, viidakko, autiomaa, ranta), kun taas testisarjassa rodun ja taustan paritukset ovat kaoottisia. Tutkimusryhmä käytti MAIAa löytääkseen osajoukon viimeisen kerroksen neuroneja, jotka pystyivät ennustamaan tarkasti yksittäisen koiran rodun harhaominaisuuksista riippumatta yksinkertaisesti muuttamalla kyselyä käyttäjäkehotteessa.

Tulokset osoittavat, että MAIA voi tehokkaasti poistaa virheelliset ominaisuudet mallista, mikä parantaa mallin kestävyyttä.

MAIA:n käyttäminen harhan paljastamiseen

Malleissa voi olla harhoja, jotka saavat ne toimimaan huonosti tietyissä tilanteissa. Ja MAIA voi automaattisesti paljastaa vääristymät malleissa. Tutkimusryhmä käytti ResNet-152:ta harjoittaessaan ImageNetissä ja käytti MAIA:a tarkistaakseen mallin lähdön harhan.

Kokeen aikana MAIAa kehotettiin luomaan tiettyihin luokkiin liittyviä kuvia ja tarkkaili mallin vastetta näihin kuviin. Myöhemmin MAIA havaitsi, että joissakin malleissa oli mieltymykset tiettyihin alakategorioihin tai tiettyihin luokkiin liittyviin kuviin.

Tämä osoittaa, että MAIA voi auttaa tunnistamaan harhoja malleissa ja siten parantamaan niitä.

Kuva |. MAIA-mallin harhan tunnistus

Puutteet ja näkymät

Vaikka MAIA näyttää suuren potentiaalin automaattisessa tulkittavuudessa, on silti joitain rajoituksia.

Ensinnäkin MAIA:n selityskykyä rajoittavat sen käyttämät työkalut, kuten Stable Diffusion ja GPT-4. Näiden työkalujen rajoitukset (esim. kuvien luonnin laatu, hinta, pääsyrajoitukset) vaikuttavat suoraan MAIA:n suorituskykyyn. Jatkossa voit harkita tehokkaampien sisäisten työkalujen kehittämistä tai avoimen lähdekoodin vaihtoehtojen etsimistä järjestelmäsi luotettavuuden ja käytettävyyden parantamiseksi.

Toiseksi MAIA:n selitys ei ole muodollinen todentaminen, vaan perustuu kokeellisiin tuloksiin ja luonnollisen kielen kuvauksiin. Tämä voi johtaa puolueellisiin tai harhaanjohtaviin tulkintoihin. Jatkossa muodollisia verifiointimenetelmiä (kuten kausaalinen päättely, teoreettinen analyysi) voidaan harkita integroitavaksi MAIAan selitysten tarkkuuden ja luotettavuuden parantamiseksi.

Lisäksi MAIA ei voi täysin välttää yleisiä virheitä, kuten vahvistusharha, liiallinen tulkinta, pienet otospäätelmät jne. Tulevaisuudessa voidaan harkita itseheijastusmekanismin käyttöönottoa, jotta MAIA pystyy tunnistamaan ja korjaamaan omat virheensä sekä parantamaan tulkinnan kestävyyttä.

Lehden toinen kirjoittaja Rott Shaham sanoi eteenpäin: "Luulen, että laboratoriomme luonnollinen seuraava askel on siirtyä keinotekoisten järjestelmien ulkopuolelle ja soveltaa näitä samanlaisia ​​kokeita ihmisen havainnointiin. Perinteisesti tämä on vaatinut ärsykkeiden manuaalista suunnittelua ja testaamista. , Tämä on työvaltainen prosessi, ja agenttimme avulla voimme laajentaa tätä prosessia ja suunnitella ja testata useita ärsykkeitä samanaikaisesti."