uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Kuinka kaukana olemme tekoälystä, joka pystyy "ajattelemaan hitaasti"?

Kirjailija: Stephanie Palazzolo

Kokoelma |. Wan Chen

Toimittaja ｜ Jingyu

Viime vuonna, ennen ja jälkeen Sam Altmanin tilapäisen potkut, OpenAI:n tutkijat lähettivät hallitukselle yhteisen kirjeen, jossa huomautettiin, että salaperäinen projekti koodinimeltään Q saattaa uhata koko ihmiskuntaa. OpenAI tunnusti Q*:n työntekijöille lähettämässään sisäisessä kirjeessä ja kuvaili projektia "yli-inhimillisenä autonomisena järjestelmänä".

Vaikka Q*:ta ei ole vielä nähty, siitä huhutaan aina maailmassa.

Google DeepMindin vanhempi insinööri Lu Yifeng teki kerran Geek Parkille arvelun ammattimaisesta näkökulmasta: Mallin on ymmärrettävä, mistä ongelmista se ei ole varma ja mitä sen pitäisi tehdä seuraavaksi. Tällä hetkellä mallin täytyy ehkä surffata Internetissä, lukea kirjoja, tehdä kokeita, miettiä joitain selittämättömiä ideoita ja keskustella muiden kuten ihmisten kanssa.

Kun tänä vuonna esitän kysymyksiä suurten mallivalmistajien tekoälysovelluksissa, voin kokea, että vastaukset ovat luotettavampia kuin viime vuonna Monet valmistajat sanoivat myös tekevänsä kovasti töitä saadakseen mallit ajattelemaan enemmän ja parantamaan edelleen heidän päättelykykynsä. Miten on edistytty tähän mennessä?

Tietojen toimittaja Stephanie Palazzolo käsitteli artikkelissa "How OpenAI's Smaller Rivals Are Developing The Own AI That 'Reasons" olemassa olevista startup-yritysten malleista mallin päättelykykyjen parantamiseksi, mukaan lukien kiinalainen yritys Q*. Geek Parkin järjestämä tapahtuma on seuraava:

01

OpenAI:n pienemmät kilpailijat

Kehitä oma "järkevä" tekoäly

Ilman kuplia, kuinka hyödyllinen tämä tekoälyaalto on, on aihe, jota on tutkittu toistuvasti valokeilassa tänä vuonna.

Suuren mallin periaate on luoda sanayksiköt yksitellen todennäköisyysennusteen perusteella, mutta sanojen papukaijaharjoittelu koulutuksen aikana syötetyn korpuksen perusteella ja hallusinaatioiden tekeminen ennen näkemättömiin kysymyksiin ei tietenkään ole kaikkien asia. odottaa. Mallin päättelykyvyn parantamisesta on tullut avainasemassa.

Tässä suhteessa emme ole vielä nähneet edistystä OpenAI:sta ja Googlesta, mutta jotkut startup-yritykset ja yksityishenkilöt sanovat keksineensä joitain "halpoja" menetelmiä (halpoja hakkereita) saavuttaakseen tietynlaisia ​​tekoälyn päättelykykyjä.

Näihin pikanäppäimiin kuuluu monimutkaisen ongelman jakaminen yksinkertaisempiin vaiheisiin ja kymmenien lisäkysymysten esittäminen mallille näiden vaiheiden analysoimiseksi.

Esimerkiksi kun sitä pyydetään laatimaan blogikirjoitus uudesta tuotteesta, tekoälysovellus käynnistää automaattisesti lisäkyselyitä, kuten pyytää suurta mallia arvioimaan vastauksensa ja parantamisen kohteet. Tietenkään käyttöliittymässä et voi nähdä näitä toimintoja, joita malli tekee taustalla.

Tämä on samanlainen kuin sokraattinen menetelmä opettaa opiskelijoita ajattelemaan kriittisesti uskomuksiaan tai väitteitään. Jälkimmäinen omaksuu kysymys-vastaus-opetusmenetelmän kommunikoidessaan opiskelijoiden kanssa Sokrates ei anna vastauksia suoraan, vaan hän ohjaa oppilaita löytämään ongelmia itse ja paljastamaan heidän näkemyksensä ristiriitoja ja puutteita jatkuvasti kysymällä. ja korjaa sitä vähitellen tehdäksesi oikean johtopäätöksen.

Tämän linkin avulla tekoälysovellus voi pyytää suurta mallia kirjoittamaan uudelleen yllä olevan blogikirjoituksen, ottaen huomioon juuri kirjoittaessaan itselleen antaman palautteen. Tätä prosessia kutsutaan usein heijastukseksi, ja eräs tekoälysovellusyrittäjä sanoi, että se johtaa usein parempiin tuloksiin.

Heijastavan lähestymistavan lisäksi kehittäjät voivat myös seurata Googlea ja kokeilla Tekniikka nimeltä näytteenotto. Näytteenoton aikana kehittäjät parantavat suurten mallien kykyä tuottaa luovia ja satunnaisia ​​vastauksia esittämällä saman kysymyksen kymmeniä tai jopa 100 kertaa ja valitsemalla sitten parhaan vastauksen.

Esimerkiksi ohjelmointiavustajasovellus voi pyytää suurta mallia antamaan 100 erilaista vastausta samaan kysymykseen, ja sitten sovellus suorittaa kaikki nämä koodinpätkät. Lopullinen ohjelmointiavustajasovellus valitsee koodin, joka tuottaa oikean vastauksen, ja valitsee automaattisesti tiiviimmän koodin.

Meta korosti joitain samanlaisia ​​tekniikoita tuoreessa Llama 3 -paperissaan.

Mutta tämä kiertotapa – suuren kielimallin kutsuminen 100 kertaa tai sen pyytäminen tuottamaan niin paljon tekstiä ja koodia – on erittäin hidasta ja kallista. Luultavasti tästä syystä jotkut kehittäjät ovat kritisoineet Cognitionin, näitä tekniikoita käyttävän startup-yrityksen, valmistamaa ohjelmointiapulaista sen hitaasta suorituskyvystä.

Myös kehittäjät ovat nähneet tämän ongelman ja yrittävät ratkaista sen.tapa onValitse mallista esimerkkejä, jotka osoittavat hyvän päättelykyvyn tietylle ongelmalle, ja "syötä" ne takaisin malliinharjoitustiedotKeskity tämän ongelman ratkaisemiseen. Kuten eräs yrittäjä sanoi, tämä lähestymistapa on samanlainen kuin kertotaulukoiden oppiminen peruskoulussa. Aluksi oppilaiden on ehkä laskettava jokainen kertolaskutehtävä manuaalisesti. Mutta ajan myötä, ja he oppivat ulkoa nämä kertotaulukot, vastauksista tulee melkein osa opiskelijan intuitiota.

Tällaisen tekoälyn kehittämiseksi kehittäjät tarvitsevat suurten mallien hallinnan. Mutta OpenAI:n tai Anthropicin suljetun lähdekoodin malleista on vaikea saada hallintaa, joten ne käyttävät todennäköisemmin avointa painomallia, kuten Llama 3 (avoin paino on termi avoimen lähdekoodin maailmassa, mikä tarkoittaa koodia, jolla on korkea avoimuuden aste).

Edellä mainitut kaksi menetelmää voivat olla tekniikoita, joita OpenAI käyttää läpimurtonsa päättelyn takana. Tietenkään OpenAI ei ole vielä julkaissut Q*:ta, joka tunnetaan myös "Strawberry"-projektina.

02

Kiinan Q*

Kiinalaiset kehittäjät ja tutkijat ovat myös vähitellen omaksumassa näitä teknologioita.

Kiinan Skywork AI:n ja Nanyangin teknillisen yliopiston tutkijat julkaisivat artikkelin tästä aiheesta tämän vuoden kesäkuussa. Tässä artikkelissa he myös antoivat teknologialle nimen Q* OpenAI-version kunniaksi, jota he eivät olleet koskaan ennen nähneet.

Kiinan Q*-teknologian avulla suuret mallit voivat ratkaista ongelmia useilla vaiheilla, kuten monimutkaisia ​​logiikkatehtäviä.

tapa on"Etsimällä" jokaisessa vastauksen vaiheessa parasta seuraavaa askelta, jota suuren mallin tulisi yrittää, sen sijaan, että seuraamalla vaiheita päätökseen pääsemiseksi (tämä menetelmä tunnetaan myös nimellä Monte Carlo -puuhaku ja sitä käytettiin aiemmin Google AlphaGossa) . Tämä saavutetaan Q-arvomalliksi kutsutun erityisen yhtälön avulla, joka auttaa suurta mallia arvioimaan kunkin mahdollisen seuraavan vaiheen tulevan palkkion - tai todennäköisyyden, että lopullinen vastaus on oikea.

Tutkijat sanovat, että he aikovat julkaista teknologian julkisesti tänä syksynä.

Alex Graveley, älykkään agenttikäynnistyksen, Minion AI:n toimitusjohtaja ja GitHub Copilotin entinen pääarkkitehti, sanoi, että he yrittävät edelleen Opeta kielimalli palaamaan askel taaksepäin, kun se huomaa, että jokin meni pieleen.Hän väittää, että tämä tietoisuus voi ilmetä, kun suuri malli tuottaa väärän vastauksen tai sitä pyydetään pohtimaan sen välivaiheita (samanlainen kuin yllä olevassa blogikirjoituksessa)., ymmärtäen, että oli tehty virhe.

Alalla on enemmän yrityksiä, mukaan lukien Stanfordin yliopiston ja Notbad AI:n maaliskuussa julkaisema "Quiet-STAR" -paperi. Aivan kuten ihmiset pysähtyvät ajattelemaan ajatuksiaan ennen puhumista tai kirjoittamista, tässä artikkelissa selitetään, kuinka suuria kielimalleja voidaan opettaa luomaan tietoa sisäisistä "ajattelun" vaiheista, joita he tekevät monimutkaisissa päättelyongelmissa, jotta he voivat tehdä parempia päätöksiä.

OpenAI:n Q*/Strawberry-teknologialla saattaa olla etumatka, mutta kaikki muut näyttävät kilpailevan kiinni.

*Pääkuvan lähde: GulfNews

Geek kysyi

Luuletko, että olemme kaukana toisistamme

Kuinka kaukana on tekoäly, joka pystyy "hidastamaan ajatteluun"?

iOS 18.1:n beta-puhelun tallennuksen todellinen mittaus, Android-puhelin voi silti vastaanottaa tallennuskehotteita.

Tykkää ja seuraaGeek Park -videotili，