akateemikko yao qizhin uusi tutkimus suurista malleista on ratkaissut ongelman "kumpi on suurempi, 9.11 vai 9.8?"
2024-09-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
artikkeli on painettu uudelleen qubitissa (qbitai)
kirjoittaja: west windakateemikko yao qizhi ottaa johtoon ja lanseeraa uuden päättelykehyksen suurille malleille cot "kruunu" ei enää kestä.ehdota ajattelukaaviota, jotta suuret mallit ajattelevat enemmän ihmisten tavoin.tiimi tarjoaa matemaattisen perustan tälle päättelyprosessille ja formalisoi dot:n topos-teorian avulla varmistaakseen sen loogisen johdonmukaisuuden ja rationaalisuuden.verrattuna cot:hen, joka ilmaisee päättelyprosessin lineaarisena sekvenssinä, dot voi vangita paremmin ihmisen päättelyn monimutkaisuuden.verrattuna haararakenteiden tot ja got käyttöönottoon dot:n ei tarvitse luottaa ulkoisiin ohjausmekanismeihin tai useiden mallien yhteistyöhön, ja koulutus ja käyttöönotto on yksinkertaisempaa.salaisuus on, että dot mallintaa iteratiivisen päättelyn llm:ssä rakentamalla ohjatun asyklisen graafin (dag) yhden mallin sisällä.dag koostuu solmuista, jotka edustavat ehdotuksia, kritiikkiä, tarkennuksia ja tarkennuksia. reunat edustavat loogisia suhteita tai riippuvuuksia niiden välillä, eikä niitä ole.tämä asyklinen ominaisuus varmistaa, että ympyräriippuvuudet eivät vaikuta päättelyprosessiin ja että se voi heijastaa aidommin järkevää loogista johtamista.kysymykset, kuten kumpi on isompi, 9.11 vai 9.8, ja kuinka monta "r":tä mansikassa on, ratkaistaan kaikki dot:n avulla.tämä tutkimus sai paljon huomiota sen ehdottamisen jälkeen.netizenit ovat ilmaisseet, että tämä on oikea tie.katsotaanpa, miltä dot näyttää.uusi kehys monimutkaiselle päättelylle suurissa malleissa
kuten aiemmin mainittiin, dot mallintaa loogisen päättelyn rakentamalla ohjatun asyklisen graafin (dag) yhden llm:n sisällä.sen puitteissa hallitaan kolmea avainroolia:ehdottaja: luo ehdotuksia tai päättelyvaiheita, lisää uusia solmuja.
kriitikot: arvioi ehdotuksia, tunnista virheet, epäjohdonmukaisuudet tai loogiset virheet ja lisää kritiikkiä.
yhteenveto: syntetisoi vahvistetut ehdotukset yhtenäiseksi ajatteluketjuksi ja suorita tehokkaasti topologinen dag tuottaaksesi lopullisen päättelytuloksen.
nämä kolme roolia käyttävät erityisiä tunnuksiapäättelyprosessi alkaa ehdottajan esittelemällä ehdotuksen ja lisäämällä solmun dag:hen.sen jälkeen arvioijien tehtävänä on arvioida, vahvistaa tai esittää kritiikkiä. jos kritiikkiä tarjotaan, uusi solmu lisätään ja ehdotuksen ja kritiikin välille muodostuu reuna.kritiikin perusteella ehdottaja luo jalostetun ja parannetun ehdotuksen, joka esitetään uutena solmuna dag:ssa.kun riittävän pätevät ehdotukset on laadittu, yhteenvetäjä syntetisoi nämä päättelyt ja lajittelee topologisesti dag:n muodostaen yhtenäisen ajatusketjun.altistamalla mallin sekä oikealle että väärälle päättelylle, dot antaa llm:lle mahdollisuuden oppia virheistään ja tarkentaa päättelyään ajan myötä, enemmän kuin ihmisten ongelmien ratkaisemisessa.tämä lähestymistapa ei ainoastaan kaappaa päättelyn epälineaarista ja iteratiivista luonnetta, vaan tarjoaa myös luonnollisen kielen kritiikin kautta rikkaampaa palautetta kuin binaariset signaalit.dot:n koulutuksessa käytetään dot-rakenteeseen muotoiltuja koulutusesimerkkejä, mukaan lukien roolikohtaiset tunnisteet ja dag-esitykset. päättelyn aikana malli luo ehdotuksia, kritiikkiä ja yhteenvetoja kontekstuaalisten vihjeiden ja roolikohtaisten merkkien perusteella.tämä lähestymistapa yksinkertaistaa käyttöönottoa ja eliminoi usean llm:n yhteistyön tai ulkoisten ohjausmekanismien tarpeen, mutta pysyy yhdenmukaisena llm:n vakiokoulutusparadigmien kanssa helpon integroinnin olemassa oleviin työnkulkuihin.kirjoittaja tarjoaa myös tiukan matemaattisen perustan dot-kehykselle hyödyntäenpäättelyprosessi kuvataan muodollisesti.tässä kehyksessä ehdotukset mallinnetaan topologian pääteobjektien aliobjekteiksi, loogiset suhteet ja päättelyvaiheet esitetään morfismeina ja kritiikki- ja parannusprosessit vastaavat aliolioluokittajien morfismeja ja propositioiden välisiä morfismeja.esittelemällä prenet-luokan he onnistuivat myös vangitsemaan päättelyprosessin dynaamisen ja samanaikaisen luonteen.tämä matemaattinen perusta ei ainoastaan takaa päättelyprosessin loogista johdonmukaisuutta ja täydellisyyttä, vaan tarjoaa myös käsitteellisen kehyksen seuraavan sukupolven tekoälymallien suunnittelulle erityisesti päättelyä varten.johtaja yao qizhi ja yuan yang tsinghuan yliopistosta
tätä artikkelia johtivat yao qizhi ja yuan yang tsinghuan monitieteisen tiedon instituutista. paperin ensimmäinen kirjoittaja on zhang yifan.zhang yifan valmistui kandidaatin tutkinnosta vuonna 2021pekingin yliopiston yuanpei college, on tällä hetkellä tohtorikandidaatti tsinghuan yliopiston monitieteisen tiedon koulussa ja opiskelee apulaisprofessori yuan yangin johdolla.hänen pääasiallisia tutkimussuuntiaan ovat perusmallien (suurten kielimallien) teoria ja algoritmit, itseohjattu oppiminen ja luotettava tekoäly.yuan yang on apulaisprofessori ja tohtorinohjaaja tsinghuan yliopiston monitieteisen tiedon koulussa.valmistui pekingin yliopiston tietojenkäsittelytieteen osastolta vuonna 2012 ja suoritti tohtorin tutkinnon cornell-yliopistossa yhdysvalloissa vuosina 2018–2019, ja hän työskenteli tutkijatohtorina school of big data sciencessa massachusetts institutessa; teknologiasta.hänen pääasiallisia tutkimussuuntiaan ovat älykäs sairaanhoito, tekoälyn tulkinta ja suuret tekoälyjärjestelmät. hän on tehnyt monia tutkimussaavutuksia ei-konveksin optimointiteorian, hermoverkkojen optimointiteorian ja mekanismisuunnittelun aloilla.yao qizhi on kiinan tiedeakatemian akateemikko ja tsinghuan yliopiston tieteidenvälisen tiedon instituutin johtaja;turing-palkinto"ensimmäinen aasialainen tutkija, joka on voittanut palkinnon sen perustamisen jälkeen, ja ainoa kiinalainen tietotekniikan tutkija, joka on voittanut tämän kunnian tähän mennessä.professori yao qizhi erosi princetonista vakituisena professorina vuonna 2004 ja palasi tsinghuaan opettamaan vuonna 2005, hän perusti "yao class" -kokeellisen luokan tsinghuan opiskelijoille, hän perusti "tsinghua quantum information centerin". " ja "tietiteidenvälinen tiedontutkimuslaitos"; vuonna 2019 vuonna 2008 hän perusti tekoälyluokan tsinghuan perustutkinto-opiskelijoille, jota kutsutaan nimellä "älykäs luokka".nykyään hänen johtamansa tsinghuan yliopiston monitieteinen tietoinstituutti on ollut pitkään kuuluisa yao class ja zhiban ovat molemmat sidoksissa tieteidenväliseen tietoinstituuttiin.professori yao qizhin tutkimusintressejä ovat algoritmit,kryptografia、kvanttilaskentajne. ovat tämän alan kansainvälisiä pioneereja ja viranomaisia.vielä yksi asia
suunnilleen samaan aikaan vuosi sitten akateemikko yao qizhi johti ehdotustakumulatiivinen päättely(cumulative reasoning, cr) menetelmä.dot on cr:n syventäminen entisestään.tuolloin cr koordinoi iteratiivista prosessia, joka sisälsi suuria eri erikoisalojen kielimalleja, joissa eri mallit ottivat esittelijän, todentajan ja raportoijan roolit.dot puolestaan rakentaa suoraan suunnatun asyklisen kaavion yhteen malliin eikä luota ulkoisiin ohjausmekanismeihin tai useisiin malleihin, mikä tekee koulutuksesta ja käyttöönotosta yksinkertaisempaa.ja dot:ssä mallin tuottama kriittinen palaute on luonnollisen kielen muodossa sen sijaan, että se antaisi vain binaarisen signaalin, kuten cr. tämä antaa mallille mahdollisuuden saada yksityiskohtaisia selityksiä virheistä, mikä auttaa parantamaan ehdotuksia tehokkaammin.tällä kertaa dot:llä on myös vahva matemaattinen perusta, joka selventää dot:n päättelyprosessin ja kategorisen logiikan suhdetta varmistaen päättelyn johdonmukaisuuden ja luotettavuuden teoriassa.
