2024-08-02
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Jin Lein länsituuli on peräisin Aofein temppelistä
Qubits |. Julkinen tili QbitAI
Yao-luokan paras opiskelija Tsinghuan yliopistossaYao Shunyu, ilmoitti virallisesti liittyneensä OpenAI:han.
Mutta juuri tällainen lyhyt viesti on herättänyt kaikkien piirissä olevien huomion ja siunauksen. Tule ja tunne tämä tunne:
Heidän joukossaan on monia, kuten OpenAI:n huippututkimusjohtaja ja amerikkalainen IOI-valmentaja.Mark Chen, sekä professorit, sijoittajat jne. tekoälyn alalla.
Joten miksi Yao Shunyu herättää niin paljon huomiota?
Hänen aiemmasta ansioluettelostaan päätellen voimme poimia seuraavat avainsanat:
△Yao Shunyu, kuvan lähde: henkilökohtainen kotisivu
Mutta hänen suhteellisen valoisan ansioluettelonsa lisäksi hänen monet tieteelliset tutkimussaavutuksensa todella toivat Yao Shunyun julkisuuteen:
Ei ole liioiteltua sanoa, että lähes jokainen tutkimus on aiheuttanut huomattavia aaltoiluja ympyrässä, ja on hyvin ilmeistä, että ne kaikki ympäröivät syvästiiso malliJa avautua.
Tämä saattaa myös vastata lausetta Yao Shunyun virallisessa ilmoituksessa:
On aika muuttaa tutkimuksen visio todeksi.
Mitä tulee tähän "tutkimuksen näkemykseen", katsotaanpa tarkemmin.
Jos katsot Yao Shunyun kotisivua, erityisesti opinnäytetyön tutkimusosiota, ei ole vaikea löytää lausetta, joka esiintyy hyvin usein...Kieliagentit。
Hänen X-kotisivullaan olevan profiilin ensimmäinen lause on myös Language Agents:
Ja tämä on myös hänen väitöskirjansa nimi:Kieliagentit: Next-Token Predictionista digitaaliseen automaatioon。
Kieliagentit, nimittäinkieliagentti, Yao Shunyu ehdotti uudenlaista agenttia.
Perinteisistä agenteista poiketen tämä menetelmä käyttää kielimalleja agenttien päättelyyn ja toimintaan keskittyen saamaan heidät ymmärtämään.digitaalinen automaatio(Digitaalinen automaatio).
Mitä tulee erityisiin toteutusmenetelmiin, on olemassa kolme keskeistä tekniikkaa (kaikilla on riippumattomia papereita), jotka ovat:
Esimerkkinä ReActin tutkimuksesta on tarkoitus laajentaa kielimallin toimintatilaa toimintajoukon ja kielitilan liitoksiksi.
Kieliavaruudessa tapahtuvat toimet (eli ajattelu- tai päättelyradat) eivät vaikuta ulkoiseen ympäristöön, mutta voivat päivittää kontekstia nykyisen kontekstin pohdinnan kautta ja tukea tulevaa päättelyä tai toimia.
Esimerkiksi alla olevassa kuvassa näkyvässä dialogissa ReAct-menetelmää voidaan käyttää ohjaamaan agenttia kiertämään prosessia "ideoiden luominen → toimiin ryhtyminen → tulosten tarkkailu".
Tällä tavoin päättelyn liikerata ja toiminta voidaan yhdistää, jolloin malli pystyy suorittamaan dynaamista päättelyä, mikä parantaa agentin päätöksentekoa ja lopputuloksia.
Jos ReAct-menetelmä tiivistyy agentin antamiseen"syytä toimia", niin seuraava menetelmä onajatteleva puu, niin keskitytään antamaan agentti“syytä suunnitella”。
Ajattelupuu esittää ongelman haun puurakenteesta. Jokainen solmu on tila, joka edustaa osittaista ratkaisua, ja haarat vastaavat tilaa muokkaavia operaatioita.
Se koskee pääasiassa neljää asiaa:
Ajattelupuuta soveltamalla "24 pisteen" peliin verrattuna aikaisempaan ajatteluketjuun (CoT), tarkkuusaste on parantunut merkittävästi.
Mitä tulee kieliagenttien viimeiseen avainteknologiaanCoALA, on käsitteellinen kehys kieliagenttien järjestämiseen ja suunnitteluun.
Alla olevasta rakennekaaviosta päätellen se on karkeasti jaettu kolmeen moduuliin: tiedon tallennus, toimintatila ja päätöksenteko.
Tiedon tallennus tarkoittaa, että kieliagentti tallentaa tietoja useisiin muistimoduuleihin, mukaan lukien lyhytaikainen työmuisti ja pitkäkestoinen muisti (kuten semanttinen muisti, episodinen muisti ja prosessimuisti).
Näitä muistimoduuleja käytetään tallentamaan erityyppistä tietoa, kuten aistinvaraista syötettä, tietoa, kokemusta jne., ja niillä on rooli agentin päätöksentekoprosessissa.
Lisäksi CoALA jakaa agentin toimintatilan ulkoisiin toimintoihin ja sisäisiin toimiin liittyy vuorovaikutusta ulkoisen ympäristön kanssa, kuten robottien ohjaaminen, ihmisten kanssa kommunikointi tai toimintojen suorittaminen digitaalisissa ympäristöissä.
Sisäiset toimet ovat vuorovaikutuksessa agentin sisäisen tilan ja muistin kanssa, mukaan lukien toiminnot, kuten päättely, haku ja oppiminen.
Viime kädessä kieliagentti valitsee suoritettavan toiminnan päätöksentekoprosessin kautta ja tämä prosessi löytää myös optimaalisen ratkaisun eri tekijöiden ja palautteen perusteella.
Lisäksi on töitä, kuten avoimen lähdekoodin tekoälyohjelmoijatSWE-agenttitijne., on myös laajalti levinnyt piirissä.
Mutta Yao Shunyun monista tieteellisistä tutkimusaiheista, kieliagenttien lisäksi voimme nähdä myös toisen avainsanan, jota hän tavoittelee --laskennallinen ajattelu。
Tämä paljastettiin itse asiassa, kun hän oli perustutkinto.
Ennen kuin hän meni Princetonin yliopistoon opiskelemaan tietojenkäsittelytieteen tohtoriksi, Yao Shunyu, vuoden 2015 luokan vanhempi, jakoi oppimis- ja kasvukokemuksensa Tsinghuan yliopistossa uusintakokeiden hakijoiden kanssa Tsinghuan vuoden 2019 erityyppisten avajaisissa. riippumattomista valinnan uusintatutkimuksista.
Asiaankuuluva sisältö on tallennettu hänen kirjoittamaansa artikkeliin, jonka otsikko on "Mitä opit Yao-luokassa Tsinghuan yliopistossa? Yao Shunyu: Tarpeeksi muuttaa maailmaa."
Tuolloin hän keskittyi laskennallisen ajattelun jakamiseen sekä teoreettisesta että käytännön näkökulmasta ja paljasti, että hänen mielestään neljän vuoden jälkeenSuurin hyöty on laskennallinen ajattelu：
Näemme nyt paljon asioita, jotka ovat teoriassa mahdottomia. Niin sanottu teoria ohjaa käytäntöä, mielestäni se tarkoittaa enemmän sitä, että pitää ymmärtää korkealta tasolta järjestelmän kykyjen rajat ja asioiden vaikeus ja sitten valita mitä voidaan tehdä ja mikä on mielekästä.
Aurinkoisen ja iloisen pojan tunnisteeseen lukittuneena Yao Shunyu jakoi myös kokemuksensa Argentiinaan Tsinghuan eteläisen soluttautumisen ohjelmasta:
Tapasin ryhmän argentiinalaisia lapsia... Englantia ei puhuta yleisesti, argentiinalaiset puhuvat espanjaa. Yritin kerran oppia espanjaa, mutta luovutin, koska opiskelin tietokoneita ja otin Google-kääntäjän pois. Kerroin heille Kielletystä kaupungista ja Pekingin muurista...
△ Lähde: Tsinghua Admissions virallinen tili
Hänen mielestään tällä aikakaudella tietojenkäsittely voidaan yhdistää mihin tahansa tieteenalaan, ja maailma on iso paikka, ja voit tehdä Tsinghuassa mitä haluat.
Kuka muu Yao-luokasta työskentelee suurten mallien parissa Yao Shunyusta puhumisen jälkeen?
Minun on mainittavaMa TengyujaChen Danqi。
He olivat tuolloin luokkatovereita, Tsinghua Yao -luokan alumneja vuonna 2008, ja molemmat voittivat myöhemmin Sloan-palkinnon, joka tunnetaan nimellä "Nobel Prize Trend Vane".
Tohtori Ma Tengyu opiskeli Princetonin yliopistossa, jossa hänen mentorinsa oli professori Sanjeev Arora, teoreettinen tietojenkäsittelytieteilijä ja kaksinkertainen Gödel-palkinnon voittaja.
Valmistuttuaan tohtorintutkinnosta huippuyliopistot, kuten MIT, Harvard ja Stanford, tarjosivat hänelle apulaisprofessoreja, ja Ma Tengyu valitsi lopulta Stanfordin.
Viime vuoden lopulla Ma Tengyu ilmoitti myös virallisesti Voyage AI:n, suuren mallin startup-yrityksen perustamisesta. Hän paljasti johtavansa tiimiä, joka rakentaa tällä hetkellä parhaan sulautetun mallin ja tarjoaa myös räätälöityjä malleja, jotka keskittyvät tietty ala tai yritys.
Kolme professoria, mukaan lukien Christopher Manning, Stanfordin tekoälylaboratorion johtaja, ja Li Feifei, kuuluisa kiinalainen tekoälyn tutkija, toimivat Voyage AI:n akateemisina neuvonantajina.
Chen Danqi suoritti perustutkinto-opinnot Tsinghua Yao Banissa ja suoritti tohtorin tutkinnon Stanfordin yliopistossa vuonna 2018 keskittyen NLP:hen. Hänestä tuli lopulta Princetonin yliopiston tietojenkäsittelytieteen laitoksen apulaisprofessori ja Princeton Language -osaston apulaisjohtaja ja Intelligence Project, joka on Princetonin NLP-ryhmän johtaja.
Hänen kotisivunsa osoittaa, että "minua houkuttelee nykyään lähinnä suurten mallien kehittäminen" ja hänen tutkimiaan aiheita ovat mm.
Chen Danqin tiimin laaja mallityö ja kubitit kiinnittävät myös edelleen huomiota.
Esimerkiksi datanvalintaalgoritmi LESS, ehdotettu kustannussäästömenetelmä suurille malleille, valitsee käskyjen hienosäätöön vain 5 % tehtävän kannalta oleellisimmista tiedoista, mikä on parempi vaihtoehto kuin koko tietojoukon käyttäminen.
Ohjeiden hienosäätö on keskeinen askel, kun perusmallista tulee ChatGPT-avustajamalli.
Ehdotettu suosittu "alpaca leikkaus" menetelmä - LLM-Shearing suuri malli karsiminen menetelmä, joka käyttää vain 3% laskennan määrä ja 5% kustannuksista saada SOTA, hallitsee 1B-3B mittakaavassa avoimen lähdekoodin suuria malleja.
Näiden kahden lisäksi monet Yao Class -alumnit työskentelevät suurten mallien parissa teollisuudessa ja korkeakouluissa.
Suuri malli natiivisovellus, joka oli suosittu kaikkialla Internetissä, oli "Valmis!" "I'm Rounded by Big Models" ja sen jatko-osan "I Broken the Big Models" kehitti Yao Classin huippuoppilaiden johtama tiimi.
pelin kirjoittajaFan Haoqiang , Megvii Työntekijä nro 6. Tuolloin häntä ylistettiin nerokkaaksi pojaksi hänen legendaarisista teoistaan, kuten IOI:n kultamitalista, häntä suositeltiin Tsinghua Yao -luokkaan ja hän harjoitteli toisena opiskelijana lukiossa. Nyt hän on Megvii Technologyn tutkimuksen johtaja ja alan johtava Google Scholarin h-indeksi 32.
Muskin xAI:n ensimmäinen tutkimustulos - Tensor Programs VI, sisältää myös Yao-luokan alumneja yhteistyöhön.
Tensor Programs VI on jatkoa Greg Yangin, xAI:n perustajajäsenen ja Shing-tung Yaun oppilaan, edelliselle Tensor Programs -sarjalle, ja artikkeli keskittyy "miten kouluttaa äärettömän syviä verkkoja".
Sanotaan, että Tensor-ohjelmiin liittyviä tuloksia on sovellettu GPT-4:ssä. Lehden tulkitsemiseksi Yang itse suoritti myös suoran lähetyksen X:llä.
Työskennellä yhdessäDingli Yu, valmistui Tsinghuan yliopiston Yao Classista. Tällä hetkellä Dingli Yu valmistuu Princetonin tietojenkäsittelytieteen laitokselta.
Niitä on monia, monia muita......
Puhuttaessa Yao Shunyun rekrytoinnista OpenAI:han tällä kertaa, OpenAI:n rekrytointityöt jatkuvat edelleen.
OpenAI-insinööri Karina Nguyen julkaisi uusimman rekrytointiviestin:
- OpenAI-mallikäyttäytymistiimi palkkaa! Tämä on unelmatyö, jossa yhdistyvät suunnittelusuunnittelu ja koulutuksen jälkeinen tutkimus, ja se on maailman harvinaisin työ❤️
- Käytämme kohdistusmenetelmiä, kuten RLHF/RLAIF, määrittääksemme ydinkäyttäytymismalleja, jotka kuvastavat perusarvoja ja parantavat AGI:n luovaa älykkyyttä. Näiden tulosten avulla teemme yhteistyötä tuote- ja mallisuunnittelu- ja suunnittelutiimien kanssa luodaksemme uusia malleja tekoälyliittymistä ja vuorovaikutuksista, jotka vaikuttavat miljooniin käyttäjiin...
Mielenkiintoista on, että Karina Nguyen oli itse asiassa Anthropic AI:n (Clauden tiimi) tutkija. Viime vuoden toukokuussa hän osallistui myös nopeaan sanan kaksintaisteluun X:ssä (entinen Twitter) OpenAI:n Jason Wein kanssa, Think Chainin kirjoittajan. Säätiöpaperi”.
En odottanut Karina Nguyenin siirtyvän OpenAI:hen niin nopeasti…
Muuten, juuri eilen levisi uutinen, että Google DeepMind -tutkija Thibault Sottiaux palkattiin myös OpenAI:hen.
Tiedätkö, Thibault Sottiaux oli keskeinen kirjoittaja sellaisissa papereissa kuin alkuperäinen Gemini ja Gemini 1.5.
Tämä osoittaa, kuinka suosittu suuri mallirata on tällä hetkellä Yritykset kilpailevat radasta ja ihmiset kilpailevat ihmisistä.
Kaksi muuta Yao Shunyua valmistui Tsinghuan yliopistosta samana vuonna kuin Yao Shunyu!
Kun kolme Yao Shunyu -opiskelijaa valmistuivat vuonna 2019, Tsinghuan yliopiston virkamiehet julkaisivat Weibo-viestin ja julkaisivat ryhmäkuvan heistä kolmesta.
OpenAI:han nyt liittyneen Yao Shunyun lisäksi on olemassa toinen Yao Shunyuhumanistinen kouluTyttö pääaineenaan japani.
Toinen Yao Shunyu on Yao ShunYu, alkaenFysiikan laitos, hän on voittanut Undergraduate Special Award -palkinnon vuonna 2018. Hän julkaisi perustutkinto-aikanaan kaksi artikkelia ensimmäisenä kirjoittajana fysiikan huippulehdessä PRL (Physical Review Letters) ja yhden julkaisussa PRB (Physical Review B).
Viitelinkit:
[1]https://x.com/ShunyuYao12/status/1818807946756997624
[2]https://ysymyth.github.io
[3]https://x.com/karinanguyen_/status/1819082842238079371
[4]https://weibo.com/1676317545/HCR7yuXAl?refer_flag=1001030103_
Kerää ja järjestele viimeisimmät uutiset ja tee ne kaikkien tarkastettavaksi ilmaiseksi.
