uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

teksti 丨hän qianming

toimittaja丨cheng manqi huang junjie

openai:n tämän vuoden tärkein tuote, o1-malli, julkaistiin aikataulun mukaisesti. tekoälyn suurimman voitontekijän nvidian osakekurssi on noussut 10 % kahdessa päivässä.

o1, joka kuluttaa enemmän laskentatehoa kysymyksiin vastaamiseen, "ajattelee" kymmeniä sekunteja tai jopa pidempään nähdessään kysymyksen ennen kuin vastaa. openai sanoo pystyvänsä vastaamaan olympialaisten matemaattisiin kysymyksiin tai suorittamaan ohjelmointitehtäviä paljon paremmin kuin markkinoilla jo olevat suuret mallit.

mutta openai:n toimitusjohtajan sam altmanin hyvä mieli katkesi nopeasti. hänen twiittinsä, joka ilmoitti o1:n täydellisestä julkaisusta, oli: "milloin uusi äänitoiminto on saatavilla??" hän vastasi välittömästi: "voitko kestää muutaman viikon kiittää sinua tästä taikuudesta ja sitten haluat?" uusi lelu?"

tämä käyttäjä ei halua altmanin jälkeen uutta lelua, vaan tulevaa gpt-4o päästä päähän -äänitoimintoa, jonka openai lupasi tämän vuoden toukokuussa. tuolloisessa live-esittelyssä tämä uusi tekoäly kuulosti luonnolliselta, vastasi hyvin nopeasti ja tiesi milloin keskeyttää, mikä vaikeutti totuuden erottamista valheesta. virallisen aikataulun mukaan kymmenet miljoonat maksavat chatgpt-käyttäjät olisivat käyttäneet tätä ominaisuutta muutaman viikon sisällä, mutta kassalle on viivästynyt toistaiseksi.

viimeisen vuoden aikana openai:n tuotteet ovat olleet samankaltaisia ​​"tulevaisuuksia": gpt-4 on ollut verkossa yli vuoden, eikä openai:n seuraavan sukupolven mallissa gpt-5 ole vielä merkkejä julkaisusta. openai:n aiemmin tänä vuonna julkaisemaa videomallia sora ei ole julkaistu suuressa mittakaavassa toistaiseksi vain harvat heidän valitsemansa alan ammattilaiset ovat käyttäneet sitä.

alan ykkösviiveet ovat toistuvasti kuluttaneet pääomamarkkinoiden kärsivällisyyttä suuria tekoälymalleja kohtaan. jotkut kiinalaiset teknologiajätit ja suuret malliyritykset keskeyttivät perusmallien koulutuksen tämän vuoden puolivälissä, panostivat enemmän resursseja sovelluskehitykseen tai vuokrasivat gpu-laskentatehoa ulkopuolisille asiakkaille. he ovat huolissaan siitä, että tekniikassa ei ole paljon kehittymisen varaa, joten he alkavat vähentää investointeja ja pyrkiä tuottoon.

ennen tätä viikkoa nvidian markkina-arvo oli pudonnut yli 20 % kesäkuun huipulta, ja microsoftin markkina-arvo oli myös kutistunut 13 %, ja kukin menetti satoja miljardeja dollareita. microsoftin talousjohtaja sanoi, että heidän suuriin malleihin sijoittamansa kymmenet miljardit dollarit joutuvat odottamaan 15 vuotta tai enemmän toipuakseen.

sequoia-tutkimukset osoittavat, että investoinnit tekoälyalaan ylittivät viime vuonna tulot yli 120 miljardilla dollarilla ja voivat kasvaa 500 miljardiin dollariin tänä vuonna. mutta nvidiaa lukuun ottamatta harvat yritykset ovat nähneet suuren osan liikevaihdon kasvusta. yhä useammat alan ihmiset alkavat keskustella siitä, että jos suurten mallien ominaisuudet pysähtyvät tähän, puhkeaako tekoälykupla uudelleen?

"kuplat" eivät välttämättä ole huono asia. ennen kuin uusi teknologia muuttaa maailmaa, tulee vaihe, jolloin visio ylittää paljon todellisuuden. ero on siinä, voidaanko visio toteuttaa ja milloin. jos sitä ei voida toteuttaa pitkällä aikavälillä, kupla puhkeaa ja yritys menee konkurssiin. vakava kuplan puhkeaminen voi jopa tyrmätä kentän tai jopa useita talouksia. jos visio toteutuu, se ei ole muuta kuin alaviite teknologian kehitykseen.

openai:n julkaisema o1 kumoaa ainakin väliaikaisesti epäröinnin siitä, ettei suurissa malleissa ole tilaa edistymiselle, ja pidentää suurten mallien "kuplan" elinikää.

uuden teknologian on kehitettävä edelleen, ennen kuin se voi muuttaa maailmaa. o1:n ainutlaatuisuus ei ole vain siinä, että suorituskykyä ohjelmoinnin, matematiikan, fysiikan ja muiden alojen parissa on parannettu huomattavasti, vaan myös siinä, että se on löytänyt tien eteenpäin ryhmälle openai-seuraajia ja heidän takanaan oleville sijoittajille: menneisyydessä tietojenkäsittely tehoa käytettiin enemmän "tiedon muistamiseen" ——käyttäen suurta datamäärää mallin harjoittamiseen, o1 varaa enemmän laskentatehoa "ajatteluun vastattaessa kysymyksiin", eli päättelyprosessiin, ja looginen kyky paranee huomattavasti.

tätä ennen suuri mallikoulutus oli pudonnut alkuperäisten skaalauslakien pullonkaulaan mallin parametriasteikon laajentamisen jälkeen suorituskyvyn parantaminen hidastui vähitellen.

erityisesti matematiikkaan, ohjelmointiin ja tieteellisiin ongelmiin optimoitu o1-mini tarjoaa myös huomattavaa sovelluspotentiaalia. se ei voi ainoastaan ​​auttaa tutkijoita ja kehittäjiä parantamaan työn tehokkuutta, vaan myös osoittamaan kehityssuorituskykyä ja turvallisuutta muilla arvokkailla aloilla ovat parempia mallilähestymistapoja.

kuten tavallista useiden julkaisujen kohdalla, openai valitsi huolellisesti o1:n julkaisuajankohdan. mediatietojen mukaan openai etsi 7 miljardia dollaria uutta rahoitusta 150 miljardin dollarin arvosta. mahdollisia sijoittajia ovat apple, nvidia, microsoft ja yhdistyneet arabiemiirikunnat. nyt kilpailulla resurssien investoinneista on toinen syy jatkaa.

suuresta kielimallista "päätelmämalliksi" o1 on vahva teoriassa ja heikko kirjallisuudessa

tällä kertaa openai julkaisi käyttäjille kaksi mallia: o1-preview ja o1-mini, ja ilmoitti, että lisää o1-sarjan malleja on tulossa.

syy, miksi tämä sarja on nimetty o1:ksi gpt:n sijaan, johtuu siitä, että näiden kahden harjoitusmenetelmissä on ilmeisiä muutoksia. openai:n o1:tä esittelevässä blogiviestissä sitä kutsutaan useasti päättelymalliksi (reasoning model) gpt:tä kutsuttaessa yleisesti käytetyn large language model (large language model) sijaan.

perinteisten suurten kielimallien, kuten gpt:n, yleinen harjoittelulogiikka on esikoulutus ja hienosäätö: käytä ensin massiivisia tietoja opettaaksesi suuri malli ennustamaan seuraava sana esikoulutusvaiheessa ja anna sen sitten oppia ennustamaan seuraava sana hienosäätövaiheessa suuri malli oppii tietyn alan tietoa ja antaa ihmisten kirjoittaa vastauksia opettaakseen suurelle mallille, mitä vastauksia ihmiset haluavat, ja kone kehittyy palautteen perusteella.

o1:n uudet avainsanat ovat vahvistusoppiminen ja ajatusketju (cot).

openai kuvaa prosessia näin: ”vahvistusoppimisen avulla o1 oppii hiomaan ajatteluketjuaan ja jalostamaan käyttämiään strategioitaan parantaa huomattavasti mallin päättelykykyä kokeilemalla erilaisia ​​menetelmiä, kun nykyinen menetelmä ei toimi."

alphago, joka voitti go-maailmanmestarin vuonna 2016, ja sen myöhempi malli alphazero käyttivät vahvistusoppimista, jotta malli pystyi pelaamaan itse ja oppimaan, mitä strategioita käyttää voittoprosentin parantamiseksi eri tiloissa (peleissä). malli voi myös tuottaa tietoa jatkuvien kokeiden avulla mallin kouluttamiseksi.

openai o1 käyttää samanlaista menetelmää: tarjoaa suurelle mallille vaiheittaiset ongelmanratkaisutiedot, jolloin malli oppii korjaamaan itseään ja oppimaan vastaamaan kysymyksiin jokaisessa vaiheessa saadakseen optimaalisen vastauksen.

"tekoälymallin kyky tulee edelleen tiedoista. jos tiedosta alunperin puuttuu jotain tai se ei ole riittävää, malli ei voi oppia sitä. o1 vastaa ammattimaisen datan syntetisointimenetelmän toteuttamista. näillä ammattitiedoilla o1 voi oppia ammatillisia kykyjä", sanoi yuan jinhui, silicon mobilen perustaja.

o1 vastatessaan kysymykseen hän myös jakaa kysymyksen joukoksi pieniä kysymyksiä ja vastaa askel askeleelta perustelemalla tämä on "ajatteluketju". openai-näytön mukaan o1:n kysymyksiin vastaaminen on seuraava (käyttäjän käyttämässä versiossa openai piilottaa ajatteluketjun sisällön):

kysymys (alunperin englanniksi):

kirjoita bash-skripti, joka vastaanottaa matriisin (esitetty merkkijonona muodossa '[1,2],[3,4],[5,6]) ja tulostaa matriisin transponoinnin samassa muodossa.

o1-preview'n ongelmanratkaisuideat (ajatteluketju):

käyttäjä pyysi kirjoittamaan bash-komentosarjan, joka voi vastaanottaa matriisia edustavan merkkijonon, kuten '[1,2], [3,4], [5,6]', ja tulostaa sen transponoinnin samassa muodossa.

ymmärrämme ensin syöttö- ja tulostusmuodot.

syöte: '[1,2], [3,4], [5,6]', sitä vastaava matriisi on:

1 2

3 4

5 6

siksi syöte on sarja rivejä, jotka on suljettu hakasulkeilla ja erotettu pilkuilla.

tämän matriisin transponointi on:

1 3 5

2 4 6

siksi vaadittu tulos on '[1,3,5],[2,4,6]'.

kokonaistehtävä:

kirjoita bash-skripti, joka ottaa yhden argumentin (matriisia edustavan merkkijonon) ja tulostaa sen transponoinnin samassa muodossa.

okei, nyt harkitaan kuinka jäsentää syötemerkkijono bashissa, rakentaa matriisi (mahdollisesti taulukon avulla), transponoida se ja sitten tulostaa transponoitu matriisi säilyttäen samassa muodossa.

rajoitukset:

- koska tämä on bashia, meidän on oltava varovaisia ​​merkkijonojen jäsentämisessä.

- skriptin tulee hyväksyä syötemerkkijono parametrina.

menetelmä:

-jäsennys syötemerkkijono poimiaksesi matriisielementit.

- muodosta matriisi taulukoiden joukoksi.

- transponoi matriisi.

- tulosta transponoitu matriisi samassa muodossa.

käyttöönoton vaiheet:

1. kaappaa syötemerkkijono parametriksi.

2. poista kaikki välilyönnit (jos sellaisia ​​on).

3. jäsennä syötemerkkijono ja pura luvut taulukkoon.

-koska syöttömuoto on [1,2], [3,4], [5,6], voimme:

-- irrota ulkokiinnikkeet tarvittaessa.

-- jaa merkkijono ']:lla, niin saat jokaisen rivin.

--poista jokaiselta riviltä "[" ja "]" ja erottele sitten elementit ",".

4. muodosta kaksiulotteinen taulukko (matriisitaulukko) bashissa.

-koska bash-taulukot ovat yksiulotteisia, meidän on simuloitava kaksiulotteinen taulukko.

5. transponoi matriisi.

- transponoitaessa meidän on vaihdettava rivejä ja sarakkeita.

6. tulosta transponoitu matriisi halutussa muodossa.

- rekonstruoi tulostemerkkijono muodossa [1,3,5], [2,4,6].

aloita nyt koodin kirjoittaminen askel askeleelta.

mahdolliset ongelmat:

-bashilla itsessään ei ole natiivia moniulotteisia taulukoita, joten meidän on simuloitava se.

-meidän täytyy käsitellä lukuja, jotka voivat olla moninumeroisia.

seuraavaksi voimme alkaa kirjoittaa tämän bash-skriptin puitteita askel askeleelta.

【hieman】

testataan nyt tätä komentosarjaa käyttämällä esimerkkisyötettä '[1,2],[3,4],[5,6]'.

yritän simuloida mitä tapahtuisi.

kirjoitan sen vastaukseksi.

vahvistusoppiminen tai ajatuksen ketjuttaminen eivät olleet openai:n ensimmäiset tekniset suunnat.

ennen kuin o1 tuli verkkoon, google deepmind julkaisi heinäkuussa päivitetyn version vastaavalla menetelmällä harjoitellusta alphageometry-mallista, joka voitti hopeamitalin international mathematical olympiad imo:ssa.

mutta openai osoitti jälleen kerran, että he voivat ottaa johtoaseman kehittäessään malleja, joilla on hämmästyttävämpiä tuloksia alaan perustuen. openai:n mukaan heidän kansainvälistä informatiikkaolympialaisia ​​varten koulutettu o1-ioi-malli voi voittaa kultamitalin.

uusilla koulutus- ja päättelymenetelmillä openai o1-preview ylittää merkittävästi gpt-4o:n vaikeiden matemaattisten ongelmien ratkaisemisessa ja ohjelmointitehtävien käsittelyssä. esimerkiksi kilpailun matematiikan tietojoukossa aime 2024 o1-esikatselupiste on yli 4 kertaa gpt-4o:n ohjelmointikilpailutietojoukossa codeforces, ero on 5,6-kertainen.

matematiikan kilpailuissa, ohjelmointikilpailuissa ja tieteellisissä kysymys- ja vastausaineistotesteissä o1-preview ja o1 ylittivät merkittävästi gpt-4o:n.

openai sanoi, että tällä hetkellä rajoitetut versiot openai o1-preview:sta ja openai o1-mini -versiosta ovat vasta varhaisia ​​versioita. niiden seuraava malli toimii samalla tavalla kuin jatko-opiskelija haastavissa koekysymyksissä fysiikan, kemian, biologian jne., kun taas edellinen malli useimmat. ovat perustutkinto- tai maisteritasolla.

teknologiaa todeksi muuttaessaan openai mainitsi 212 kirjoittajaa, mikä on verrattavissa gpt-4o:n tekstiosan kirjoittajiin (234 henkilöä). mutta o1-harjoittelu vaatii enemmän datatyyppejä. openai mainitsi, että o1:n esikoulutuksessa käytettävä data tulee julkisista tietojoukoista, kumppanien omistamista tiedoista ja sisäisesti kehitetyistä mukautetuista tietojoukoista, kun taas gpt-4o käyttää vain kahta ensimmäistä tietotyyppiä hallitseessaan tekstiominaisuuksia.

o1-sarja, joka on vinoutunut "päätelmämalleihin", ei ole täysin ylittänyt gpt-4o:ta, ja sen kielitaito on sen suhteellinen heikkous.

openai:n testeissä useimmat ihmiset uskovat, että o1-esikatselu on parempi kuin gpt-4o vastaamaan kysymyksiin, jotka arvostavat päättelyä, kuten data-analyysiä, ohjelmointia ja matematiikkaa. kuitenkin henkilökohtaisen kirjoittamisen, tekstin muokkauksen jne. kannalta gpt-4o on silti parempi.

ongelmat, joita gpt-4o ei voi ratkaista, näkyvät myös o1-esikatselussa. esimerkiksi se tekee myös "hölynpölyä" ja luulee, että 9.11 on suurempi kuin 9.2.

henkilökohtaiseen kirjoittamiseen, tekstin muokkaamiseen jne. gpt-4o on parempi.

ajatteluketjun tuoma pidempi vasteaika (ajattelu) voi olla o1-sarjan puute varsinaisessa käytössä. kun pyydettiin "listaamaan viiden maan nimet, joiden kolmas kirjain on a", gpt-4o kesti vain 3 sekuntia, kun taas o1-mini kesti 9 sekuntia, o1-esikatselu 32 sekuntia ja gpt-4o kymmenen kertaa. periaatteessa ei ole käytettävissä yksinkertaisissa kysymyksissä.

toistaiseksi o1-previewilla ja minillä ei ole verkkoselailua, tietojen hankkimista ja ladattujen tiedostojen ja kuvien käsittelyä, kuten gpt-4o. tällä hetkellä näyttää siltä, ​​että nopeimmat ihmiset, jotka voivat käyttää o1:tä tuottavuuden parantamiseen, ovat ohjelmistokehittäjät, mutta openai rajoittaa myös tapaa, jolla he kutsuvat api:ta: he voivat soittaa vain 20 kertaa minuutissa, lukuun ottamatta toimintoja, kuten toimintokutsuja, suoratoistoa ja järjestelmäviestien tuki.

skaalauksen harjoittelusta päättelyskaalaukseen, laskentatehokilpailu jatkuu

monen suuren mallitutkijan näkemyksen mukaan o1:n tärkein muutos on se, että se näyttää uuden tien suurten mallien kykyjen huomattavaan parantamiseen.

alkuperäiset skaalauslainsäädäntö tarkoittaa, että käyttämällä enemmän dataa ja laskentatehoa suuremmilla parametreilla varustetun mallin kouluttamiseen johtaa parempaan suorituskykyyn.

kuten alla olevasta kuvasta näkyy, o1 osoittaa, että jos malli käyttää enemmän aikaa ja enemmän laskentatehoa kysymyksiin vastaamiseen (testiajan laskenta), suorituskyky paranee edelleen. nvidia:n vanhempi ai-tutkija jim fan sanoi sosiaalisessa mediassa, että tämä saattaa olla tärkein kuva suuressa mallitutkimuksessa sen jälkeen, kun deepmind ehdotti chinchillin skaalauslakeja (alkuperäisten skaalauslakien optimointi) vuonna 2022.

jim fan ehdotti myös mahdollisuutta suurten mallien tulevaan evoluutioon: tulevat mallit voivat erottaa päättelyn tiedosta, niillä voi olla pieni "päättelyydin" ja myös käyttää useita parametreja faktojen (tiedon) muistamiseen testausta varten, kuten triviakysymyksiä. ja vastaukset loistavat.

openai mainitsi myös erityisesti o1:tä esittelevässä artikkelissa, että he jatkavat gpt-mallien kehittämistä. tämä saattaa viitata siihen, että openai tuo o1:ssä käytetyt menetelmät seuraavan sukupolven gpt-malliin.

riippumatta siitä, tuleeko o1:stä uusi valtavirtamenetelmä vai yhdistetäänkö o1 gpt-sarjaan seuraavan sukupolven suurten mallien kehittämiseksi, laskentatehovaatimusten pitäisi kasvaa entisestään.

openai ei ole paljastanut o1-sarjan päättelykustannuksia, mutta o1-mallin kysymyksiin vastaamiseen kuluvasta ajasta ja openai:n o1:n käyttörajoituksista voidaan päätellä, että o1 vaatii paljon suurempia päätelmien laskentaresursseja kuin gpt-sarja.

chatgpt plus -maksulliset käyttäjät, jotka käyttävät 20 dollaria kuukaudessa, voivat tällä hetkellä käyttää o1-previewia vain 30 kertaa ja o1-miniä 50 kertaa viikossa. gpt-4o:n nykyinen raja on 4 480 kertaa viikossa (80 kertaa 3 tunnin välein), mikä on 90 kertaa o1-mini ja 150 kertaa o1-esikatselu.

aika, jonka o1-esikatselu vastaa kysymyksiin, on pidentynyt gpt-sarjan mallien sekunneista kymmeniin sekunteihin tai jopa pidempään. se käsittelee myös huomattavasti enemmän tekstiä vastatessaan kysymyksiin. otetaan artikkelissa luetellut ohjelmointiongelmat esimerkkinä "ajatteluketjun" esittämisestä. kun o1 ratkaisi sen, mukaan lukien ajatteluketju, se käsitteli 6632 merkkiä, mikä oli 4,2 kertaa enemmän kuin gpt-4o. pidempi laskentaaika ja pidempi lähtö lisäävät laskentatehokustannuksia.

o1 tekoälynäkymien ja laskentatehon kulutuksen piristyminen näkyi nopeasti pääomamarkkinoilla. sen jälkeen kun media kertoi tämän viikon alussa, että openai julkaisee uuden mallin, nvidian osakekurssi on noussut 10%, ja myös microsoft on noussut yhdessä.

niillä yrityksillä, jotka ovat epävarmoja teknologian kehityksen suunnasta tai ovat hidastaneet perusmallien tutkimustaan, on nyt uutta tehtävää ja uusia suuntia rullattavana. o1:n julkaisun suuri todennäköisyys tarkoittaa, että "päätelmämallien" osalta kilpailuero on jälleen kasvanut ja kiihtyvä kiinnikuro- ja investointikierros on tulossa.

"on aika ryhtyä töihin, muuten emme ole enää pelissä", sanoi kiinalainen suuren mittakaavan mallitutkija.

otsikkokuva: visual china

vuonna 1957 ihmisen tekemä esine saapui maailmankaikkeuteen ensimmäistä kertaa ja kiersi maata kolme viikkoa. kun ihmiset katsovat ylös, he voivat nähdä pienen valon välähdyksen taivaalla yöllä, samansuuntaisesti myyttisten tähtien kanssa.

tällaiset saavutukset leikkaavat eri rotuja ja ideologioita ja herättävät iloa kaikkialla maailmassa. mutta ei voiton iloa, jonka saattaisimme epäillä inhimillisten saavutusten liikuttuneen. politiikan filosofi hannah arendtin silloisen havainnon mukaan ihmisten mieliala on lähempänä kauan odotettua helpotusta – tiede on vihdoin saavuttanut odotukset, ja ”ihmiskunta on vihdoin matkalla ulos maan vankilasta otettu."

ihmiset mukauttavat aina nopeasti odotuksiaan maailmasta teknologisen tutkimuksen perusteella. kun tieteiskirjailijan fantasia muuttuu todeksi, se tapahtuu usein silloin, kun teknologia vihdoin saavuttaa ihmisten odotukset, tai arendtin sanoin "teknologia ymmärtää ja vahvistaa, että ihmisten unelmat eivät ole hulluja eivätkä nihilistisia".

nykyisinä aikoina on parempi haaveilla enemmän.

tämä on myös odotus "latepost" käynnistää tech tuesday -sarakkeen. toivomme voivamme säännöllisesti esitellä uutta tieteellistä tutkimusta ja teknologista kehitystä sen bisnesmaailman lisäksi, johon "late" kiinnittää päivittäin huomiota.

nämä voivat olla huippututkimuksen edistymistä, teknologiasovelluksen havainnointia tai kunnianosoitusta joillekin huipputekniikoille tai jopa aikakaudelle.

tämä kolumni tallentaa maailman monipuoliset muutokset tieteen ja teknologian näkökulmasta. tämän matkan aikana toivon, että lukijat voivat liittyä joukkoomme ja saada hieman enemmän ymmärrystä maailmasta.

· fin ·