suuret mallit alkavat oppia ajattelemaan kuin ihmiset. missä on tie agi:hen?
2024-09-18
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
kaksi kuukautta sitten suurten mallien heikkojen matemaattisten kykyjen ongelma on herättänyt laajaa huomiota. monet markkinoiden suuret mallit eivät pysty edes vastaamaan yksinkertaiseen matemaattiseen kysymykseen "kumpi on suurempi, 9.11 vai 9.9?" kaksi kuukautta myöhemmin teollisuus on vähitellen ratkaisemassa suurten mallien matemaattisten ominaisuuksien rajoitusten ongelmaa.
varhain aamulla 13. syyskuuta, pekingin aikaa, openai julkaisi uuden päättelymallisarjan ilman ennakkoilmoitusta, mukaan lukien o1-preview-, o1- ja o1-mini-mallit. tämä on openai:n pitkään huhuttu "strawberry project" edistyneillä päättelyominaisuuksilla. openai:n mukaan uudet mallisarjat suoriutuivat hyvin datasta ja koodauksesta, saaden 83 % pistemäärän international mathematical olympiadin (imo) karsintakokeessa.
openai ei ole yksin yrittäessään murtaa matemaattisten kykyjen rajoitukset. google deepmind -tiimi on myös aiemmin julkaissut alpha-järjestelmän alphaproof, jota käytetään monimutkaisten matemaattisten ongelmien ratkaisemiseen.
matemaattisten kykyjen rajojen rikkominen on uusi askel tekoälyteknologian kehityksessä ja tiellä kohti agi:tä (artificial general intelligence). coventryn yliopiston professorin ja nvidian tekoälyteknologiakeskuksen maailmanlaajuisen johtajan simon seen mukaan alan pyrkimykset parantaa tekoälyn matemaattisia valmiuksia sisältävät pyrkimyksiä yhdistää llm (suuren kielimallin) muihin teknologioihin kohti agi:tä (artificial general intelligence).
kuinka ratkaista matemaattisten kykyjen rajoitukset?
"tämä on suuri edistysaskel monimutkaisissa päättelytehtävissä ja edustaa uutta tekoälyn kyvykkyyden tasoa, openai kirjoitti o1-mallisarjaa esitellessä. openai:n toimitusjohtaja sam altman sanoi myös sosiaalisilla alustoilla, että uusi malli on uuden paradigman alku, eli tekoäly voi suorittaa yleistä monimutkaista päättelyä.
parannetut matemaattiset ominaisuudet ovat tämän mallisarjan tärkeä ominaisuus. openai esitteli, että uuden mallisarjan päivitetty suorituskyky on samanlainen kuin tohtoriopiskelijoiden, jotka suorittavat haastavia benchmark-tehtäviä fysiikassa, kemiassa ja biologiassa kansainvälisen matematiikan olympialaisten (imo) karsintakokeessa gpt-4o ratkaisi oikein vain 13 %. kysymyksistä, kun taas uusi malli sai 83 prosenttia.
mitä tulee siihen, kuinka uudella mallilla voidaan saavuttaa parempia matematiikka- ja ohjelmointiominaisuuksia, openai esitteli, että yritys käyttää laajamittaisia vahvistusoppimisalgoritmeja "opettaakseen" mallin käyttämään ajatteluketjuja tehokkaaseen ajatteluun, kun dataa harjoitetaan tehokkaasti, samalla tavalla kuin ihmiset ajattelevat. kauan ennen vastaamista vaikeisiin kysymyksiin. kun vahvistusoppiminen lisääntyy ja ajatteluaika kasvaa, o1-suorituskyky paranee edelleen. openai-tutkija noam brown sanoi, että o1 avaa uuden ulottuvuuden suurelle mallin skaalaukselle (skaalaukselle), jolloin suuret mallit eivät enää joudu esikoulutuksen pullonkaulan alle, ja nyt ne voivat myös laajentaa päättelylaskutoimituksia. mitä tulee tehostettujen päättelykykyjen rooliin, openai totesi, että sitä voidaan käyttää solusekvensointitietojen merkitsemiseen sairaanhoidon alalla ja monimutkaisten matemaattisten kaavojen luomiseen fysikaalisen tutkimuksen alalla.
google deepmind parantaa tekoälyjärjestelmän lopullista suorituskykyä yhdistämällä muita teknologioita llm:n lisäksi. alphaproof perustuu myös vahvistusoppimiseen ja on matemaattisen päättelyn järjestelmä. järjestelmä koulutti itsensä todistamaan lean-ohjelmointikielen, lauseiden tarkistamiseen käytettävän ohjelmointikielen, ja yhdisti harjoituskielimallin alphazero-vahvistusoppimisalgoritmiin. googlen mukaan lean mahdollistaa järjestelmän tarkistamisen matemaattisen päättelyn todisteiden oikeellisuudesta. kun alphaproof kohtaa ongelman, se luo ehdokkaita ratkaisuja ja etsii sitten leanista mahdollisia todisteita, jotka voidaan todistaa tai kumota.
huolimatta siitä, ovatko tekniset periaatteet samanlaiset, alphaproof ja openai o1 ajattelevat syvällisesti aiempiin malleihin verrattuna, eivätkä luota vain llm:n kykyyn ennustaa ja luoda nopeasti seuraava merkki (sanaelementti).
kuinka päästä agi:hen?
aiemmin suuri mallikehittäjä kertoi toimittajille, että yksi syy suurten mallien heikkoon matemaattiseen kykyyn on se, että suurta määrää korkealaatuista matemaattista dataa ei käytetä mallin koulutukseen. tietojen laadun parantuessa ongelma on heikko kyky voidaan ratkaista. koulutustietojen syiden lisäksi teollisuusanalyytikot kuitenkin sanovat, että llm:n heikko matemaattinen kyky johtuu myös siitä, että seuraavan tokenin ennustamismenetelmä ei ole todella älykäs. viimeaikaisista trendeistä päätellen toimiala, mukaan lukien openai ja google deepmind, ratkaisee tekoälyjärjestelmien toimintamekanismin kautta heikkoja matematiikkaa ja päättelykykyä , jossain määrin saada llm ajattelemaan enemmän kuin ihmiset.
mitä tulee llm:n kykyjen rajoituksiin, kuinka ratkaista ongelmia, kuten matemaattinen kyky, ja kuinka siirtyä olemassa olevasta llm:stä agi:hen, ala keskustelee edelleen perimmäisistä syistä ja ratkaisuista. monet alan veteraanit pitivät äskettäin saudi datan isännöimän konferenssin ja artificial intelligence authority keskusteltiin gain summit world artificial intelligence -huippukokouksessa. huippukokouksessa simon see sanoi, että nykyinen tekoäly on "kapea". on vielä monia ongelmia, jotka kaipaavat ratkaisua, kuten kyvyttömyys rakentaa yhä suurempia malleja, koska energiaa ei voida tarjota rajattomasti.
"meillä on nyt suuri määrä dataa. kun mallia on koulutettu riittävän suureksi, kykyjä syntyy. minun mielestäni ei ole mahdollista luottaa yhteen teknologiaan. suunta, jota alalla tällä hetkellä työstää, on llm:n yhdistäminen muihin tieto ja teknologiat, kuten uudet symbolit, laskenta jne. ymmärtämistä ja päättelyä varten." simon see sanoi, että eri tekniikoiden yhdistäminen on edistynyt viime aikoina. deepmindin alphaproof yhdistää lean-ohjelmointikielen, kielimallit jne., jotta tekoäly voi käyttää matemaattisiin todisteisiin. anna llm:n yhdistää eri tekniikoita antaakseen tekoälyjärjestelmälle potentiaalisen voiman johtaa agi:hen.
antoine blondeau, alpha intelligence captalin perustaja ja toimitusjohtaja, uskoo myös, että on itsestäänselvyys, että koneet ovat lopulta parempia kuin ihmiset, mutta tämän tuloksen saavuttaminen kestää jonkin aikaa, ja tieteellistä tietoa on vielä paljon. tehtävää työtä. hän arvioi, että tekoäly ei ole yksi malli, vaan se voi olla useiden mallien yhdistelmä. kone oppii lopulta tarkkailemaan, todistamaan tai kumoamaan, yleistämään ja oppimaan todellisessa maailmassa.
mitä tulee llm:n nykyiseen mekanismiin ja rajoituksiin, antoine blondeau uskoo, että ihmiset oppivat elämästä, josta 95% oppii "videoista, joissa on ääni". elämämme ydin on pohjimmiltaan "videon käynnistäminen". % on tekstistä, kuten kirjoista. ihminen oppii semantiikkaa videoista. esimerkiksi kun viisi sormea ilmestyy, se voi olla ihminen tai muu eläin. mutta kun kone oppii videosta, sen tehtävänä on ennustaa seuraava pikseli, mikä ei ole ihmisen tapa. jos emme pysty saamaan koneita oppimaan ihmisten tavoin, koneiden on vaikea saavuttaa korkeampaa älykkyyttä.
alex smola, tunnettu koneoppimisen tutkija ja suuren mallistartup boson ai:n perustaja ja toimitusjohtaja huomautti, että llm:n toiminnan rajoitukset liittyvät myös merkkien ennustamiseen. hän sanoi, että llm:n kykyä ennustaa seuraava merkki (sanaelementti) on käytetty kuvien, äänien ymmärtämiseen, äänien tekemiseen, ja viimeisten 12 kuukauden aikana kaikesta näyttää tulleen merkki.
"olemme jossain määrin alkaneet kuluttaa loppuun käytettävissä olevien tokenien määrää. karkea arvio on, että tokeneita voi olla 100 biljoonaa, joita ihmiset voivat käyttää llm:n rakentamiseen. video- ja äänitarvikkeita on edelleen paljon, jonkinlainen siinä määrin kuin tämä tulee voimaan, se riippuu myös nvidiasta tai muista näitä tiloja tuottavista yrityksistä alex smola sanoi, että lähitulevaisuudessa llm:n ydin voi olla sekvenssimallinnus (sekvenssimallinnus). , joka voi nyt nähdä tiedot, laitteiston konvergenssi ja todennäköisyysmallit ovat myös kehittymässä kohti samanlaisia rakenteita. voimme nähdä, kuinka pitkälle asiaan liittyvä tutkimus voi mennä lähivuosina.
yhdistämällä teknologisen kehityksen ja katsomalla tulevaisuuteen antoine blondeau uskoo, että agi:n toteutuminen voi olla 10 tai 20 vuoden sisällä, ja evoluution nopeus on nyt erittäin nopea. simon see uskoo, että agi:n saavuttamiseksi 80 % tästä prosessista voidaan saavuttaa tässä 10 vuodessa, mutta hän arvioi, että viimeiset 20 % ovat erittäin haastavia ja kestävät kauemmin.
(tämä artikkeli on peräisin china business newsista)
