uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

älykkäitä asioita
Kirjailija Li Shuiqing
Toimittaja Yunpeng

Aina kun tekoäly edistyy merkittävästi, tutkijat usein vitsailevat: "Milloin aiomme antaa tekoälyn kirjoittaa papereita puolestamme?"

Nyt,AI luo tieteellisiä tutkimuspapereitaon tullut todeksi, ja kirjoituskustannukset ovat niinkin alhaiset kuin n.15 dollaria。

Wisdom News 14. elokuuta, 13. elokuuta, japanilainen Sakana AI -tiimi aloitti yhdessä Oxfordin ja Brittiläisen Kolumbian yliopiston tutkijoiden kanssaAI-tutkija, joka on automatisoitu tieteellinen tutkimusagentti (Agent), joka perustuu suureen malliin.

Anna sille laaja tutkimuskenttä, niin se voi luoda tekoälyn alalla paperin aivan kuten ihminen.

“AI ohjelmoija"Ohjelmointitaidot ovat vain osa tekoälyn tutkijoiden kykyä.Aivoriihi, koodin ajo, kokeellisten tulosten yhteenveto, visualisointi, automaattinen tarkistusEi sillä ole iso juttu.

Esimerkiksi seuraavan artikkelin "Dualscale Diffusion: Adaptive feature Balancing for low-dimensional generative models" ovat kirjoittaneet tekoälytutkijat. Tekoälytutkijoiden itsenäisesti suorittamissa ja vertaisarvioimissa kokeissa heidän suorittamansa paperit ovat saavuttaneet erinomaisia ​​empiirisiä tuloksia ja pystyneet saavuttamaanKoneoppiminen täyttää "heikon hyväksynnän" kriteerin。

Paperin osoite: https://sakana.ai/assets/ai-scientist/adaptive_dual_scale_denoising.pdf

Tiimi mainitsi tekoälyn tutkijaprojektissa useita huippuluokan malleja, kutenGPT-4o ja Sonnettijne. suljetun lähdekoodin mallit jaDeepSeek ja Llama 3ja muut avoimen lähdekoodin mallit.

On raportoitu, että tekoälytutkijoilla on pääasiassa seuraavat kohokohdat:

1. Tämä on aTäysin AI:lla toimivaautomatisoitu tieteellinen tutkimusjärjestelmä, jossa keskitytäänKoneoppimisen kenttätutkimusta.

2. Se toteutuuTutki koko ketjun automaatiotainspiraatiosta, koodin kirjoittamisesta ja ajamisesta kokeellisten tulosten yhteenvetoon ja visualisointiin ja lopuksi täydellisen tieteellisen artikkelin kirjoittamiseen.

3. Se esittelee innovatiivisestiAutomaattinen vertaisarviointimekanismikäytetään tulospaperien arvioimiseen, palautteen antamiseen ja tulosten jatkuvaan optimointiin,Arvioinnin tarkkuus on lähellä ihmisen tasoa。

4. Tämä automatisoitu tieteellinen tutkimusprosessiJatkuva sykli, avaa ja jatkuvasti kerää tietoa sekä simuloi tiedeyhteisön toimintamallia.

5. Alustavissa testeissä se on ollut mukana koneoppimisessaSaavuta tuloksia useilla aloilla, kuten kohdassaDiffuusiomalli, muuntaja-arkkitehtuuri ja GrokkingMuilla aloilla on panostettu.

AI-tutkijapaperin osoite: https://arxiv.org/abs/2408.06292/
Tekoälytutkijan avoimen lähdekoodin ja kokeellisten tulosten osoite: https://github.com/SakanaAI/AI-Scientist

▲ Paperi "AI Scientist: Moving kohti Fully Automated Open Scientific Discovery"

1. Suorita tieteellinen tutkimuspaperi neljässä vaiheessa ja täytä tekoälyn huippukokouksen hyväksymisstandardit

Olen kuullut tekoälyrunoilijoista, tekoälymaalajista, tekoälyohjelmoijista, ja nyt on ilmestynyt myös tekoälytieteilijöitä.

AI Scientist on täysin automatisoitu paperintuotantojärjestelmä, joka hyödyntää huippuluokan suuria malleja.

seAloita perusalkukoodipohjalla, kuten valmis avoimen lähdekoodin tutkimuskoodi GitHubissa, niin kauan kuinannettu aLaajat tutkimusalueet, AI-tutkijat voivat suorittaa tehtävän alkaenLuova konsepti, kirjallisuuden tutkimus, kokeellinen suunnittelu, kokeellinen iterointi, kaavion tuotanto, paperin kirjoittaminen ennakkoarviointiinKoko työprosessi suoritetaan perusteellisten oivallusten sisältävien akateemisten papereiden tuottamiseksi.

Vielä hämmästyttävämpää on, että tekoälytutkijat voivatJatkuva toiminta avoimessa syklissä, se oppii jatkuvasti aiempia ideoita ja palautetta myöhempien tutkimusideoiden optimoimiseksiSimuloi ihmiskunnan tiedeyhteisön toimintamallia。

▲ Tekoälytutkijan mallikaavio

Tekoälytutkijan työnkulku sisältää pääasiassaNeljä suurta linkkiä：

Luovuus itää:Alkaen annetusta aloitusmallista, tekoälytutkijat aloittavat "aivoriihi"-tilan ja löytävät joukon uusia tutkimussuuntia olemassa olevista aiheista. Tämä malli ei sisällä vain peruskoodikehystä, vaan mukana tulee myös LaTeX-kansio, joka sisältää tyylitiedostoja ja luvun otsikon esiasetuksia, mikä luo perustan myöhempään paperin kirjoittamiseen. Vapaan etsintäprosessin aikana tekoälytutkijat käyttävät myös akateemista hakukonetta Semantic Scholar varmistaakseen ehdotettujen ideoiden omaperäisyyden.

Kokeilun iterointi:Kun tutkimuksen suunta on määritetty, tekoälytutkijat siirtyvät kokeelliseen vaiheeseen. Se suorittaa automaattisesti kokeellisia suunnitelmia, kerää tietoja ja luo kaavioita kokeellisten tulosten visuaaliseksi näyttämiseksi. Samaan aikaan tekoälytutkijat tallentavat jokaisen kaavion sisällön yksityiskohtaisesti varmistaakseen, että kokeelliset muistiinpanot ja graafiset materiaalit voivat tarjota kattavan tuen myöhempää paperin kirjoittamista varten.

Kirjoitus paperille:Kokeen päätyttyä tekoälytutkija kirjoittaa LaTeX-formaatin avulla selkeän rakenteen ja yksityiskohtaisen sisällön esittelemään lukijoille tutkimustuloksiaan. Kirjoitusprosessin aikana se käyttää myös Semantic Scholaria hakemaan ja lainaamaan automaattisesti vastaavien alojen kirjallisuutta parantaakseen paperin akateemista ja arvovaltaista luonnetta.

Automaattinen tarkistus:Paperien laadun parantamiseksi tiimi kehitti erityisesti suureen kielimalliin perustuvan automaattisen tarkistusjärjestelmän. Järjestelmä pystyy objektiivisesti arvioimaan syntyneet paperit lähes inhimillisellä harkinnolla ja tekemään parannusehdotuksia. Tämä palaute ei ainoastaan ​​auta tekoälytieteilijöitä optimoimaan nykyisiä projekteja, vaan tarjoaa myös arvokasta referenssiä tulevaa tutkimusta varten. Tämän jatkuvan palautesilmukan avulla tekoälytutkijat voivat jatkuvasti iteratiivisesti parantaa ja parantaa tutkimustulosten tasoa ja vaikutusta.

Yhdistettynä huippuluokan LLM-teknologiaan tekoälytutkijat pystyvät jopa kirjoittamaanParhaiden koneoppimiskonferenssien "heikko hyväksyntä" -kriteeritopinnäytetyö ja hyväksyttyAutomaattinen tarkistusjärjestelmä saa tunnustusta。

2. Tekoälytieteilijöiden esittelyt: diffuusiomallit, kielimallinnus ja muut alat

Tiimi esitteli ilmoituksessa sarjan tekoälyn tutkijoiden tuottamia koneoppimisen alan tutkimuksia, jotka osoittavat sen tieteellistä tutkimuskykyä sellaisilla aloilla kuin diffuusiomallit, kielimallinnus ja Grokking.

1. Diffuusiomalli: "Dual Scale Diffusion: Adaptive ominaisuus tasapainotus matalaulotteisten generatiivisten mallien"

Paperin osoite: https://sakana.ai/assets/ai-scientist/adaptive_dual_scale_denoising.pdf
Koodiosoite: https://github.com/SakanaAI/AI-Scientist/tree/main/example_papers/adaptive_dual_scale_denoising

2. Kielen mallinnus: "StyleFusion: Mukautuva monityylinen luominen merkkitason kielimalleissa"

Paperiosoite: https://sakana.ai/assets/ai-scientist/multi_style_adapter.pdf
Koodiosoite: https://github.com/SakanaAI/AI-Scientist/tree/main/example_papers/multi_style_adapter

Kielen mallinnus: "Transformerin mukautuvan oppimisnopeuden toteuttaminen Q-Learningin avulla"

Paperiosoite: https://sakana.ai/assets/ai-scientist/rl_lr_adaptation.pdf
Koodiosoite: https://github.com/SakanaAI/AI-Scientist/tree/main/example_papers/rl_lr_adaptation

3. Grokking: "Grokkingin vapauttaminen: vertaileva tutkimus painon alustusstrategioista muuntajamalleissa"

Paperiosoite: https://sakana.ai/assets/ai-scientist/weight_initialization_grokking.pdf
Koodiosoite: https://github.com/SakanaAI/AI-Scientist/tree/main/example_papers/layerwise_lr_grokking

3. Riittämätön "piirustus" ja vaikeus vertailla kahden numeron kokoa tarkasti

Suurten mallien nykyisen kehitystason rajoittamana tekoälytutkijoilla on edelleen puutteita.

Tällä hetkellä tekoälytutkijat ovat edelleenEi visuaalisia prosessointiominaisuuksia, joten se ei voi automaattisesti korjata visuaalisia elementtejä tai kaavion asetteluongelmia paperissasi.

Esimerkiksi sen luomat kaaviot eivät toisinaan ole selkeitä, taulukot voivat ylittää sivun rajat ja sivun yleinen asettelu on usein sekava. Multimodaalisten perusmallien käyttöönoton odotetaan ratkaisevan pohjimmiltaan tämän ongelman.

Lisäksi kun tekoälytutkijat toteuttavat ideoita tai tekevät perusvertailuja, he voivatHarhaanjohtavat tulokset väärän toiminnan vuoksi。

Samalla se voi joskus tehdä vakavampiakin virheitä tulosten kirjoittamisessa ja arvioinnissa, kutenVaikeus vertailla kahta numeroa tarkasti, joka on suurten mallien tunnettu virhe. Tämän ongelman lieventämiseksi tiimi on varmistanut, että kaikki kokeelliset tulokset ovat toistettavissa ja että kaikki suoritustiedostot on tallennettu oikein.

Raportissa tiimi esitti syvällisen analyysin tekoälytutkijoiden nykyisistä rajoituksista ja haasteista, joita he voivat kohdata tulevaisuudessa.

4. Tekoälytutkijat "pelaavat älykkäästi": muokkaavat skriptejä itsekseen aiheuttaen tekoälyn turvallisuusriskejä

Tiimi havaitsi myös, että tekoälytutkijat yrittävät joskus lisätä onnistumisen mahdollisuuksia jollain "pienellä älykkyydellä", kuten esim.Muokkaa ja suorita komentosarja itse. Lehdessä ryhmä keskusteli syvästi tekoälyn turvallisuusriskeistä, joita tämä käyttäytyminen voi tuoda mukanaan.

Esimerkiksi yhden suorituksen aikana se itse asiassaMuokattu koodi, jolloin itsensä ajaa loputtomassa silmukassa järjestelmäkutsujen kautta.

Toisella kerralla kokeilu kesti liian kauan ja oli ylittämässä joukkueen asettaman aikakatkaisurajan. Sen sijaan, että optimoitiin koodia tehokkuuden parantamiseksi, se yritti mennä läpiPidennä aikakatkaisua muokkaamalla koodia。

Tässä on joitain konkreettisia esimerkkejä sen yrityksistä muokata koodia:

Näitä ongelmia voidaan lievittää hiekkalaatikolla tekoälytieteilijöiden toimintaympäristö. Koko raportissa tiimi käsittelee perusteellisesti suojattua koodin suorittamista ja hiekkalaatikkoa.

Johtopäätös: Tekoälytutkijat tekevät debyyttinsä, ja heidän kumoukselliset innovaatiokykynsä on tarkistettava

Tulevaisuuteen katsoen Sakana AI sanoi, että sen tavoitteena on soveltaa tekoälytieteilijöitä suljetun silmukan järjestelmiin avoimilla malleilla edistääkseen tekoälyn jatkuvaa itsensä kehittämistä. Tekoälytutkijat tuovat mukanaan uuden tieteen maailman, joka on täysin tekoälyn ohjaama. Siellä ei ole vain tutkijoita, joilla on suuria kielimalleja, vaan myös arvioijia, kenttätuoleja ja jopa koko akateeminen konferenssijärjestelmä.

Mutta Sakana AI ei usko, että ihmistutkijoiden asema heikkenee tämän seurauksena. Päinvastoin, uusien teknologioiden ilmaantumisen myötä tutkijoiden roolit monipuolistuvat ja he siirtyvät korkeammalle tasolle tieteellisen tutkimuksen alalla. Tieteellisen tutkimuksen löytöprosessin automatisointi ja tekoälyyn perustuvien arviointimekanismien sisällyttäminen tasoittaa tietä innovaatioille ja ratkaisuille tieteen ja teknologian alan vaikeimpiin ongelmiin.

Tekoälytieteilijöiden nykyinen versio on osoittanut poikkeuksellisen kyvyn innovoida kypsien teknologioiden, kuten diffuusiomallien ja muuntajien, pohjalta. Kestää kuitenkin vielä aikaa varmistaakseen, voivatko tällaiset järjestelmät todella saada aikaan häiritseviä uusia ideoita.

Lähde: Sakana AI