uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Koneen sydänraportti

Machine Heart -toimitusosasto

Karpathy: Tesla ja OpenAI olivat ennen "sivutöitä", mutta nyt teen on "kokopäivätyöni".

Juuri nyt Andrej Karpathy ilmoitti seuraavasta pysähdyksestään X-alustalla: Eureka Labsin tekoäly- ja koulutusyrityksen perustamisesta.

Olen iloinen voidessani kertoa teille, että olen perustamassa Eureka Labsin tekoäly + koulutusyrityksen. Ilmoitus kuuluu seuraavasti:

Olemme Eureka Labs ja rakennamme uutta tekoälyn oppilaitosta. Kuinka voimme saavuttaa ihanteellisen kokemuksen uuden tiedon oppimisesta? Esimerkiksi fysiikassa voimme kuvitella opiskelevan laadukasta kurssimateriaalia Feynmanin kanssa, joka opastaa sinua joka vaiheessa. Valitettavasti ne intohimoiset, pedagogiset ja äärettömän kärsivälliset alan asiantuntijat, jotka osaavat sujuvasti kaikkia maailman kieliä, ovat liian niukkoja ohjaamaan henkilökohtaisesti 8 miljardia ihmistämme pyynnöstä. Kuitenkin generatiivisen tekoälyn viimeaikaisten edistysten myötä tällainen oppimiskokemus tuntuu saavutettavissa olevalta.

Opettajat ovat edelleen vastuussa kurssimateriaalien suunnittelusta, mutta näitä materiaaleja tukevat, hyödyntävät ja laajentavat tekoälyassistentit, jotka on optimoitu auttamaan oppilaita materiaalien läpi. Tämä symbioottinen malli "opettaja + tekoäly" voi ajaa koko kurssin yhteisellä alustalla. Jos onnistumme, kuka tahansa voi oppia mitä tahansa helposti, mikä laajentaa koulutuksen ulottuvuutta (suuri määrä ihmisiä oppii jotain) ja laajuutta (kuka tahansa voi oppia suuren määrän aineita) yli sen, mikä on tällä hetkellä mahdollista ilman apua ). Ensimmäinen tuotteemme on LLM101n, maailman paras tekoälykurssi.

Tämä on perustutkintokurssi, joka ohjaa opiskelijoita oman tekoälyn harjoittamiseen, aivan kuten tekoälyn opetusapulaiskurssin pienennetty versio. Kurssimateriaalit ovat saatavilla verkossa, mutta aiomme tarjota myös digitaalisia ja fyysisiä tunteja. Tänään teemme kovasti töitä rakentaaksemme LLM101n:n, mutta odotamme tulevaisuutta, jossa tekoälystä tulee avainteknologia ihmispotentiaalin parantamiseksi.

Eureka Labs on yli kahden vuosikymmenen intohimon tekoälyyn ja koulutukseen huipentuma. Kiinnostukseni koulutukseen on aina ollut mukana YouTuben Rubikin kuution opetusohjelmista Stanfordin yliopiston CS231n:ään ja viimeaikaiseen "Zero-to-Hero AI" -sarjaan. Työni tekoälyn parissa vaihtelee Stanfordin yliopiston akateemisesta tutkimuksesta Teslan todellisiin tuotteisiin OpenAI:n AGI-tutkimukseen. Tähän mennessä kaikki työni molemmilla aloilla ovat olleet osa-aikaisia, sivutöitä "päivätyöni" puolella. Joten olen innoissani sukeltaessani ja luoda jotain hienoa ammattimaisesti ja kokopäiväisesti. Vaikka se on vielä alkuaikoja, halusin ilmoittaa yrityksestä, jotta voisin luoda sen julkisesti sen sijaan, että olisin pitänyt sitä synkänä salaisuutena.

Andrej Karpathylla on monia identiteettejä: Li Feifein opetuslapsi, OpenAI:n perustajajäsen ja tutkija, Teslan entinen tekoälyjohtaja ja tunnettu YouTuben "Learning Zone" -bloggaaja.

Tämän vuoden helmikuussa Karpathy ilmoitti lähtevänsä OpenAI:sta ja sanoi: "Ei ollut dramaattista konfliktia, halusin vain kokeilla omaa henkilökohtaista projektiani." Siitä lähtien hänen seuraava siirtonsa on noussut julkisen huomion kohteeksi.

Tämä muistuttaa meitä toisesta tunnetusta tekoälytutkijasta, Andrew Ng:stä Google Brain -projektin perustajana ja Baidun entisenä päätutkijana Andrew Ng perusti Coursera-verkkokoulutusalustan yhdessä Stanfordin professorin Daphne Kollerin kanssa. Ehkä teoreettista tutkimusta tekevillä isoilla miehillä on kaikilla sydämissään koulutusunelma.

Uusi yritys keskittyy tekoäly+koulutukseen

Eureka Labsin ensimmäinen tuote on perustutkintotason kurssi LLM101n, joka on suunniteltu auttamaan opiskelijoita kouluttamaan omia tekoälymallejaan.

Kesäkuussa Andrej Karpathy latasi vain LLM101n-kurssiluettelon GitHubiin, ja siitä tuli nopeasti hitti.

Tarkemmin sanottuna LLM101n alkaa opettamalla kielten mallintamisen ja koneoppimisen perusteista ja siirtyy sitten multimodaalisuuteen, RLHF:ään ja mallin käyttöönottoon. Sen tavoitteena on rakentaa Storyteller AI large -malli (LLM) ja käyttää tekoälyä luomaan, parantamaan ja kehittämään havainnollistaa novelleja , jotka kattavat kaiken perusasioista toimivaan verkkosovellukseen, kuten ChatGPT:hen, ja rakentavat projekteja alusta alkaen Pythonilla, C:llä ja CUDA:lla minimaalisilla tietojenkäsittelyn edellytyksillä. Tämä kurssi antaa opiskelijoille suhteellisen syvällisen käsityksen tekoälystä, LLM:stä ja syvästä oppimisesta.

Tällä hetkellä, kolme viikkoa latauksen jälkeen, LLM101n-projekti on saanut 17 000 tähteä.

Googlen päätutkija Jeff Dean lähetti Karpathyn virallisen viestin, jossa hän ilmoitti uudesta yrityksestä, vilpittömät siunauksensa.

Kommenttialueella Karpathy selitti myös nimen Eureka Labs alkuperää: Eureka (muinaisesta kreikasta) on hyvä tunne, kun on ymmärtänyt jotain, ikään kuin jokin napsahti aivoissa. Heidän tavoitteenaan on inspiroida niitä hetkiä ihmisten sydämissä. Syy Labsin lisäämiseen nimeen on: Eurekaa yhtenä sanana ovat käyttäneet muutkin (Netflixin kehittämä palveluhakukehys), ja hän on aina halunnut laboratorion...

Tällä hetkellä yritys on avannut virallisen Twitter- ja GitHub-arkiston.

GitHub-osoite: https://github.com/EurekaLabsAI

Aktiivisia henkilöitä tekoälyn alalla

Henkilökohtainen kotisivu: https://karpathy.ai/

Vuodesta 2005 vuoteen 2009 Andrej Karpathy opiskeli Toronton yliopistossa Kanadassa pääaineenaan tietojenkäsittelytiede ja fysiikka sekä sivuaineena matematiikka. Täällä hän joutui ensimmäistä kertaa syvälle oppimiseen ja kuunteli Hintonin kursseja.

Vuodesta 2009 vuoteen 2011 Karpathy opiskeli maisterintutkintoa British Columbian yliopistossa Kanadassa. Hänen ohjaajansa oli professori Michiel van de Panne tietokonetieteen laitokselta. Hän opiskeli pääasiassa kettereiden robottien koneoppimista.

Vuodesta 2011 vuoteen 2016 tohtori Karpathy opiskeli Stanfordin yliopistossa ja opiskeli kuuluisan tekoälytutkijan Li Feifein johdolla keskittyen konvoluutio-/recurrent-hermoverkkojen ja niiden sovellusten tutkimukseen tietokonenäössä, luonnollisen kielen käsittelyssä ja kenttien välisissä kentissä. Tänä aikana hän suunnitteli ja toimi pääohjaajana Stanfordin ensimmäiselle syväoppimiskurssille "CS231n: Convolutional Neural Networks and Visual Recognition".

Samaan aikaan Karpathylla on myös kolme harjoittelupaikkaa. Vuonna 2011 hän harjoitteli Google Brainissa sen alkuvaiheessa ja työskenteli laajamittaisen ohjaamattoman videooppimisen parissa. Myöhemmin vuonna 2013 hän työskenteli uudelleen Google Researchissa harjoittaen laajamittaista ohjattua YouTube-videoiden oppimista. Vuonna 2015 hän harjoitteli DeepMindissä ja osallistui syvän vahvistusoppimistiimiin.

Tällä hetkellä Karpathyn paperisitaatteja Google Scholarissa on 66 426. Niiden joukossa hänen paperinsa "Large-scale Video Classification with Convolutional Neural Networks", toiseksi eniten lainattu ja hänen ensimmäinen kirjoittajansa, sisällytettiin CVPR 2014 Oral -julkaisuun.

Karpathy on OpenAI:n perustajajäsen ja tutkija. Hieman yli vuosi OpenAI:n perustamisen jälkeen, vuonna 2017, Karpathy hyväksyi Muskin kutsun liittyä Teslaan ja korvasi Chris Lattnerin, joka oli silloinen Teslan Autopilotin johtaja ja Applen Swift-kielen ja LLVM-kääntäjän isä.

Viiden vuoden ajan Karpathy auttoi yksin Autopilotin kehittämistä. Kun Tesla laajeni hitaasti alkuperäisestä itseajamisesta laajemmalle tekoälyn kentälle, Karpathy ylennettiin myös Teslan AI-johtajaksi, joka raportoi suoraan Muskille.

Intohimo koulutukseen

Itse asiassa Karpathy oli aiempien uramuutosten aikana ilmaissut kiinnostuksensa "liittyä koulutusalaan".

Karpathy jätti Teslan heinäkuussa 2022. Jatkohaastattelussa hän sanoi, että päätös oli vaikea. Vaikka Tesla ei ole vielä täysin ottanut käyttöön autonomista ajamista, T&K-tiimi on pystynyt kehittymään omatoimisesti. Eroaminen antoi hänelle myös mahdollisuuden tarkastella uudelleen rakkauttaan tekoälyä, avointa lähdekoodia ja koulutusta kohtaan.

Kahdeksan kuukautta työnsä jälkeen, helmikuussa 2023, Karpathy ilmoitti liittyvänsä uudelleen OpenAI:han. Tänä aikana Karpathy työskenteli OpenAI:n tutkimustyön lisäksi joissakin henkilökohtaisissa projekteissa, mukaan lukien opetusvideoiden nauhoittaminen, avoimen lähdekoodin projektin kehittäminen Llama 2:sta - llama2.c jne.

Tämän vuoden helmikuussa OpenAI:ssa käydyn sisäisen kamppailun jälkeen Karpathy erosi jälleen OpenAI:sta ja on työstänyt joitakin avoimen lähdekoodin kursseja.

Nyt olen virallisesti omistautunut opiskeluuralle, jota rakastan. Voimme odottaa, että Karpathy tuo lisää erinomaisia ​​kurssiresursseja tekoälykenttään.

Katso lisätietoja Karpathyn kurssiprojekteista kohdasta Extended Reading.