uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

älykkäitä asioita
Kokoanut Chen Junda
EditPanken

Ulkomaisten tiedotusvälineiden mukaan tekoälyn laskentatehoklusterien korkeiden hintojen ja suurten yritysten tilausten vuoksi monet amerikkalaiset yliopistot kohtaavat vakavan laskentatehon puutteen, mikä on johtanut tekoälytutkimuksen viivästymiseen yliopistoissa ja AI-tutkimuskykyjen pula.

Yliopistojen laskentatehopula on ollut olemassa jo pitkään, ja tämä ongelma vaivaa myös huippuyliopistoja ja akateemisia johtajia. Tämän vuoden toukokuussa Stanfordin yliopiston professori Li Feifei sanoi, että akateeminen yhteisö kohtaa vakavan pula tekoälyn laskentaresursseista.Stanfordin yliopiston NLP-laboratoriossa on vain 64 GPU:ta (NVIDIA A100). Turing-palkinnon voittaja Geoffery Hinton jopa sanoi suoraan, kun opiskelijat pyysivät apua: "En tiedä mitä muuta tälle asialle voisi tehdä kuin kysyä hallitukselta.”

Päinvastoin, Facebook-emoyhtiö Meta odotetaanSiinä on valtava laskentatehoklusteri, joka vastaa 600 000 NVIDIA H100:aa, mikä on lähes 10 000 kertaa enemmän kuin Stanfordin NLP Laboratory -klusteri.

Mutta Stanfordin yliopiston NLP-laboratorion 64 GPU:ta ovat jo fantasia monille muiden yliopistojen opiskelijoille. Itse asiassa, lukuun ottamatta muutamaa huippuyliopistoa, kuten Princeton University ja RWTH Aachen University Saksassa,Monissa yliopistoissa ei ole edes Nvidia A100 GPU:ta.。

Asiaan liittyvässä keskustelussa Reddit-foorumilla jotkut Pohjois-Amerikan yliopistojen jatko-opiskelijat kertoivat, että pienet yliopistot voivat hankkia vain Nvidian vuosia sitten julkaiseman V100 GPU:n.Euroopan ja Aasian yliopistojen tilanne on vieläkin ankaraNvidian kuluttajatason näytönohjainten käyttö tekoälytutkimukseen . Siitä huolimatta laskentateho on erittäin niukka, ja joidenkin opiskelijoiden on ostettava näytönohjaimet omalla kustannuksellaan tai haettava laskentatehotukea NVIDIAlta, Amazon Cloud Serviceltä (AWS) jne.

Monet yliopistot työskentelevät myös lujasti muuttaakseen vallitsevaa tilannetta, kuten perustamalla yhteisiä laskentaklustereita koulujen välisellä yhteistyöllä tai siirtymällä muihin vähemmän laskentatehoa vaativiin tekoälytutkimussuuntiin.

1. Laskentatehopula ja aivovuoto Kuinka vakava GPU-pula on yliopistoissa?

Itse asiassa yliopistot ovat pitkään olleet tekoälytutkimuksen eturintamassa.Yliopistojen tutkijat ovat tehneet monia läpimurtoja.Esimerkiksi vuonna 2015 Stanfordin yliopiston postdoc Jascha Sohl-Dickstein keksi maailman ensimmäisen diffuusiomallin, josta tuli perusta monille myöhemmille kuvien ja videoiden sukupolven malleille.

Yliopistojen perustutkimus on kriittistä teknologisen innovaation aallolle, mutta viimeaikaista generatiivista tekoälytutkimusta ovat dominoineet yksityiset yritykset. Tämä johtuu pääasiassa siitä, että heillä on pääsy laskentatehoon ja tietoihin, joita tarvitaan suurten mallien, kuten ChatGPT ja Gemini, rakentamiseen ja kouluttamiseen.

Generatiivinen tekoälytutkimus on kallista. OpenAI:n toimitusjohtaja Sam Altman on arvioinut, että GPT-4:n koulutus maksaisi noin 100 miljoonaa dollaria. Metan toimitusjohtaja Mark Zuckerberg ilmoitti vuoden 2024 alussa aikovansa ostaa 350 000 NVIDIA H100 GPU:ta laajentaakseen Metan laskentatehoa 600 000 NVIDIA H100 GPU:ta vastaavalle tasolle. Laskettu H100:n lähes 40 000 Yhdysvaltain dollarin myyntihinnan perusteella,Tästä tulee kymmenien miljardien dollarien suuri tilaus.

Tällä hetkellä yhdelläkään yliopistolla maailmassa ei ole varaa tämän tason tekoälyn laskentatehon infrastruktuuriin. Vahvana CS-kouluna Princetonin yliopistolla on yksi suurimmista yksittäisistä tekoälyn laskentatehoklustereista amerikkalaisten yliopistojen joukossa.Mutta tässä klusterissa on vain 300 NVIDIA H100 -grafiikkasuoritinta, joka esiteltiin virallisesti vasta tämän vuoden maaliskuussa.

Sanjeev Arora, Princetonin yliopiston kieli- ja älykkyyskeskuksen johtaja, sanoi tästä aiheesta:Jos sinulla ei ole laskentatehoa, et voi tehdä laajamittaista tutkimusta, etkä ole edes pätevä osallistumaan keskusteluun.”。

Asiaan liittyvässä keskustelussa Reddit-foorumilla, tohtoriopiskelija yhdestä Yhdysvaltojen viidestä parhaasta koneoppimislaboratoriosta sanoi, ettei heillä ole toistaiseksi edes yhtä NVIDIA H100:ta.

▲ Kysymyksiä Yhdysvaltojen viiden parhaan koneoppimislaboratorion jatko-opiskelijoilta (Lähde: Reddit)

Aasialainen tohtoriopiskelija kohtasi saman ongelman. Suurin osa hänen käyttämistään GPU:ista on kuluttajalaatuisia, ja klustereita on vain yksi tai kaksi. Hänen koulussaan oli viime aikoihin asti palvelin kahdeksalla H100:lla, ja sillä oli vain rajoitettu pääsy. Tohtoriopiskelija sanoi,Kahden viikon aikana, kun hän oli onnekas käyttää H100 GPU:ta harjoitteluun, hän sai enemmän tietoa kuin oli kerännyt edellisten kuuden kuukauden aikana.

▲Aasiassa CV-tutkimukseen osallistuva opiskelija muisteli käyttämiään GPU-sarjan (Lähde: Reddit)

Toinen oppilas kertoi, että hänen koulunsa ei pystynyt tarjoamaan laskentatehoa. Hän voi saada vain 1 000 dollaria AWS-pilvilaskentatehoa harjoitteluyrityksensä kautta.Jos käytät näitä kiintiöitä 8 lohkon H100-klusterin suorittamiseen, voit käyttää sitä vain 1 päivän ajan. , tämä laskentateho ei yksinkertaisesti voi tuottaa laadukasta tutkimusta. Hän sanoi myös, että tämä on normi tekoälytutkimuksessa kolmannen maailman maissa.

▲ Maisteriopiskelija jakoi kokemuksensa laskentapisteiden saamisesta harjoitteluyrityksen kautta (Lähde: Reddit)

Myöskään eurooppalaisten yliopistojen laskentatehoresurssit eivät ole optimistisia. Saksassa opiskeleva opiskelija kertoi olevansa onnekas, sillä hänen koulunsa voi tarjota myös 16 A100-grafiikkasuoritinta ja kymmeniä muita GPU-malleja.Euroopassa monet yliopistot ja tutkimuslaboratoriot eivät periaatteessa tarjoa laskentatehoa.

▲ Eurooppalainen opiskelija on kiitollinen käytettävissään olevista laskentaresursseista (Lähde: Reddit)

Toinen opiskelija RWTH Aachenin yliopistosta Saksasta kertoi, että hänen koulussaan on yli 200 NVIDIA H100 -grafiikkasuoritinta, mikä on herättänyt kateutta monissa verkkovierailuissa. Nämä resurssit ovat kuitenkin yhteisiä kaikille korkeakouluille ja myös ulkopuolisille oppilaitoksille.

▲ Saksan RWTH Aachenin yliopiston opiskelijat jakoivat koulun laskentatehon (Lähde: Reddit)

Teollisuuden ihmiset ovat yllättyneitä GPU-pulasta korkeakouluissa ja yliopistoissa. Alan sisäpiiriläinen kertoi työskentelevänsä suurella pilvipalveluiden tarjoajalla.Päivittäinen yhteydenpito H100 GPU:n kanssa , kehittää ja korjata ohjelmistoja sille. Toinen alan lähde sanoi, että suuret yritysasiakkaat tilaavat usein suuren kysynnän huippuluokan GPU:t, kuten H100:n, ennen kuin ne lisätään datakeskuksiin, joten H100 on "harvinainen" useimmille tutkijoille.

▲ Alan ihmiset ovat yllättyneitä GPU-pulasta korkeakouluissa ja yliopistoissa (Lähde: Reddit)

Riittämättömien laskentaresurssien tapauksessa pitkäkestoinen koulutus on erittäin ylellistä. Tekoälyn laskentatehoklusterit yliopistoissa on usein otettava käyttöön päiviä tai jopa viikkoja etukäteen, vaikka niitä käytettäisiinkin, käyttöaika on rajallinen. Monia suurempia koulutustehtäviä on vaikea suorittaa yhdellä käyttöjaksolla, ja tutkijoiden on myös käytettävä ylimääräistä vaivaa tarkistuspisteen ja palautuskoodin rakentamiseen.

Laskentaresurssien puute on myös aiheuttanut aivovuoto-ongelman korkeakouluissa ja yliopistoissa. , generatiivisen tekoälytutkimuksen tekemisestä kiinnostuneet opiskelijat kääntyivät suuryritysten puoleen. Koska suurilla teknologiayrityksillä on yleensä satoja tai tuhansia kertoja enemmän laskentatehoa kuin yliopistoilla, tämä on erittäin houkutteleva tekoälykykyjen kannalta.

2. Luoda laskentateholiittoja ja muuttaa tutkimussuuntia Yliopistot eivät halua eivätkä pysty jäämään jälkeen.

Tekoälytutkimuksen jälkeen jäämisen ja tekoälykyvyn menettämisen kriisin edessä monet yliopistot pyrkivät lisäämään laskentatehoa ja siirtävät tutkimuksen painopisteensä ei-laskentateho-intensiivisille tekoälytutkimusaloille.

"Akateemiset laitokset pyrkivät saamaan laskentatehoa", sanoi Hod Lipson, Columbian yliopiston konetekniikan osaston puheenjohtaja. Hän korosti myös, että vaikka teollisuuden ja hallituksen osallistuminen tekoälytutkimukseen on tärkeää,Mutta näiden kahden voiman tasapainottamiseksi tutkijoilla, avoimen lähdekoodin kehittäjillä ja muilla pitäisi myös olla sananvaltaa tämän tekniikan kehityksessä.

Yliopistojen ja korkeakoulujen laskentatehopulan lievittämiseksi monet korkeakoulut ja yliopistot ovat ottaneet hallituksen mukaan laskentatehoklusterien rakentamiseen. Vuoden 2024 alussa seitsemän yliopistoa ja tutkimuslaitosta, mukaan lukien Columbia University, Cornell University, New Yorkin yliopisto ja Rensselaer Polytechnic Institute, yhdistivät voimansa New Yorkin osavaltion hallituksen ja hyväntekeväisyysjärjestöjen kanssa luodakseen Empire AI -nimisen laskentatehoallianssin.

▲ Members of Empire AI:n liitto (Lähde: Empire AI:n virallinen verkkosivusto)

Tämä laskentateholiitto on kerännyt lähes 400 miljoonaa dollaria rahoitusta. Tästä 275 miljoonaa dollaria tulee valtiolta ja loput seitsemältä allianssiin osallistuvalta yliopistolta ja tutkimuslaitokselta. He käyttävät varoja kehittyneen tekoälyn laskentakeskuksen rakentamiseen, ja liittouman jäsenet voivat jakaa nämä laskentaresurssit ja samalla tehokkaasti jakaa hallintakustannukset.

Puhuessaan tämän liiton perustamisen perusteista New Yorkin osavaltion kuvernöörin toimisto sanoi:Tällä hetkellä tekoälyn laskentaresurssit keskittyvät yhä enemmän suurten teknologiayritysten käsiin, joilla on valtava määräysvalta tekoälyn kehitysekosysteemissä.Tämän seurauksena tutkijat, järjestöt ja pienet yritykset jäävät jälkeen,Tällä on valtava vaikutus tekoälyn turvallisuuteen ja koko yhteiskuntaan.

Myös korkeakoulut ja teollisuus tekevät aktiivista yhteistyötä, mikä on jo yleistä Yhdysvaltain teknologiakeskuksissa, kuten Piilaaksossa, Seattlessa ja Austinissa. Washingtonin yliopiston tietojenkäsittelytieteen ja tekniikan korkeakoulun apulaisdekaani Dan Grossman sanoi, että heillä on ohjelmia, joiden avulla akateemiset tutkijat voivat työskennellä myös teollisuudessa. Akateeminen henkilöstö saa paremmat resurssit, ja yliopistot voivat säilyttää nämä kyvyt.

Itse asiassa on monia tärkeitä tekoälytutkimusprojekteja, jotka eivät vaadi suurta laskentatehoa. , kuten tekoälyn selitettävyystutkimus, tekoälyn suunnittelu- ja päättelykykytutkimus jne. Yliopistotutkijat alkoivat laskentatehon rajoitusten alaisuudessa tehdä kohdennetumpaa tutkimusta varmistaakseen, ettei akateeminen yhteisö joutuisi täysin alan ohi.

Cornellin yliopiston tietojenkäsittely- ja informaatiotieteiden korkeakoulun dekaani Kavita Bala sanoi, että yliopistot voivat investoida vähemmän suurten kielimallien rakentamiseen ja koulutukseen ja keskittyä enemmän suuriin kielimalleihin perustuvien sovellusten kehittämiseen. Tällaiset sovellukset voivat silti olla huippuluokan ja niillä voi olla valtava rooli ainutlaatuisilla sovellusalueilla.

MIT:n professori Armando Solar-Lezama, jonka työ keskittyy tekoälyn hyödyntämiseen koodikehityksessä, uskoo, että suurten mallien rakentaminen tyhjästä ei yksinkertaisesti ole mahdollista akateemisessa maailmassa. Opiskelijat ja tutkijat voivat keskittyä sovellusten kehittämiseen tai jopa synteettisen datan luomiseen, jota voidaan käyttää suurten kielimallien kouluttamiseen.

Solar Lesama sanoi, että hänen yliopistonsa professorit tekivät myös aloitteen palvelimien ja sirujen hankinnan rahoittamiseksi, mutta rahoitus ei ollut ainoa ongelma.Vaikka sinulla olisi rahaa, huippuluokan GPU:n saaminen on vaikeaa.

Johtopäätös: Tekoälyn laskentatehon pula yliopistoissa jatkuu, ja useiden tahojen yhteistyöllä saattaa olla toivoa tilanteen murtamisesta.

Nykytilanteessa, jossa suuret teknologiayritykset hallitsevat tekoälytutkimusta, yliopistojen tekoälytutkimus on tehokas lisä näihin tutkimuksiin. Lyhyen aikavälin tekijät, kuten taloudelliset raportit ja markkinakysyntä, eivät vaikuta yliopistojen tutkijoihin, kuten yritysten tutkijoihin. Jos he voivat hankkia lisää laskentaresursseja, he voivat saada aikaan merkittäviä tuloksia alueilla, joihin yritykset eivät kiinnitä huomiota tai eivät halua kiinnittää huomiota.

Itse asiassa tekoäly on viime vuosikymmeninä aina ollut aliarvostettu tutkimusala, ja sen on täytynyt käyttää syvän oppimisen ja koneoppimisen liivejä. Mutta juuri siksi, että Hintonin, Yann LeCunin ja Yoshua Bengion kaltaisissa yliopistoissa on sinnikkäitä tutkijoita, jotka ovat jatkaneet asiaankuuluvaa tutkimusta vuosikymmeniä, nykyinen AI-buumi on toteutunut.

Laskentateholiittojen, kuten Empire AI New Yorkin osavaltiossa, lisäksi monet Pohjois-Amerikan yliopistot ja tutkimuslaitokset ovat myös tehneet erikokoista instituutioiden välistä yhteistyötä laskentaresurssien jakamiseksi. Vuoden 2023 lopussa yli kymmenen yliopistoa Kiinassa perusti myös China University Computing Power Alliancen. Ehkä tällainen yhteistyö voi tuoda toivoa katkaista yliopistojen laskentatehopulan.

Lähde: Wall Street Journal, Reddit