uutiset

[Global Times Reporter Ma Jun] Yhdysvallat luottaa ohjelmisto- ja laitteistoetuihinsa käyttääkseen mittakaavaansa maailman tehokkaimman tekoälyn (AI) rakentamiseen. Amerikkalainen miljardööri Musk ilmoitti äskettäin sosiaalisessa mediassa, että hänen AI-start-up-yrityksensä xAI on alkanut käyttää "Memphis Super Clusteria", joka koostuu 100 000 H100-grafiikkasuorittimesta tekoälykoulutukseen, väittäen olevansa "maailman tehokkain AI-koulutusklusteri". Pitäisikö Kiinan seurata tätä Yhdysvaltojen johtamaa teknologista polkua? Äskettäin vuoden 2024 China Computing Power Development Expert -seminaarissa, jota yhdessä rahoittivat China Intelligent Computing Industry Alliance ja National Beacon Committeen Computing Power Standards Working Group, useat akateemikot ja asiantuntijat esittivät näkemyksensä.

Superälykkyyden integraation tulevaisuus jaetaan kolmeen vaiheeseen

Kiinan tiedeakatemian akateemikko Chen Runsheng sanoi seminaarissa: "Tekoälyn suuret mallit edustavat uutta tuottavuutta. Suurten mallien ja supertietokoneiden integroitu kehittäminen on erittäin tärkeää. Maamme on suunniteltava ja harkittava sitä vakavasti. Tietojenkäsittelytekniikan instituutti, Kiinan tiedeakatemia Tutkija Zhang Yunquan mainitsi, että suurten mallien nopea kehitys osoittaa uuden tuottavuuden ominaisuuksia, mutta se kohtaa tällä hetkellä myös laskentatehon pullonkaulan. Ottaen huomioon Kiinan syvällisen teknologian kertymisen supertietokoneiden alalla, toivotaan, että superälykäs fuusio (suurten mallien edustama supertietokoneen ja älykkään laskennan fuusio) voi tehokkaasti ratkaista tämän haasteen. Shan Zhiguang, National Information Centerin informaatio- ja teollisuuskehitysosaston johtaja, selitti: "Superälykäs fuusio syntyi peruslaskentatehon, älykkään laskentatehon, superlaskentatehon jne. nykyisen monipuolisen kehityksen myötä, eli Voiko se käyttää hybridilaskentaresursseja tai integroituja laskentajärjestelmiä vastaamaan useiden eri laskentaresurssien sovellustarpeisiin samanaikaisesti."

Kiinan tiedeakatemian akateemikko Qian Depei uskoo tulevaa superälykkyyden integraatioprosessia ennustaessaan, että se kehittyy selvästi AI:n kolmen vaiheen aikana, tekoälyn ja tekoälyn kautta, kehittyen kaikin puolin. laitteistosta ohjelmistoon sopeutuakseen tekoälyyn ja edistääkseen teknologian kehitystä. Tekoälyn ensimmäisessä vaiheessa se keskittyy olemassa olevien tietokonejärjestelmien muuntamiseen ja päivittämiseen sekä omistetun laitteiston kehittämiseen sen varmistamiseksi, että tekoälytehtäviä voidaan tukea ja suorittaa tehokkaasti ja tarjota vankka infrastruktuuri tekoälytutkimukselle. Toisessa vaiheessa tekoälyä käytetään perinteisten tietojenkäsittelyn muuttamiseen. Toisaalta tekoälyn menetelmiä käytetään myös perinteisten tietokoneiden rakenteeseen tulla ilmeiseksi. Tekoälyn viimeisessä vaiheessa on luontaisia ​​älykkäitä ominaisuuksia Älykkyys on paljon erilaista kuin nykyinen supertietokone tai älykäs tietojenkäsittely.

Chen Runsheng huomasi, että tiedeyhteisö ja teollisuus ovat yrittäneet ratkaista supertietokoneiden ja älykkään tietojenkäsittelyn integrointiongelmaa. Esimerkiksi Nvidian uusin GB200-arkkitehtuuri on itse asiassa kaksi GPU:ta plus yksi CPU. Tietyssä mielessä sen voidaan katsoa hyödyntävän sekä älykästä laskentaa että supertietokonetta tiedonsiirto. Mutta hän uskoo, että tämä arkkitehtuuri ei ratkaise tehokkuusongelmaa pohjimmiltaan. "Superlaskennan ja älykkään tietojenkäsittelyn yhdistelmä on väistämätön, ja se integroidaan orgaanisesti sen sijaan, että ne koottaisiin yhteen."

Kiinan tekniikan akatemian akateemikko Zheng Weimin sanoi myös, että kaikki suurten mallien kehittämiseen, koulutukseen, hienosäätöön ja päättelemiseen liittyvät näkökohdat ovat erottamattomia laskentatehosta, ja laskentatehon kustannukset muodostavat suurimman osan kokonaiskustannuksista. menot, erityisesti koulutusvaiheessa, joka on jopa 70 prosenttia. Päättelyvaiheessa se on jopa 95 prosenttia. Tämän vuoksi laskentatehosta on tullut keskeinen suurten mallien kehitystä tukeva tekijä.

Älykkään tietojenkäsittelyn tulisi viitata "ihmisen älykkyyteen"

Kiinalaiset akateemikot ja asiantuntijat ovat esittäneet omia näkemyksiään Kiinan nykyisestä suuren mittakaavan mallihulluudesta ja teknologisesta tiestä seurata Yhdysvaltojen "reaktorimittakaavaa". Qian Depei sanoi, että Kiinassa on nyt enemmän suuria malleja lukumäärältään ja tyypeiltään kuin Yhdysvalloissa, ja ne harjoittavat myös yleistä tekoälyä. Emme kuitenkaan ole tiukasti rajoittaneet meitä vain laitteiston suhteen suuren mittakaavan mallikoulutuksessa käytetyn datan laatu sekä malli että määrä ovat suhteellisen pieniä. olosuhteissa eivätkä voi täysin seurata amerikkalaisia."

Chen Runsheng uskoo myös, että Kiinassa tällä hetkellä esiin nousevat suuret mallit ovat pohjimmiltaan parannuksia Yhdysvaltojen ehdottamiin suuriin malleihin ja algoritmeihin, mutta koko suuren mallin perusteoriaa ei juurikaan huomioida. Hän huomautti seminaarissa, että verrattuna perinteisten supertietokoneiden paikalliseen muistimalliin älykäs laskenta osoittaa perustavanlaatuisen eron - tiedon hajautetun varastoinnin.Tämä säilytysmenetelmä jäljittelee ihmisen aivojaNeuraaliverkot Monimutkainen rakenne kantaa yhä suurempia malleja laajamittaisten ja tiiviisti toisiinsa kytkettyjen siruverkkojen kautta. Kuitenkin, miten inhimillinen tieto voidaan tehokkaasti upottaa näihin monimutkaisiin järjestelmiin ja kuinka tieto jaetaan ja tallennetaan järjestelmään, sen taustalla olevia algoritmeja ja teknisiä teorioita ei ole vielä täysin tutkittu. "Mallien mittakaavan hallitsemattoman laajenemisen myötä energiankulutus on ylitsepääsemätön ongelma. Siksi ei ole täysin suositeltavaa lisätä sokeasti siruja ja luottaa järjestelmän monimutkaisuuden lisääntymiseen suurten mallien tallennusongelman ratkaisemiseksi."

Siksi Chen Runsheng uskoo, että tulevaisuuden älykkään tietojenkäsittelyn tulisi silti viitata "ihmisen älykkyyteen", jonka tarkoituksena on simuloida ihmisaivojen toimintamekanismia. Ihmisaivot ovat hyvin pienet ja kuluttavat vain kymmeniä watteja energiaa, mutta niiden tuottama älykkyys ylittää nykyisen huipputeknisen tekoälyn, joka kuluttaa yhtä paljon energiaa kuin koko kaupunki. "Suurten mallien ja älykkään laskennan kehittäminen ei edellytä vain mallien ja algoritmien kehittämistä sovellustasolla, vaan vaatii myös läpimurtoja perusteorian näkökulmasta. Tällä hetkellä suuret mallit ovat kehittäneet vain ensimmäiset 10 % ja 90 %. työtä ei ole tehty, uskon myös, että suuria malleja ei todellakaan saavuteta pinoamalla enemmän ja enemmän siruja Luulen, että se on alkeellisinta. Ongelmana on tutkia nykyistä avaruuden monimutkaisuutta älykkään tietojenkäsittelyn perusteorian loppuun saattamiseksi.

Yuan Guoxing, Pekingin soveltavan fysiikan ja laskennallisen matematiikan instituutin tutkija, uskoo, että on mahdotonta odottaa yleisen suuren mallin pystyvän ratkaisemaan ongelmia kaikilla elämänaloilla. Todellisuudessa eri sovelluksilla on erilaisia ​​tekniikoita, ne vaativat erilaisia ​​algoritmeja ja niillä on erilaiset vaatimukset laskentateholle. Esimerkiksi tieteellisessä laskennassa vaatimukset laskennan tarkkuudelle kovenevat tietokoneiden mittakaavan laajentuessa, ja uskottavuus heikkenee jatkuvasti. NASA (NASA ) esittivät myös samanlaisen näkökulman, ja ne asettavat erittäin korkeat vaatimukset laskennan tarkkuudelle. Siksi eri sovelluksissa on tulevaisuudessa erilaisia ​​suuria malleja ja erilaisia ​​laskelmia erilaisten ongelmien ratkaisemiseksi. Nykypäivän suurilla malleilla on täysin erilaiset vaatimukset laskentatarkkuudelle ja algoritmeille.

Kiinan tieto- ja viestintätekniikan akatemiapilvilaskentaBig Data Research Instituten johtaja Baohong lisäsi: "Tietokoneella ja koulutuksella on erilaiset vaatimukset taustalla olevalle infrastruktuurille, ja on myös tarpeen määrittää, missä skenaarioissa erot tulisi suojata ja missä skenaarioissa erot tulee näkyä. "

On kehitettävä suvereenitason suuria malleja

Zhang Yunquan sanoi, että Yhdysvallat on äskettäin yrittänyt "jumittaa" maani tekoälyn kehittämiseen useilla toimilla, mukaan lukien huippuluokan grafiikkasuorittimien myynnin kieltäminen, suurten mallien lähdekoodin jakamisen lopettaminen ja keskeyttäminen. ekologinen yhteistyö. Samaan aikaan, kun suurten mallien laskentakaava saavuttaa nyt 10 000 GPU:ta tai jopa 100 000 GPU:ta, on tarpeen kehittää erityisiä supertietokoneita suurille malleille teknisten pullonkaulojen, kuten energiankulutusseinien, luotettavuusseinien ja rinnakkaiseinien murtamiseen. Tätä taustaa vasten, jos Kiina haluaa murtautua suurten mallien laskentatehon pullonkaulan läpi lyhyellä aikavälillä, Kiinalla on tie edetä: käyttämällä kahden viime vuosikymmenen aikana kertynyttä edistynyttä superlaskentateknologiaa suurten mallien supertietokoneiden kehittämiseen. suurten mallien laskentatehon pullonkaula, jotta maamme voi tarttua tiukasti maailman edistyksellisimpiin suuriin malleihin eikä jää jälkeen.

Kun Zhang Yunquan esitteli "Suvereenin suuren mallin" superälykkään fuusiojärjestelmän alaisuudessa, hän sanoi, että maallamme on syvällistä teknologiaa supertietokoneiden alalla laskentatehoa, keskittyen superälykkään laskentatehojärjestelmän perustamiseen keskukseksi Järjestelmäsuunnittelu vastaa suurten mallien laskentatehotarpeisiin toivoen maksimoivansa superlaskentateknologian edut laskentatehohaasteiden ratkaisemisessa."Sovereign Level Large Model" -suunnitelman käyttöönoton mukaan "Sovereign Level Large Model" -innovaatiokonsortio luottaa kansalliseen supertietokoneeseen, Kiinan tiedeakatemian ja kansallisten avainyliopistojen tunnettuihin professoriryhmiin, älykkäisiin siruyrityksiin, suuret malliratkaisuyritykset jne. luoda yhdessä samanlaisiaOpenAI Avoin organisaatio, "suvereenitason suuri malli" on voittoa tavoittelemattoman sektorin organisaation kehittämä, ja "suvereenitason suuren mallin" toteuttaa voittoa tavoitteleva sektori. Hän ehdotti, että supertietokone on "maan tärkein ase" ja sitä on käytettävä suurimpien ja vaikeimpien haasteiden voittamiseksi. Valtiotason suurmalli on kansallista kehitystä tukeva juurimalli, ei tavallinen suuri malli. Samanlaiset kansallisen tason supermallit ovat saaneet paljon huomiota myös muilta mailta. Esimerkiksi Yhdysvaltojen Microsoft ja OpenAI ovat ilmoittaneet investoivansa 100 miljardia dollaria uuteen tekoäly-supertietokoneeseen kansallisen tason mallien kehittäminen.

Chen Runsheng uskoo, että Kiinan nykyisten perusolosuhteiden ja suurten mallien väistämättömän kehitystrendin perusteella meidän on epärealistista noudattaa täysin länsimaista lähestymistapaa, ja lyhyellä aikavälillä on vaikea päästä kiinni. Siksi on vielä tärkeämpää löytää keino kehittää suvereenitason laajamittaisia ​​malleja.