uutiset

Musk nappaa 100 000 H100:aa rakentaakseen maailman tehokkaimman tekoälysupertietokoneen, ja seuraavan sukupolven mallikoulutus alkaa

2024-07-23

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Mingmin tulee Aofein temppelistä
Qubits |. Julkinen tili QbitAI

Musk rakensi maailman tehokkaimman tekoälyklusterin!

Lao Ma itse ilmoitti räjähtävästä uutisesta virallisesti Twitterissä.

Klo 4.20 paikallista aikaa xAI:n, X:n ja NVIDIA:n yhdessä rakentama Memphis-superklusteri on aloittanut harjoittelun.
se koostuuKoostuu 100 000 kappaleesta H100, on tällä hetkellä maailman vahvin harjoitusklusteri!



Tämä mittakaava on selvästi ohittanut Frontierin, maailman tehokkaimman supertietokoneen.

xAI:n perustajajäsenet sanoivat seuraavaksi:

Kun perustimme tämän yrityksen vuosi sitten, tavoitteemme oli saavuttaa kolme etua: dataetu, lahjakkuusetu ja tietojenkäsittelyetu.
Tästä päivästä alkaen meillä on kaikki kolme!



Muskin postauksessa onnittelut lähetti myös Supermicro, jolla on läheiset suhteet Nvidiaan ja joka on erikoistunut nestejäähdytystekniikkaan. Sen perustaja Charles Liang sanoi:

On hienoa, että teemme historiaa Muskin kanssa.



Samalla Musk lisäsi, että klusterin valmistuminen tuo merkittäviä etuja maailman vahvimman mallin kouluttamiseen tämän vuoden aikana.



Aikaisempien lausuntojen mukaan Grok-3:n kouluttamiseen tarvitaan 100 000 H100-konetta.



△Cluster overhead shot

Tämän lisäksi hän mainitsi tämän vuoden kesäkuussa, että 1 GW:n tehon sijoittaminen H100:aan ei ollut sen arvoista. Ensi kesänä voidaan ottaa käyttöön 300 000 B200:sta koostuva klusteri.



Itse rakennetut klusterit ovat luottavaisempia

Tämän vuoden toukokuussa The Information raportoi, että Musk rakentaa 100 000 H100:sta koostuvan supertietokoneklusterin syksyyn 2025 mennessä ja tekee yhteistyötä Oraclen kanssa.

On raportoitu, että xAI sijoittaa 10 miljardia dollaria Oracle-palvelimien vuokraamiseen.

Tuolloin jotkut vielä kyselivät, miksi se rakennettaisiin ensi vuonna, mutta silti käytetään edellisen sukupolven tekniikkaa?

NVIDIA on julkaissut uuteen Blackwell-arkkitehtuuriin perustuvat B100- ja B200-mallit, jotka voivat kouluttaa suuria malleja paljon tehokkaammin kuin H100.

Nyt kun katsot sitä, ehkä uutisten aika on väärä? Olisi paljon järkevämpää, jos se valmistuisi tänä vuonna.



Musk vastasi äskettäin uutiseen lopettaneensa yhteistyön Oraclen kanssa supertietokoneklustereiden rakentamiseksi.

Hän sanoi, että xAI sai Oraclelta 24 000 H100-resurssia Grok-2:n kouluttamiseen. Asiaankuuluvat uutiset osoittavat, että xAI:n ja Oraclen välinen palvelinvuokrayhteistyö jatkuu edelleen.

100 000 kortin H100-klusterin rakentamisessa valitsimme kuitenkin itse rakennetun mallin ja mainostimme sitä mahdollisimman nopeasti. Sanotaan, että 100 000 kortin asentaminen kesti vain 19 päivää.

Meidän on otettava pyörä itse.



Myöhemmät uutiset osoittivat, että Dell ja Super Micro tulivat Muskin uusiksi kumppaneiksi.

Dellin toimitusjohtaja ja Supermicro toimitusjohtaja twiittasivat äskettäin yhteistyön olevan käynnissä ja lisäsivät kuvia datakeskuksesta.



Musk vieraili paikalla henkilökohtaisesti klusterin rakentamisprosessin aikana.

Samaan aikaan Twitterissä paljastettiin myös, että Grok harjoittelee Memphisissä ja Grok-2 lanseerataan elokuussa.



On syytä mainita, että Oracle oli aiemmin ilmaissut huolensa virtalähteestä paikassa, johon klusteri perustettiin.

Arvioiden mukaan 100 000 H100-yksikköä vaativat 150 megawattia verkosta allokoitua tehoa, mutta Musk näyttää ratkaisneen tämän ongelman.

Uusimpien uutisten mukaan nykyinen klusteri on tilapäisesti saanut 8 megawattia. Sopimuksen allekirjoittamisen jälkeen 1. elokuuta saadaan 50 MW. Verkossa on nyt 32 000 korttia, ja ne ovat 100 % verkossa neljännellä vuosineljänneksellä – tarpeeksi tukemaan GPT-5-mittakaavamallin koulutustoimintoja.



Lyhyesti sanottuna varmaa on se, että tekoälyjättiläiset uskovat, että on luotettavampaa pitää laskentatehoa omissa käsissään, ja siihen kannattaa tuhlata hulluja rahaa.

Kustannusarvioiden mukaan kunkin H100:n hinta on noin 30 000-40 000 US$. Muskin supertietokoneklusterin arvo tulee olemaan 4 miljardia dollaria (vastaa yli 29 miljardia RMB).

Aiempien uutisten mukaan Microsoft ja OpenAI kehittävät 100 miljardin dollarin arvoista datakeskusprojektia nimeltä "Stargate".

Asiaan perehtyneiden ihmisten mukaan Oraclen ja Microsoftin välillä ollaan tekemässä kauppaa 100 000 B200:sta. Klusteri voi olla valmis ensi kesänä.

Lisäksi Metalla on ollut ylellisiä supertietokoneklustereita, ja pilvitoimittajat, kuten AWS, ovat myös investoineet enemmän datakeskuksiin.

Viitteet:
[1]https://x.com/elonmusk/status/1810727394631950752
[2]https://x.com/elonmusk/status/1815325410667749760
[3]https://x.com/dylan522p/status/1815494840152662170
[4]https://x.com/MichaelDell/status/1803385185984974941