uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Uusi viisausraportti

Toimittaja: Taozi

[Johdatus uuteen viisauteen] Yllättäen multimodaalinen Llama 4 on jo aloittanut harjoittelun täydessä vauhdissa. Xiao Zha sanoi, että se investoi kymmenen kertaa Llama 3:n laskentamäärään verrattuna vuonna 2025 julkaistavan mallin kouluttamiseen. Hän käytti paljon rahaa GPU:n ostamiseen, mutta hän pelkäsi, että se olisi liian myöhäistä.

Llama 3.1 on juuri julkaistu, ja Llama 4 on otettu kokonaan käyttöön.

Viime päivinä Xiao Zha sanoi toisen vuosineljänneksen talousraportissa, että Meta käyttää kymmenen kertaa Llama 3:n laskentatehoa kouluttaakseen seuraavan sukupolven multimodaalista Llama 4:ää, jonka odotetaan julkaistavan vuonna 2025.

Tällä laskulla Lao Huangista tuli jälleen suurin voittaja

Mikä on kymmenen kertaa laskentamäärän käsite?

Tiedätkö, Llama 3 on koulutettu kahdelle GPU-klusterille, joissa on 24 000 GPU:ta. Toisin sanoen Llama 4 -koulutus vaatii 240 000 GPU:ta.

Joten riittääkö meta-inventaari?

Muistan edelleen, että Xiao Zha ilmoitti vuoden alussa aikovansa ottaa käyttöön 350 000 Nvidia H100 -laitetta vuoden loppuun mennessä.

Hän paljasti myös lisätietoja Meta rakentaa sisäisesti kaksi yksittäistä klusteria LLM:n koulutusta varten, joista toinen on varustettu 22 000 H100-lohkolla ja toinen klusteri, joka on varustettu 24 000 lohkolla.

Jotkut verkkokäyttäjät arvioivat kerran, kuinka GPU:n käyttö kasvoi Llama-mallin iterointiprosessin aikana:

Llama 1: 2048 GPU:ta

Llama 2: 4096 GPU:ta

Llama 3.1: 16384 GPU:ta

Tai viettää 40 miljardia dollaria, Xiao Zha ei halua, että on liian myöhäistä

Voidaan nähdä, että suurten mallien kouluttaminen on kallista bisnestä.

Taloudellinen raportti osoittaa, että Metan investoinnit palvelimiin, datakeskuksiin ja verkkoinfrastruktuuriin kasvoivat lähes 33 % toisella neljänneksellä.

Se kasvoi 8,5 miljardiin dollariin viime vuoden 6,4 miljardista dollarista.

Vuotuisten menojen odotetaan nyt olevan 37–40 miljardia dollaria, kun aikaisempi arvio oli 35–40 miljardia dollaria.

Informationin raportin mukaan OpenAI käytti 3 miljardia dollaria koulutusmalleja ja vielä 4 miljardia dollaria vuokraamalla palvelimia Microsoftilta alennuksella.

Voidaan nähdä, kuinka ironista on käyttää laskentatehoa suurten mallien kouluttamiseen.

Mutta merkitys on siinä, että Llama 3.1:n avoimesta lähdekoodista tulee tärkeä käännekohta tekoälyteollisuudessa, ja avoimen lähdekoodin tekoälystä alkaa tulla alan standardi, kuten Linux.

Meta suunnittelee lähivuosiksi laskentaklustereita ja datakeskuksia tukemaan tulevia tekoälymalleja.

Xiao Zha myönsi, että tekoälyteknologian tulevaa kehityspolkua on vaikea ennustaa, mutta infrastruktuurin rakentaminen ei ole nopeaa.

Epävarmuudesta huolimatta olin valmis ottamaan riskin rakentaa etukäteen, enkä jäänyt jälkeen kilpailijoistani valmistautumattomuuden vuoksi.

Xiao Zhan ennakointi johti kerran yrityksen erottumaan metaversumien aallosta.

Kun yhtiön osakekurssi koki kovan iskun vuonna 2022, Xiao Zha otti silti riskin ja osti suuren määrän H100:aa.

Saman vuoden kolmannen vuosineljänneksen taloudellinen raportti osoitti, että Metan investoinnit olivat jopa 32–33 miljardia dollaria.

Suuri osa tästä menee datakeskusten, palvelimien ja verkkoinfrastruktuurin rakentamiseen sekä valtaviin investointeihin Metaverseen.

Haastattelussa Xiao Zha selitti: "Meta kehitti siihen aikaan voimakkaasti lyhytvideotyökalua Reels, joten mallin kouluttamiseen tarvittiin lisää GPU:ita."

Koska mallin päättely on Metalle keskeinen asia, sen on tarjottava palveluita omien sovelluksiensa, kuten Facebookin ja Insin, käyttäjille.

Xiao Zhan alkuperäisillä sanoilla:

Vaadimme päätelmälaskelmien ja koulutuksen suhde voi olla paljon suurempi kuin muissa tällä alalla toimivissa yrityksissä. Tämä johtuu siitä, että palvelemamme yhteisön käyttäjämäärä on erittäin suuri.

Jokaisella on tekoälyagentti

Jokin aika sitten Meta AI -tutkija Thomas Scialom mainitsi myös blogihaastattelussa, että Llama 4 oli aloittanut harjoittelun kesäkuussa.

Hän sanoi, että uusi malli saattaa keskittyä agenttiteknologiaan, ja joitain tutkimuksia on tehty agenttityökaluista, kuten Toolformerista.

Xiao Zha uskoo, että tekoälyagenteista tulee pian verkkoyritysten "vakiovarusteet".

"Ajan myötä uskon, että aivan kuten jokaisella yrityksellä on verkkosivusto, sosiaalisen median tilit ja sähköpostiosoitteet, tulevaisuudessa jokaisella yrityksellä on tekoälyagentti, jonka kanssa asiakkaat voivat olla vuorovaikutuksessa."

Metan tavoitteena on antaa jokaiselle pienelle ja lopulta jopa suurelle yritykselle mahdollisuus integroida oma sisältönsä ja tuotteensa helposti tekoälyagentteihin.

Kun tämä tekniikka otetaan käyttöön laajassa mittakaavassa, se nopeuttaa suuresti yritystietotulojamme.

Huolimatta sijoittajien kritiikistä Metan korkeista tekoäly- ja Metaverse-menoista, Zuckerberg on edelleen sitoutunut strategiaansa.

Vaikka virtuaalitodellisuus näyttää jääneen taka-alalle Metassa viime vuosineljänneksinä, Zuckerberg mainitsi, että Quest 3:n myynti ylitti yrityksen odotukset.

Toisen vuosineljänneksen luvut osoittavat, että liikevaihto kasvoi tällä alueella 22 prosenttia 39,1 miljardiin dollariin ja voitot kasvoivat 73 prosenttia 13,5 miljardiin dollariin.

Kolmannella vuosineljänneksellä Meta odottaa liikevaihtoa 38,5-41 miljardin dollarin välillä.

Lähteiden mukaan yritys julkistaa halvemman kuulokkeen Connect-konferenssissaan syyskuussa.

Lisäksi AI-assistentti Meta AI on tulossa yhä suositummaksi, ja Xiao Zha sanoi, että sen odotetaan olevan laajimmin käytetty AI-assistentti vuoden loppuun mennessä.

Viitteet:

https://the-decoder.com/meta-plans-to-use-10-times-more-compute-power-to-train-its-next-generation-lama-4-ai-model/

https://www.theverge.com/2024/7/31/24210786/meta-earnings-q2-2024-ai-llama-zuckerberg