uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Teksti |. Chang Minxiao ja Yuan Yingliang

Toimittaja Anita Tang

Jos Llaman suuren mallin kohtalo on tulla avoimen lähdekoodin mallien kattoon, niin "traaginen vuotaminen" on katastrofi, joka Llaman on voitettava.

Maaliskuussa 2023 Llama 2 vuoti etukäteen, ja Metan oli julkaistava malli avoimena lähdekoodina.

Nykyään historia toistaa itseään jälleen.

Heinäkuun 12. päivänä, Tyynenmeren aikaa, Metan työntekijä paljasti, että Meta aikoo julkaista Llaman tähän mennessä suurimman parametriasteikkoversion: Llama 3.1 405B 23. heinäkuuta 2024 paikallista aikaa. Hän paljasti, että 405B on ensimmäinen multimodaalinen malli Llama-sarjassa.

Kuitenkin 22. heinäkuuta, Tyynenmeren aikaa, päivää ennen suunniteltua julkaisua, Llama 3.1:n malli- ja vertailutulokset vuotivat teknisiin yhteisöihin, kuten Redditiin, ja Llama 3.1:n magneettilinkkiin (asiakirjojen lataamiseen käytetty ohjelma). on levitetty HuggingFacen kaltaisissa yhteisöissä.

Vuotavista tuloksista päätellenLlama 3.1:n suorituskyky on verrattavissa OpenAI:n GPT-4o:han!

Jotkut tekoälybloggaajat ylistivät, että Llama 3.1:n julkaisu on toinen päivä, joka muuttaa tekoälymaailman kohtaloa:

△ Lähde: X

Vuotaneet vertailutulokset osoittavat, että Llama 3.1:llä on kolme kokoa: 8B, 70B ja 405B. Pienimmän parametrimäärän omaavan 70B-mallin suorituskyky on monessa suhteessa verrattavissa GPT-4o:han.

△Yllä olevassa kuvassa on vertailu Llama 3.1:n ja OpenAI GPT-4o:n ja Llama 3 8B/70B:n välillä. Niistä 70B, joka on mittakaavan keskellä, ylittää myös GPT-4o:n monessa suhteessa. Kuvan lähde: X-käyttäjä @mattshumer_

Jotkut netizenit huomauttivat, että jos tämän vertailuarvon perusteella Llama 3.1 405B ≈ GPT-4o, Llama 3.1 70B tulee ensimmäinen kevyt malli ja GPT-4o mini, joka voi voittaa OpenAI:n.

△Kuvan lähde: X-käyttäjä @corbtt

Monet verkkokäyttäjät, jotka ovat ladanneet mallin "varhaisille käyttäjille", ovat kuitenkin havainneet, että Llama 3.1 405B:n vuotaneen version tiedostokoko on noin 820 Gt, mikä vaatii lähes kolme kertaa enemmän muistia kuin Llama 2 (noin 280 Gt), joka säilyttää täyden tarkkuuden.

Tämä tarkoittaa, että ellei sinulla ole kotona kaivosta ja sinulla ei ole varaa tarpeeksi grafiikkasuorituksiin, yksittäisten kehittäjien on vaikea ajaa Llama 3.1:tä omilla tietokoneillaan. Jotkut verkkovieraat spekuloivat, että Llama 3.1 ei ole tarkoitettu yksityishenkilöille, vaan laitoksille ja yrityksille.

Llama 3.1, jota ei ole vielä virallisesti julkistettu, on myös kaadettu kylmällä vedellä. Monet nettimiehet valittivat: Llama 3.1:llä on liian korkeat vaatimukset GPU:lle, eikä se ole yhtä hyvä kuin viereisen OpenAI:n GPT-4o mini.

△Netizen kommentoi X:ää. Kuvan lähde: X-käyttäjä @_Talesh

Toimintojen iterointi, indikaattorien optimointi ja laskentaresurssien vähentäminen

Vuotaneiden mallitietojen mukaan Llama 3.1:ssä on enemmän iteraatioita toiminnallisuudessa kuin Llama 3:ssa, joka julkaistaan ​​19. huhtikuuta 2024, mukaan lukien pidemmät kontekstiikkunat, monikielinen syöttö ja tulos sekä kehittäjän ja kolmannen osapuolen työkalujen mahdollinen integrointi.

Tietojen koulutus: Llama 3.1 opetettiin käyttämällä 15T+ -tunnusta julkisista lähteistä. Hienosäätödata sisältää julkisesti saatavilla olevia ohjeiden viritystietojoukkoja (toisin kuin Llama-3!) ja yli 25 miljoonaa synteettisesti luotua esimerkkiä. Monikielinen dialogi: Llama 3.1 tukee 8 kieltä: englanti, saksa, ranska, italia, portugali, hindi, espanja ja thai. Vaikka kehittäjät eivät valitettavasti ole saatavilla kiinaksi, ne voivat hienosäätää Llama 3.1 -malleja muille kielille kuin 8 tuetulle kielelle. Kontekstiikkuna: Kunkin version kontekstin pituus on laajennettu 8k:sta 128k:aan, mikä vastaa suunnilleen sitä, että malli pystyy muistamaan, ymmärtämään ja käsittelemään 96 000 sanaa kerrallaan, melkein koko alkuperäisen "Harry Potterin".

Monet verkkovieraat ovat innokkaita kokeilemaan sitä ja antavat Llama 3.1:n kilpailla mallin "edeltäjien" kanssa. He huomaavat, että indikaattoreita ei ole parannettu merkittävästi, vaan myös laskentaresursseja on säästetty paljon.

Llama 3.1:n ominaisuuksia on nettilaisten testien perusteella parannettu merkittävästi Llama 3:een verrattuna. Niistä human_eval ja truefulqa_mc1 ovat edistyneet merkittävästi, mikä tarkoittaa, että kyky luoda ohjelmointikoodia on vahvempi ja vastaukset kysymyksiin autenttisempia.

Samalla perusmalliin verrattuna Llama 3:n ohjemalli on parantanut merkittävästi indikaattoreita, kuten nopeaa oppimista, kontekstuaalista oppimista ja tehokasta parametrien hienosäätöä.

Tämä on järkevää, koska perusmallia ei yleensä ole hienosäädetty tiettyä tehtävää varten, kun taas ohjemalli on erityisesti koulutettu seuraamaan ohjeita tai suorittamaan tiettyjä tehtäviä. Yleensä ohjemallin indikaattorit toimivat paremmin.

Tämä saa ihmiset odottamaan Llama3.1:n virallista julkaisua entistä enemmän. Tällä hetkellä vuotaneet Llama3.1-mallin testitulokset koskevat vain perusmallia, kun taas ohjemalli voi toimia paremmin!

△Kuvan lähde: X-käyttäjä @thenameless7741

△Kuvan lähde: X-käyttäjä @thenameless7741

Yllättäen vertailutestituloksissa Llama 3.1 70B -malli päihitti tai jopa voitti GPT-4o:n, kun taas Llama 3.1 8B -malli oli lähellä Llama 3 70B -mallin suorituskykyä. Jotkut nettimiehet arvelivat, että tässä on saatettu käyttää mallitislaustekniikkaa, eli 8B- ja 70B-mallit yksinkertaistettiin suurimmasta 405B-mallista, jolloin suuret mallit tehtiin "pienemmiksi".

Mallin tislaustekniikkaa voidaan pitää opiskelijana, joka oppii opettajalta. Suuri ja voimakas malli (opettajamalli) on opettaja ja pienempi ja yksinkertaisempi malli (opiskelijamalli) on opiskelija. Opiskelijamalli oppii "jäljittelemällä" opettajamallia, tehden tuotoksen mahdollisimman lähelle opettajamallin tulosta, jolloin oppii samanlaisia ​​tietoja ja kykyjä.

Tislauksella koulutettu opiskelijamalli voi pienentää mallin kokoa ja laskentaresurssivaatimuksia säilyttäen samalla korkean suorituskyvyn ja huomattavan tarkkuuden.

△ Lähde: Reddit

Kaikki eivät voi käyttää sitä, mutta hinta on kohtuullinen.

Vielä ei tiedetä, onko Llama 3.1 avoimen lähdekoodin odotetusti. Mutta vaikka se olisi avoimen lähdekoodin, jos haluat käyttää Llama 3.1:tä, sinulla on silti oltava kotona kaivos.

Jos haluat käyttää Llama 3.1:tä, yksinkertaisin pääsylippu on riittävä GPU.

Vuotaneet asiakirjat osoittavat, että Llama 3.1 405B:n harjoitusaika H100-80GB-tyyppisellä laitteistolla on 30,84 miljoonaa GPU-tuntia. Tämä tarkoittaa, että olettaen, että vain yksi H100-80 Gt tunnissa käytetään, Llama 3.1 405B:n ajo kestää 30,84 miljoonaa tuntia – kestää 3500 vuotta ennen kuin malli on käynnissä!

△ Lähde: Reddit

Jos haluat ottaa käyttöön yksityisesti, jos yritys haluaa käyttää Llama 3.1 405B:tä onnistuneesti kuukauden sisällä, sen on varattava vähintään 43 000 H100-80 Gt. Laskettu 40 000 US$:n H100 yksikköhinnan perusteella,Llama 3.1 405B laskentateholippuja käytettäessä hinta on jopa 1,7 miljardia dollaria, mikä vastaa 12,5 miljardia juania.

Mutta hyvä uutinen on, että Llama 3.1:n päättelykustannukset voivat olla halvempia.

Artificial Analysis -analyysin mukaan miljoonan Tokenin, Llama 3.1 405B:n läpivientikustannukset ovat halvempia ja kustannustehokkaampia kuin samanlaatuiset huippumallit (GPT-4o ja Claude 3.5 Sonnet).

△Kuvan lähde: X-käyttäjä @ArtificialAnlys

Lisäksi jotkut verkkokauppiaat spekuloivat lähdetiedostokoodin avulla, että Llama 3.1 405B:stä voi tulla jäsentuote, ja käyttäjien on maksettava sitä käyttäessään. Meidän on kuitenkin vielä odotettava virallista julkaisua todellisesta tilanteesta.

△Kuvan lähde: X-käyttäjä @testingcatalog

(36 Kr kirjailija Zhou Xinyu osallistui myös tähän artikkeliin)

Tervetuloa kommunikoimaan

Tervetuloa kommunikoimaan