uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Uusi viisausraportti

Toimittaja: Toimitusosasto

[Johdatus uuteen viisauteen] Llama 3.1 on taas vuotanut etukäteen! Kehittäjäyhteisö on jälleen raivoissaan: suurin malli on 405B, myös 8B- ja 70B-mallit päivitetään samaan aikaan ja mallin koko on noin 820 Gt. Vertailutestin tulokset ovat hämmästyttäviä, ja magneettilinkki kiertää villisti koko verkossa.

Historia toistaa itseään jälleen, Llama 3.1 405B vuoti etukäteen!

Nyt on levinnyt sana benchmarkista ja magneettilinkeistä.

Suurimman 405B:n lisäksi Meta on tällä kertaa päivittänyt toukokuun alussa julkaistut 8B- ja 70B-mallit ja lisännyt kontekstin pituuden 128K:aan.

Tässä vaiheessa malliversio on virallisesti iteroitu Llama 3:sta Llama 3.1:een.

Magneettilinkin antamien tietojen mukaan uuden mallin koko on 763.48GiB (noin 820GB).

Vuotaneesta "benchmark-testistä" voidaan nähdä, että jopa 8B-pieni malli voi toimia hyvin, ja 70B-mallin suorituskyky voi kuroa kiinni GPT-4o: n useissa vertailuissa.

Kehittäjät olivat raivoissaan nähtyään testitulokset Topologyn toimitusjohtaja Aidan McLau huudahti...

Jos Llama 3-405B:n vertailuarvot olisivat totta, niin se olisi

- Ryhdy maailman parhaaksi malliksi

- Säädettävä kaikille

- Halvempi kuin GPT-4o!

HyperWriteAI:n toimitusjohtaja Matt Schumer ennustaa: Siitä tulee ehdottomasti avoimen lähdekoodin mallin SOTA. (Jopa 70B voi kilpailla GPT-4o:n kanssa, puhumattakaan tästä ennen käskyn hienosäätöä.)

Kuvittele GPT-4o-tason malli, jonka nopeus on 330 merkkiä sekunnissa ja 10 kertaa halvempi. Tämä on niin jännittävää.

Huomenna tulee villi päivä!

Ja Xiao Zhan sanat vihjasivat 405B:n saapumisesta - hiljaisesta hetkestä ennen kohtalokasta viikkoa.

Monet nettimiehet kysyvät OpenAI:lta verkossa: Milloin uusi malli julkaistaan?

Llama 3.1 -perhe, julkaistaan ​​huomenna

Vuotaneen mallikortin mukaan Llama 3.1 julkaistaan ​​23.

Lisenssit ovat "Custom Commercial License" ja "Llama 3.1 Community License".

Vuotanut mallikortti: https://pastebin.com/9jGkYbXY

Erityisesti monikielinen suuri malli Llama 3.1 -sarja on joukko esikoulutettuja ja opastettuja hienosäädettyjä generatiivisia malleja, mukaan lukien kolme parametrikokoa 8B, 70B ja 405B.

Llama 3.1 -vain tekstimallit (8B, 70B, 405B) ohjeiden hienosäädön jälkeen, optimoitu monikielisiin keskusteluihin.

Englannin lisäksi se tukee 7 kieltä, mukaan lukien saksa, ranska, italia, portugali, hindi, espanja ja thai.

Raporttien mukaan Llama 3.1:n uudet ominaisuudet sisältävät pidemmän kontekstin, tuen monikieliselle syötölle ja ulostulolle sekä kehittäjien integroimiseen kolmannen osapuolen työkaluihin.

Vertailuarvot

Vertailukaavio GitHubissa (nyt 404) näyttää Llama 3.1:n erinomaisen suorituskyvyn vertailutestissä.

Erityisesti esikoulutusmallin benchmark-arvioinnissa Llama 3.1 405B teki viimeisimmät ennätykset yleistehtävissä, tiedon päättelyssä ja luetun ymmärtämisessä.

Varsinkin MMLU- ja SQuAD-alaosastojen vertailuarvoissa parannus on ilmeisin.

Samalla Llama 3.1 8B ja 70B parametriversioita on paranneltu hieman Llama 3:een verrattuna. Joissakin indikaattoreissa 70B Llama 3.1 ei kuitenkaan ole yhtä hyvä kuin edellinen sukupolvi.

Lisäksi ohjeen hienosäätömallissa näkyy, että Llama 3.1 405B on vahvempi kuin esikoulutettu malli. Päättelyssä, koodauksessa, matematiikassa, työkalujen käytössä ja monikielisissä vertailuissa he ovat murskaaneet hienosäädetyt 8B- ja 70B-versiot.

Hienosäädetyt Llama 3.1 8B- ja 70B -mallit paransivat myös merkittävästi suorituskykyä useissa toiminnoissa.

Jotkut nettimiehet ovat koonneet muiden johtavien mallien vertailut. Vertailun kautta voidaan nähdä, että Claude 3.5 Sonnet on kaikkien vertailuarvojen kuningas.

Llama 3.1 405B:n hienosäädetty versio on paras vain matemaattisessa vertailussa MMLU Pro, päihittämällä kaikki suuret mallit pistemäärällä 73,3 %.

Lisäksi 405B on GPT-4o:n tasolla GPQA:n (Graduate Level Professional Knowledge and Reasoning), matematiikan, DROP:n (lukemisen ymmärtäminen), MGSM:n (monikielinen matematiikka), HumanEvalin (ohjelmointi) ja BBH:n (Knowledge Assess) vertailuarvoissa. .

Lisäksi 405B on huomattavasti edellä uusinta GPT-4o-minimallia.

Llama 3.1 on autoregressiivinen kielimalli, joka käyttää optimoitua Transformer-arkkitehtuuria. Muokattu versio käyttää SFT:tä ja RLHF:ää vastaamaan ihmisten turvallisuutta koskevia mieltymyksiä.

Llama 3.1 -sarjan malleissa merkkien määrä viittaa vain harjoittelua edeltäviin tietoihin.

Kaikissa malliversioissa käytetään GQA (Grouped Query Attention) -toimintoa päätelmien skaalautuvuuden parantamiseksi.

15T token koulutustiedot

Llama 3:n tavoin Llama 3.1 on esikoulutettu noin 15 biljoonalla tunnuksella julkisista lähteistä.

Hienosäätötiedot sisältävät julkisesti saatavilla olevia ohjedatajoukkoja sekä yli 25 miljoonaa synteettistä näytettä, ja esikoulutustiedot ovat saatavilla joulukuuhun 2023 saakka.

Saatavilla kaupalliseen tutkimukseen

Llama 3.1 tukee useita kieliympäristöjä kaupalliseen ja tutkimuskäyttöön.

Ohjeilla hienosäädetyt tekstimallit sopivat chat-avustajille, kun taas valmiiksi koulutetut mallit voidaan mukauttaa erilaisiin luonnollisen kielen luontitehtäviin. Llama 3.1 -mallikokoelma tukee myös mallin tulosten hyödyntämistä muiden mallien parantamiseksi, mukaan lukien synteettisen tiedon luominen ja mallin tislaus.

Käyttölakien ja -määräysten, käyttökäytäntöjen ja Llama 3.1 -yhteisölisenssin kiellettyjen ja tuettujen kielten rikkominen ei kuulu soveltamisalaan.

Ja tiimi korosti, että 8 tuetun kielen lisäksi Llama 3.1 on koulutettu useammille kielille. Kehittäjät voivat hienosäätää sitä ja soveltaa sitä muihin kieliin edellyttäen, että käytäntöjä, kuten yhteisön lisenssejä, noudatetaan ja käyttö on turvallista ja vastuullista.

39,3 miljoonaa GPU-tuntia koulutusta

Esikoulutuksen aikana Meta käyttää räätälöityä koulutuskirjastoa, Meta-räätälöityä GPU-klusteria ja tuotantoinfrastruktuuria. Tuotantoinfrastruktuurille tehdään myös hienosäätöä, huomautuksia ja arviointia.

Koulutuksessa on käytetty yhteensä 39,3 miljoonaa GPU-tuntia laskenta-aikaa ja laitteistotyyppi on H100-80GB (TDP on 700W).

Harjoitteluaika on GPU:n kokonaisaika, joka tarvitaan kunkin mallin harjoittamiseen, ja virrankulutus on kunkin GPU-laitteen huipputeho, joka on mukautettu virrankäytön tehokkuuteen.

Koulutuksen sijaintiperusteisten kasvihuonekaasupäästöjen kokonaismääräksi arvioidaan 11 390 tonnia hiilidioksidiekvivalenttia (CO2eq).

Meta korosti, että sen kasvihuonekaasupäästöt ovat pysyneet nettolla nollassa vuodesta 2020 lähtien ja että sen sähköstä 100 % tuotetaan uusiutuvilla luonnonvaroilla, joten sen kokonaiskasvihuonekaasupäästöt markkinavertailulla ovat 0 tonnia hiilidioksidiekvivalenttia.

merkittävä riski

Meta on myös testannut suuria riskejä.

Sisältää CBRNE:n (kemialliset, biologiset, radiologiset, ydin- ja räjähdysaineet) hyödyllisyyden, lasten turvallisuuden ja kyberhyökkäykset.

Kyberhyökkäysten osalta tiimi tutki, voisivatko LLM:t parantaa ihmisten valmiuksia hakkerointitehtävissä, mukaan lukien taitotaso ja nopeus.

Tutkimus keskittyy arvioimaan LLM:ien kykyä käyttää itsenäisinä agentteina kyberhyökkäysoperaatioissa, erityisesti lunnasohjelmien hyökkäyksessä.

Päätavoitteena on arvioida, pystyvätkö nämä mallit suorittamaan tehokkaasti monimutkaisia ​​kyberhyökkäyksiä itsenäisinä agentteina ilman ihmisen puuttumista.

Nettimiehet paistavat kattilaa ja todistavat jälleen historiaa

Magneettilinkin julkaisun jälkeen kärsimättömät verkkovieraat alkoivat ladata suoraan, mutta tämä voi kestää kauan.

Jotkut verkkovieraat odottavat Llama 3.1 405B:n julkaisua huomenna ja todistavat jälleen historiaa!

Avoimen lähdekoodin ja suljetun lähdekoodin mallien välinen kuilu on jälleen kaventunut.

Joku testasi myös klassista ansakysymystä "Kuka on isompi, 9.11 vai 9.9?", ja Laama 3.1-405B vastasi siihen oikein.

"GPU-huonolle" 820 Gt on liian vastahakoinen käytettäväksi kannettavassa tietokoneessa.

Viitteet:

https://x.com/bindureddy/status/1815443198459990098

https://x.com/kimmonismus/status/1815314833236984274

https://x.com/mattshumer_/status/1815453195717742838

https://x.com/swishfever/status/1815512729286815756