uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

cerebras julkaisee maailman nopeimman tekoälyratkaisun, 20 kertaa nopeamman kuin nvidian ratkaisu

2024/8/28 9:51:23 lähde: it house tekijä: yuanyang toimittaja: yuanyang

kommentit: 2

it house raportoi 28. elokuuta, että cerebras systems ilmoitti tänään käynnistävänsä cerebras inferencen, joka on virkamiesten mukaan maailman nopein tekoälyn päättelyratkaisu. uusi ratkaisu tarjoaa 1800 merkkiä sekunnissa llama 3.1 8b:lle ja 450 merkkiä sekunnissa llama 3.1 70b:lle, mikä on 20 kertaa nopeampi kuin nvidia gpu-pohjaiset tekoälyratkaisut, jotka ovat saatavilla hyperscale-pilvissä, kuten microsoft azure.

uskomattoman suorituskyvyn lisäksi tämä uusi päättelyratkaisu on hinnoiteltu huomattavasti halvemmalla kuin suositut gpu-pilvet, alkaen vain 10 sentistä miljoonaa merkkiä kohden, mikä tarjoaa 100 kertaa paremman suorituskyvyn tekoälyn työkuormille vastinetta rahalle.

tämän ohjelman avulla tekoälysovellusten kehittäjät voivat rakentaa seuraavan sukupolven tekoälysovelluksia tinkimättä nopeudesta tai kustannuksista. tämä ratkaisu käyttää cerebras cs-3 -järjestelmää ja sen wafer scale engine 3 (wse-3) ai-prosessoria. cs-3:n muistin kaistanleveys on 7 000 kertaa nvidia h100:n, mikä ratkaisee generatiivisen tekoälyn muistin kaistanleveyden tekniset haasteet.

it housen mukaan cerebras inference tarjoaa seuraavat kolme tasoa:

ilmainen taso tarjoaa ilmaisen api-pääsyn ja runsaat käyttörajoitukset kaikille sisäänkirjautuville.

kehittäjätaso on suunniteltu joustaviin palvelimettomiin käyttöönotuksiin, ja se tarjoaa käyttäjille api-päätepisteen murto-osalla markkinoilla olevien vaihtoehtojen hinnasta, ja llama 3.1:n hinta on 10 senttiä miljoonalta 8b- ja 70b-malleille 60 senttiä.

yritystaso tarjoaa hienosäädettyjä malleja, mukautettuja palvelutasosopimuksia ja erityistä tukea. yritykset voivat käyttää cerebras inferencea cerebrasin hallinnoiman yksityisen pilven tai asiakastilojen kautta, mikä tekee siitä ihanteellisen jatkuvaan työmäärään.

cerebras-tiimi sanoi: "ennätyksellisen suorituskyvyn, alan johtavan hinnoittelun ja avoimen api-pääsyn ansiosta cerebras inference asettaa uuden standardin avoimelle llm-kehityksestä ja käyttöönotosta. cerebras avautuu ainoana ratkaisuna, joka pystyy tarjoamaan nopeaa koulutusta ja johtopäätöksiä samanaikaisesti. aivan uusia mahdollisuuksia tekoälylle."

tekoälyala kehittyy nopeasti, ja vaikka nvidia hallitsee tällä hetkellä tekoälymarkkinoita, cerebrasin ja groqin kaltaisten yritysten ilmaantuminen on merkki siitä, että toimialan dynamiikka saattaa muuttua. nopeiden ja kustannustehokkaiden tekoälyn päättelyratkaisujen kysynnän kasvaessa nämä haastajat nostavat nvidian määräävää asemaa erityisesti päättelyn alalla.