uutiset

syyskuun 25. päivänä baidu cloud intelligence conferencessa 2024 baidu groupin varapuheenjohtaja ja baidu intelligent cloud business groupin toimitusjohtaja shen dou sanoi cloud intelligence conferencessa, että kulunut vuosi oli avain suurten mallien siirtymiselle teknologisesta kehityksestä. muutaman vuoden aikana suuret mallit integroidaan tiiviisti pilvipalveluihin ja niistä on tulossa uudenlainen infrastruktuuri tämä muutos on ennennäkemätön."

mitä tulee suurten mallien laskentatehoon, shen dou sanoi, että monet ihmiset ovat kuulleet "wanka-klusterista".

ja nämä "äärimmäisyydet" tuovat mukanaan useita vakavia haasteita. shen dou esitteli, että ensimmäinen on valtavat rakennus- ja käyttökustannukset wanka-klusterin rakentamiseksi pelkästään gpu:n ostokustannukset ovat jopa useita miljardeja yuania. toiseksi näin laajamittaisessa klusterissa käytön ja ylläpidon monimutkaisuus lisääntyy dramaattisesti. hän huomautti, että laitteisto epäonnistuu väistämättä, ja mitä suurempi mittakaava, sitä suurempi on epäonnistumisen todennäköisyys. "kun meta koulutti llama3:a, klusteri, joka käytti 16 000 gpu-korttia, koki keskimäärin vian kolmen tunnin välein."

shen dou sanoi lisäksi, että suurin osa näistä vioista johtuu grafiikkasuorittimesta. itse asiassa gpu on erittäin herkkä laitteisto, ja jopa sään vaihtelut keskipäivällä vaikuttavat gpu:n vikaantumiseen. nämä kaksi haastetta pakottivat baidua miettimään uudelleen, kuinka rakentaa, hallita ja ylläpitää suuria ja monimutkaisia ​​gpu-klustereita, suojata laitteistokerroksen monimutkaisuutta ja tarjota yksinkertaisen ja helppokäyttöisen laskenta-alustan koko suuren mallin toteutusprosessille. käyttäjille grafiikkasuorittimen laskentatehoa on helpompi hallita ja laskentatehoa on helpompi käyttää alhaisin kustannuksin. ”olemme kokeneet kuluneen vuoden aikana, että asiakkaiden mallikoulutustarpeet ovat nousseet huimasti ja tarvittava klusterikoko on kasvanut. samalla kaikkien odotukset mallipäättelykustannusten jatkuvasta laskusta ovat kasvaneet kaikilla näillä on suuri vaikutus grafiikkasuoriin. hallinnolle on asetettu korkeampia vaatimuksia.

tämän perusteella baidu intelligent cloud ilmoitti päivittävänsä baige ai -heterogeenisen laskenta-alustan kokonaan versioon 4.0. keskittyen koko suurten mallien käyttöönottoprosessin laskentatehotarpeisiin, se tarjoaa yrityksille neljä pääasiaa: klusterin luominen, kehityskokeet, mallikoulutus ja mallipäätelmät tarjoavat "monia, nopeaa, vakaata ja taloudellista" ai-infrastruktuuria.

niiden joukossa, ratkaistakseen laskentaresurssien puutteen ongelman, baige 4.0 on tehnyt keskeisiä päivityksiä "moniytimiseen sekakoulutus" -ominaisuuteen saavuttaen 95 % moniytimisen sekakoulutuksen tehokkuuden wanka-mittakaavassa klustereissa ja saavuttanut eniten edistynyt taso liiketoiminnassa. klusterin käyttöönottoprosessissa päivitetty baige voi saavuttaa toisen tason käyttöönoton työkalutasolla, mikä lyhentää wanka-klusteritoimintojen valmisteluaikaa viikoista nopeimmillaan yhteen tuntiin, mikä parantaa huomattavasti käyttöönoton tehokkuutta ja lyhentää liiketoiminnan käynnistyssykliä. vastauksena suurten mallien koulutuksen aikana esiintyviin toistuviin vioihin baige 4.0 on päivittänyt kattavasti vianhavaitsemismenetelmiä ja automaattisia vikasietojärjestelmiä, jotka voivat tehokkaasti vähentää vikojen esiintymistiheyttä ja lyhentää merkittävästi klusterin viankäsittelyaikaa % wanka-klusterin tehokkaasta harjoittelun kestosta.

lisäksi baidu intelligent cloud julkisti myös qianfanin suuren mallialustan uusimman "raporttikortin". suuren qianfan-mallialustan wenxin-mallin keskimääräinen päivittäinen puhelumäärä on yli 700 miljoonaa kertaa, ja se on auttanut käyttäjiä maksamaan hienoja tuloksia. - virittää yhteensä 30 000 suurta mallia, jotka on kehitetty yli 700 000 yritystason sovellusta. kuluneen vuoden aikana wenxinin lippulaivan suuren mallin hinta on laskenut yli 90 %.

päivittäisiä talousuutisia