uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

älykkäitä asioita
AuthorZeR0
Toimittaja Mo Ying

”Ennen hanan avaamista meidän ei tarvitse tietää, mistä joesta vesi tulee. Vastaavasti kun käytämme erilaisia ​​tekoälysovelluksia tulevaisuudessa, emme tiedä, mitä perusmalleja se kutsuu ja mitä kiihdytinkortteja se käyttää. Laskentateho – tämä on paras tekoälyn alkuperäinen infrastruktuuri."

Kaikkien on rakennettava tällainen AI Native -infrastruktuuri yhdessä. Wuwen Core Domen toinen perustaja ja toimitusjohtaja Xia Lixue julkaisi 4. heinäkuuta 2024 World Artificial Intelligence Conferencen AI Infrastructure Forumissa maailman ensimmäisen kilokalorimittakaavaisen heterogeenisen siruhybridiharjoittelualustan, kilokalorien heterogeenisen hybridikoulutuksen. klusterin laskentatehon käyttöaste saavuttaa maksimissaan 97,6 %.

Samaan aikaan Xia Lixue ilmoitti, että Wuwen Core Domen Infini-AI-pilvialustaan ​​on integroitu suurimallin heterogeeniset kilokorttien sekakoulutusominaisuudet. Se on maailman ensimmäinen alusta, joka pystyy suorittamaan yhden tehtävän kilokortin mittakaavan heterogeenisen sirusekoituskoulutuksen , ja siinä on 10 000 ka:n skaalautuvuus. Tukee suurten mallien sekakoulutusta, mukaan lukien kuusi heterogeenista sirua AMD:ltä, Huawei Ascendilta, Tianshu Zhixiniltä, ​​Muxilta, Moore Threadilta ja NVIDIAlta.

Heinäkuusta alkaen kokeilukoulutukseen hakevat käyttäjät voivat aloittaa suuren mallikoulutuksen 70 miljardin parametrin mittakaavassa Infini-AI:ssa yhdellä napsautuksella.

Vain 4 kuukautta sitten Wuwen Xinqiongin suuri mallikehitys- ja palvelupilvialusta Infini-AI julkisti ensimmäisen julkisen betaversionsa. Suurten malliyritysten, kuten Zhipu AI, Dark Side of the Moon ja Shengshu Technology, asiakkaat ovat käyttäneet vakaasti Infini-AI:ta. Heterogeeninen laskentateho ja yli 20 tekoälyn natiivisovellusta kutsuvat edelleen Infini-AI:n esiasetettuja mallisovellusliittymiä ja käyttävät Wuwen Xinqiongin tarjoamaa työkaluketjua omien liiketoimintamalliensa kehittämiseen.

Maailman ensimmäisen alustan lanseeraus, joka pystyy suorittamaan heterogeenisten sirujen sekakoulutusta kilokorttimittakaavassa, ei heijasta vain Wuwen Core Domen teknistä vahvuutta heterogeenisen tietojenkäsittelyn optimoinnissa ja klusterijärjestelmän suunnittelussa, vaan myös Wu Wen Core Domen noudattamista "MxN" Keskikerroksen ekologisen konseptin tärkeä saavutus.

Wuwen Xinqiong otti johtoaseman "MxN"-keskikerroksen ekologisen mallin rakentamisessa saavuttaakseen useiden suurten mallialgoritmien tehokkaan ja yhtenäisen käyttöönoton useilla siruilla.

Infini-AI-alusta on tukenut yli 30 mallia, mukaan lukien Qwen2, GLM4, Llama 3, Gemma, Yi, Baichuan2, ChatGLM3-sarja ja AMD, Huawei Shengteng, Biren, Cambrian, Suiyuan, Haiguang, Tianshu Zhixin, yli 10 computing-tyyppiä Kortit, mukaan lukien Muxi, Moore Thread ja NVIDIA, eivät vain tue yksi-yhteen-yhteyttä yhden algoritmin ja sirun välillä, vaan tukevat myös useiden mallien ja useiden sirujen ilmaista yhdistämistä ja yhdistämistä.

Xia Lixuen mukaan on odotettavissa, että tämän vuoden loppuun mennessä Wuwen Xinqiong ottaa täysin käyttöön M×N automaattisen reitityksen mallista siruun.

1. Wanka-klusteri on taistelukenttä suurille sotilasstrategeille, ja maalla on vaikeuksia ekosysteemin avaamisessa.

Xia Lixue, Wuwen Core Domen toinen perustaja ja toimitusjohtaja, uskoo, että laskentateho on tekoälyn kehityksen etuvartio ja kulmakivi. GPT-4:n jälkeen ilmestyneiden mallien mittakaava ei ole entisestään kasvanut eksponentiaalisesti, ja algoritmin tukemiseen tarvittava laskentateho on kohdannut pullonkaulan Tällä hetkellä kukaan ei pysty toteuttamaan suurta järjestelmää suuremmalla mittakaavalla ja suuremmalla laskentamäärällä yhdelle mallille, mikä saa mallin kehityksen uuteen vaiheeseen Hidastumisessa ja pysähtyneisyydessä eli laskentatehojärjestelmä, joka tukee mallin kykyä siirtyä seuraavaan sukupolveen, vaatii vielä kehittämistä ja rakentamista. .

Suuret mallit kilpailevat maailmanlaajuisessa laskentatehon skaalauslain vaikutuksesta. On raportoitu, että Microsoft ja OpenAI rakentavat suurta laskentatehoprojektia, jonka arvo on yli 100 miljardia dollaria. Verrattuna moniin muihin tekniikoihin tämä yksinkertainen ja karkea mittakaavalaajennus tuo käytännöllisimmän tuoton mallin älykkyyteen. Google, OpenAI sekä kotimaiset suuret valmistajat ja kolme suurta operaattoria rakentavat kaikki suuria Wankan mittakaavan klustereita.

Todella kestävässä iteratiivisessa, suuressa ja vakaassa järjestelmässä skaalauslakilla on ainutlaatuisia etuja, sillä siinä ei ole niin monia monipuolisia tekniikoita, ja se on helpompi ylläpitää ja laajentaa. Skaalautuvuus on erittäin tärkeä ominaisuus järjestelmässä, jonka on todella toimittava pitkään, ja skaalautuva järjestelmä on hyvä järjestelmä.

IDC-kaavio osoittaa, että tulevaisuuden tekoälyn vähentämisen ja koulutuksen laskentatehon tarve kehittyy nopeasti ympäri maailmaa, ja sekä koulutus että päättely edellyttävät tehokkaiden laskentaresurssien tukea. Näiden valtavan markkinoiden taustalla oleva kotimainen ja ulkomainen ekologia on hyvin erilainen. Ulkomaisen ekologisen mallikerroksen ja sirukerroksen malli on suhteellisen keskittynyt, kun taas Kiinan ekosysteemi on suhteellisen hajautettu ja elinvoimainen Sekä mallikerros että sirukerros kilpailevat laskentatehomarkkinoiden laajentamisesta ja kohtaavat monia keskeisiä ongelmia markkinoiden avaamisessa. ekosysteemi.

Wanka-klusteri on taistelukenttä suurille sotilasstrategeille. Xia Lixue kertoi, että Kiinassa on rakenteilla tai suunnitteilla yli 100 kilokorttiklusteria, joista useimmat ovat heterogeenista laskentatehoa. Monet klusterit käyttävät erilaisia ​​sirupalveluita ja harjoittavat tekoälyn tuotantoa. Syitä ovat mahdolliset toimitusketjuriskit, jotka johtuvat liiallisesta riippuvuudesta yhteen laitteistoalustaan, sekä kotimaisten sirujen nopeat suorituskyvyn parannukset, jotka tarjoavat klusterin osapuolille erilaisia ​​vaihtoehtoja.

Suuri määrä heterogeenisiä siruja on kuitenkin muodostanut "ekologisia siiloja". Eri laitteistoekosysteemit ovat suljettuja ja yhteensopimattomia keskenään. Vaikka laskentatehoklustereita on monia, tehokas integrointi ja käyttö on silti vaikeaa. Tämä on laskentatehoresurssien tuhlausta. Siitä on tullut paitsi suurin vaikeus tekoälyn infrastruktuurin rakentamisessa, myös tärkeä syy nykyinen suuri malliteollisuus kohtaa "laskentatehon pulaa".

Wuwen Core Dome haluaa rakentaa AI Native -infrastruktuurin, joka mukautuu Kiinan monimalli- ja siruympäristöön, tarjoaa hyödyllisen laskenta-alustan, joka integroi tehokkaasti heterogeeniset laskentaresurssit, sekä väliohjelmiston, joka tukee ohjelmistojen ja laitteistojen yhteistä optimointia ja kiihdytystä. , murtaa olemassa olevat "ekologiset siilot" ja mahdollistaa heterogeenisten sirujen ja klustereiden muuttumisen todella suureksi laskentatehoksi.

Tekoälyn harjoituspäättelytehtävät eroavat suuresti perinteisestä tietojenkäsittelystä. Esimerkiksi yksi tehtävä on suuri ja räjähdysmäinen. Siksi, jos tekoälyn alkuperäistä aikataulustrategiaa ei oteta käyttöön, koko järjestelmän resurssien käyttöaste on hyvin alhainen. Tämän seurauksena asiakkaiden tehtävät usein katkeavat ja käynnistyvät uudelleen, mikä viivästyttää tekoälyn kehitysprosessia.

Wuwenxinqiongin ratkaisun alaosassa on täydellinen pilvenhallintajärjestelmä sisältäen aikataulutusominaisuudet sekä PaaS- ja MaaS-alustat. Seuraava vastaa pilviyhteistyön laskentatehopohjaa, jonka avulla suurten mallien kehittäjät ja tutkijat voivat siirtyä laukkunsa kanssa ja käyttää nopeasti erilaista laskentatehoa.

Tälle pohjalle rakennettu MaaS-palvelualusta eli mallisarjapalvelualusta voi tarjota monia suuria mallipalveluita joustavilla sovelluksilla auttaakseen joitain vielä tekoälyn oppimisvaiheessa olevia yrityksiä kehittämään nopeasti joitain suuria sovelluksia mm. isot mallit.

2. Saavuta eri sirujen ristiinkoulutus ja pienennä suurten mallisovellusten toteutuksen kustannuksia

Tuotannon ja tutkimuksen edistymisen takana Wuwen Xinqiongin T&K-tiimillä on paljon käytännön kokemusta ja saavutuksia heterogeenisen sirulaskennan optimoinnissa ja klusterijärjestelmien suunnittelussa.

Äskettäin Wuwen Xinqiongin, Tsinghuan yliopiston ja Shanghai Jiao Tong -yliopiston yhteinen tutkimusryhmä julkaisi HETHUBin, heterogeenisen hajautetun hybridikoulutusjärjestelmän suurille malleille. Tämä on ensimmäinen kerta alalla, kun kuuden eri sirumerkin välillä on saavutettu ristiinsekoitettu koulutus, ja suunnitteluaste on korkea. Xia Lixuen mukaan tämän tekniikan suunnittelun alkuperäinen tarkoitus on jatkaa suurten mallien teknisten ominaisuuksien ylärajan työntämistä integroimalla heterogeenisempaa laskentatehoa ja samalla, avaamalla heterogeenisen siruekosysteemin, edelleen pienentää suurten mallisovellusten käyttöönottokustannukset.

Hän sanoi, että kaksi suurinta haastetta järjestelmän rakentamisessa olivat viestintä ja hajautettu koulutus. Erilaiset viestintäkirjastot eri laitteistoarkkitehtuureille vastaavat sitä, että kaksi ihmistä käyttävät täysin eri kieliä suuren projektin toteuttamiseen. Heterogeenisillä korteilla on monia suorituseroja eri suunnittelukonseptien vuoksi ja ne mukautuvat erilaisiin tehtäviin, mikä johtaa erilaisiin eroihin. erityyppisten korttien osoittama tehokkuus voi tehdä laajan hajautetun koulutuksen tehottomaksi.

Siksi sen tiimi on tehnyt paljon työtä, mukaan lukien:

1. Viestinnän osalta perustaa yleinen kollektiivinen viestintäkirjasto erilaisten sirujen tehokkaan viestinnän saavuttamiseksi ja yhteensopivaksi monentyyppisten laitteistojen kanssa;

2. Ehdota putkilinjan rinnakkaisuuteen perustuvaa epäyhtenäistä jakokaaviota erilaisten laitteistotehokkuuksien ongelman ratkaisemiseksi ja allokoi sopivimmat tehtävät oman tilanteesi mukaan;

3. Itse kehitetty sekaharjoittelun ennustetyökalu voi ennustaa jokaisen sirun arvon etukäteen heti harjoittelun alussa ja löytää siten optimaalisen jakostrategian koko harjoitustehtävän suorittamiseksi ja parhaan ratkaisun muodostamiseksi eri korteilla.

Varsinaisesta sekaharjoitteluvaikutuksesta päätellen Wuwen Xinqiong on tehnyt paljon yhdistelmiä, jotka voivat nousta yli 70 %:iin ja laskentatehon käyttöaste voi nousta jopa 97,6 %:iin .

Aiemmin Wuwen Xinqiong saavutti M×N-päätelmän, mutta nyt se on saavuttanut M×N-koulutuksen, mikä on erittäin suuri läpimurto.

Tällainen toiminnallisuus on integroitu olemassa olevaan Infini-AI-alustaan. Alustalla on kyky ottaa sovelluksia ja palveluita käyttöön alustalla. Se voi tukea kuuden tuotemerkin ristiin yhdistämistä. Se on ensimmäinen tuotemerkki maailmaa tukemaan kilokalori heterogeeninen Alusta sekaharjoitteluun.

Infini-AI:n ylempi kerros tukee erilaisia ​​koulutusstrategioita, mukaan lukien tensorin rinnakkaisuus, datan rinnakkaisuus ja tiedonsiirron päällekkäisyys, mikä voi saavuttaa tehokkaan koulutuksen ja voi tukea laajaa mallikoulutusta yli 70 miljardilla tunnuksella sekä yhden napsautuksen sekoitettua koulutusta - mittakaavassa malleja. Tämän alustan avulla kehittäjien ei tarvitse käyttää enempää aikaa taustalla olevien laskentatehon erojen huomioon ottamiseksi. He voivat nopeasti mukauttaa omia suuria mallejaan eri siruista koostuvaan hybridiklusteriin ja toteuttaa nopeasti oman liiketoimintansa.

3. Tehokas ajoitus + tehokas vikasietokyky varmistaakseen tehtävien vakaan suorittamisen suurissa laskentatehoklustereissa

Suuren laskentatehoklusterin rakentamisen jälkeen yksi keskeisistä tehtävistä on, miten sitä käytetään? Tähän liittyy tehokkaita aikatauluongelmia. Tehokas laskentatehon ajoitusjärjestelmä voi saada integroidut heterogeeniset resurssit paremmin kaikkien käyttäjien käyttöön.

Wuwen Core Dome on edistynyt paljon tehokkaassa laskentatehon ajoitusjärjestelmässä. Moniheterogeenisten klustereiden yhtenäinen hallinta voi tukea yli kymmentä erilaista sirua ja rakentaa yli 10 000 korttitason laskentatehojärjestelmää Wuwen Core Domen kautta sarja hybridi Ajoitusstrategian suunnittelu tekee tehtävän keskimääräisen ajoituksen viiveen millisekuntitasolla ja koko järjestelmäklusterin resurssien käyttöaste voidaan pitää yli 90 %. Tehostamalla koko tekoälykontin pohjaa Wuwen Xinqiong voi nostaa koko klusterin SLO:n 99,95 %:iin usean vuokralaisen skenaariossa, ja skaalautuvuus on erittäin korkea.

Aikataulutuksen lisäksi malliharjoittelua tehtäessä harjoittelua ei voi aloittaa jatkuvasti uudelleen. Wuwen Core Qiong on kehittänyt tehokkaan vikasietoisen koulutusjärjestelmän, joka sisältää vikasietoisen ajonaikaisen järjestelmän suurille malleille, hybridi-ilmaisimen poikkeamien ennustusjärjestelmän ja tarkistuspisteen asynkronisen luku- ja kirjoitusjärjestelmän.

Vikasietoisuusosa on lisännyt suurten mallien tehollista harjoitusaikaa 30 %, suurten mallipoikkeamien havaitsemisen onnistumisprosentti on nostettu 70 %:iin ja suurin osa virheistä on havaittavissa ja vältettävissä on kasvanut 20-kertaiseksi, ja suurten mallien epänormaalia päätettä on parannettu. Aika on lyhennetty alle 5 minuuttiin, mikä voi varmistaa tehtävien vakaan suorittamisen suurissa laskentatehoklustereissa.

Jotta kehittäjät pystyisivät käyttämään paremmin klusteria, alusta integroi Wuwenxinqiongin suuren mallipalvelujärjestelmän optimointitekniset ominaisuudet Kun pyyntöjen ajoituksen kautta tapahtuu suuri samanaikaisuus ja useat käyttäjät lähettävät pyyntöjä samaan aikaan, tekniikat, kuten välimuistin välimuisti, voivat. auttaa tehtävien lähettämisessä ja laskentatulosten palauttamisessa, mikä voi lisätä suoritusnopeutta yli 30 kertaa, jolloin sovellukset toimivat sujuvammin ja sujuvammin.

Johtopäätös: Älkää antako maailmassa olla vaikeasti käytettävää tekoälyn laskentatehoa

"Teknisen katon nostamisen ja teknologian käyttöönoton ja levittämisen välillä ei ole ristiriitaa, ja se riippuu siitä, kuinka päättäväisesti käsittelemme tätä tekniikkaa, Xia Lixue uskoo, että puhuminen suurten mallien kustannusten alentamisesta 1/10 000:een on nykyään vain." kuin puhuisi jokaisen kotitalouden sähköistämisestä 30 vuotta sitten.

Erinomainen infrastruktuuri on sellainen "taika", kun rajakustannukset putoavat kriittiseen arvoon, useammat ihmiset voivat omaksua uusia teknologioita.

Tällä hetkellä suuren malliteollisuuden kehitys on siirtymässä suuren mittakaavan teollisen toteutuksen vaiheeseen. Sovellusskenaarioiden kukoistaminen on tuonut mukanaan yhä kiireellisemmäksi suuren mallikoulutuksen tarpeen. Tekoälyn natiiviinfrastruktuurin rakentaminen suurten mallien aikakaudella ei voi ainoastaan ​​tarjota tekoälykehittäjille monipuolisempaa, tehokkaampaa ja kätevämpää T&K-ympäristöä, vaan se on myös keskeinen kulmakivi laskentaresurssien tehokkaan integroinnin saavuttamiseksi ja tekoälyn kestävän kehityksen tukemiseksi. teollisuus.

AI-kehitys vaatii sekä taustalla olevia järjestelmäominaisuuksia, jotka voivat integroida tasaisesti useita heterogeenisiä siruja, että välikerroksen, joka toteuttaa helppokäyttöisyyden heterogeenisen laskentatehon ja useiden algoritmien välillä, jolloin käyttäjät voivat ajoittaa eri laskentatehoa yhtenäisen ohjelmointikehyksen kautta Aikaa myöten siihen asennetaan olemassa olevien ohjelmointitottumusten kanssa yhteensopivia rajapintoja helpottamaan tulevaa laajentamista.

Wuwen Core on sitoutunut rakentamaan AI Native -infrastruktuurin, joka on todella mukautuva useisiin malleihin ja useisiin siruihin, jotta maailmassa ei ole vaikeasti käytettävää tekoälyn laskentatehoa. Toivomme saavuttavamme tehokkaan yhteyden lisäksi. "M×N":n hyödyntäminen ja integrointi, mutta myös perimmäinen tavoite Se on muuttaa näennäisesti uinuvat laskentaresurssit suureksi laskentatehoksi, parantaa suuren malliekosysteemin eheyttä, vähentää merkittävästi suurten mallien toteuttamiskustannuksia ja edistää suurten mallien sovellusinnovaatiot eri toimialoilla.