uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• Crecy tulee Aofein temppelistä
  Qubits |. Julkinen tili QbitAI

Ilman H100:ta kolme Applen tietokonetta voi ajaa 400B isoa mallia.

Sen takana oleva sankari on avoimen lähdekoodin hajautettu tekoälyn perustelukehys GitHubissa, joka on jo saanut 2,5 000 tähteä.

Tämän kehyksen avulla voit rakentaa oman AI-laskentaklusterin käyttämällä jokapäiväisiä laitteita, kuten iPhonea ja iPadia, vain muutamassa minuutissa.

Tätä kehystä kutsutaan nimellä exo Toisin kuin muut hajautetut päättelykehykset, se ottaa käyttöön p2p-yhteysmenetelmän, ja laite voi liittyä automaattisesti klusteriin, kun se on yhdistetty verkkoon.

Kehittäjä käytti exo-kehystä kahden MacBook Pron ja Mac Studion yhdistämiseen, ja laskentanopeus saavutti 110 TFLOPS.

Samaan aikaan kehittäjä sanoi olevansa valmis toivottamaan tervetulleeksi tulevan Llama3-405B:n.

Exo-virkailijat sanoivat myös tarjoavansa tukea Llama3-405B:lle mahdollisimman pian (päivä 0).

Eikä kyse ole vain tietokoneista, vaan exo voi sallia iPhonen, iPadin ja muiden laitteiden liittymisen paikalliseen tietokoneverkkoon, ja jopa Apple Watch voi myös ottaa sen vastaan.

Version iteroinnin myötä exo-kehys ei enää rajoitu Appleen (alun perin vain MLX-tuki), ja jotkut ihmiset ovat tuoneet klusteriin myös Android-puhelimia ja 4090-näytönohjainkortteja.

Tee konfigurointi valmiiksi jopa 60 sekunnissa

Toisin kuin muut hajautetut päättelykehykset, exo ei käytä master-worker -arkkitehtuuria, vaanVertaisverkko (p2p)Liitä laite.

Niin kauan kuin laite on kytketty samaan lähiverkkoon, se voi automaattisesti liittyä exon tietokoneverkkoon mallin käyttämiseksi.

Kun malli jaetaan laitteille, exo tukee erilaisia ​​osiointistrategioita. Oletusarvo on rengasmuistipainotettu osiointi.

Tämä suorittaa päättelyn renkaassa, jossa on useita mallikerroksia laitetta kohti, verrannollinen laitteen muistiin.

Ja koko prosessiLähes ei vaadi manuaalista konfigurointia, asennuksen ja käynnistyksen jälkeen järjestelmä muodostaa automaattisesti yhteyden lähiverkossa toimiviin laitteisiin ja tukee myös Bluetooth-yhteyksiä tulevaisuudessa.

Yhdessä kirjoittajan videossa kesti vain noin 60 sekuntia konfiguroinnin suorittamiseen kahdessa uudessa MacBookissa.

Näet, että noin 60 sekunnin kuluttua ohjelma on alkanut toimia taustalla.

Lisäksi yllä olevasta kuvasta näkyy, että exo tukee myös pientä chattiaGraafinen käyttöliittymäja ovat myös yhteensopivia OpenAI:n kanssaAPI。

Tällainen toiminto voidaan kuitenkin toteuttaa vain klusterin loppusolmussa.

Tällä hetkellä exo tukee Apple MLX -kehystä ja avoimen lähdekoodin koneoppimiskehystätinygrad, myös llama.cpp:n mukautustyöt ovat käynnissä.

Ainoa kärpäs on se, että koska iOS-toteutuspäivitys ei pysy Pythonin mukana, ohjelman kanssa on monia ongelmia. Kirjoittaja on tilapäisesti offline-tilassa exo-matkapuhelimen ja iPadin kanssa sähköpostin kirjoittajalle pyytääkseen sitä.

Netizen: Onko se todella hyödyllistä?

Tämä tapa käyttää paikallisia laitteita suurten mallien ajamiseen on myös herättänyt laajaa keskustelua HakerNewsissa.

Lokalisoidun toiminnan etuja ovat, että toisaalta yksityisyys on taattu paremmin, toisaalta malliin pääsee käsiksi offline-tilassa ja se tukee myös personoitua räätälöintiä.

Jotkut huomauttivat myös, että olemassa olevien laitteiden käyttämisestä klusterin rakentamiseen suuria mallilaskelmia varten aiheutuvat pitkän aikavälin kustannukset ovat pienemmät kuin pilvipalveluilla.

Mutta ekso-projektin suhteen monet ihmiset ovat ilmaisseet epäilyksensä.

Ensinnäkin jotkut nettiläiset huomauttivat, että olemassa olevien vanhojen laitteiden laskentateho on suuruusluokkaa erilainen kuin ammattipalveluntarjoajilla. reunasuorituskyky, hinta on yksinkertaisesti vertaansa vailla suuriin alustoihin.

Ja jotkut sanoivat, että kirjoittajan esittelyyn käyttämät laitteet ovat huippuluokan laitteita 32 Gt:n muistilla varustettu Mac-laite voi maksaa yli 2 000 dollaria. Tällä hinnalla on parempi ostaa kaksi 3090:tä.

Hän jopa uskoo, että koska Apple on mukana, voidaan sanoa, ettei sillä ole periaatteessa mitään tekemistä "halvuuden" kanssa.

Tämä johtaa toiseen kysymykseen - minkä laitteiden kanssa exo-kehys on yhteensopivia? Tukeeko se vain Applea?

Netizenien kysymykset olivat suorempia, ja niissä kysyttiin suoraan, onko Raspberry Pi:tä tuettu.

Kirjoittaja vastasi, että se on teoriassa mahdollista, mutta sitä ei ole vielä testattu ja kokeillaan seuraavaksi.

Itse laitteen laskentatehon lisäksi jotkut lisäsivät myös, että verkon siirtonopeuden pullonkaula rajoittaa myös klusterin suorituskykyä.

Tässä suhteessa kehyksen kirjoittaja selitti henkilökohtaisesti:

Exossa on välitettävä pieni aktivointivektori, ei koko mallin paino.
Llama-3-8B-mallissa aktivointivektori on noin 10 kilotavua, Llama-3-70B on noin 32 kilotavua.
Paikallisverkon latenssi on yleensä alhainen (< 5 ms), eikä se vaikuta merkittävästi suorituskykyyn.

Kirjoittaja totesi, että kehys tukee tällä hetkellä tinygradia, joten vaikka testi suoritetaan pääasiassa Mac-laitteilla, se (teoreettisesti) tukee kaikkia laitteita, jotka voivat suorittaa tinygradia.

Tällä hetkellä kehys on vielä kokeiluvaiheessa, ja tulevaisuuden tavoitteena on tehdä tästä puitteesta yhtä yksinkertainen kuin Dropbox (verkkolevy).

BTW, exo-virkailijat ovat myös listanneet joitain puutteita, jotka tällä hetkellä on tarkoitus ratkaista, ja ovat käynnistäneet julkisen palkkion Nämä ongelmat ratkaisevat saavat bonuksia 100-500 dollarin välillä.

GitHub:
https://github.com/exo-explore/exo
Viitelinkit:
https://x.com/ac_crypto/status/1814912615946330473