Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• Crecy stammt aus dem Aofei-Tempel
  Qubits |. Öffentliches Konto QbitAI

Ohne H100 können drei Apple-Computer das 400B-Großmodell antreiben.

Der Held dahinter ist ein Open-Source-Framework für verteiltes KI-Argumentation auf GitHub, das bereits 2,5.000 Sterne erhalten hat.

Mit diesem Framework können Sie in nur wenigen Minuten Ihren eigenen KI-Computing-Cluster mit alltäglichen Geräten wie iPhone und iPad aufbauen.

Dieses Framework heißt Exo. Im Gegensatz zu anderen Frameworks für verteiltes Denken verwendet es eine P2P-Verbindungsmethode und das Gerät kann dem Cluster automatisch beitreten, wenn es mit dem Netzwerk verbunden ist.

Der Entwickler nutzte das Exo-Framework, um zwei MacBook Pros und einen Mac Studio zu verbinden, und die Rechengeschwindigkeit erreichte 110 TFLOPS.

Gleichzeitig erklärte der Entwickler, dass er bereit sei, den kommenden Llama3-405B zu begrüßen.

Exo-Beamte sagten außerdem, dass sie Llama3-405B so schnell wie möglich (Tag 0) unterstützen werden.

Und das gilt nicht nur für Computer: Exo kann iPhones, iPads und anderen Geräten die Verbindung zum lokalen Computernetzwerk ermöglichen, und sogar die Apple Watch kann dies aufnehmen.

Mit der Iteration der Version ist das Exo-Framework nicht mehr auf Apple beschränkt (zunächst wurde nur MLX unterstützt), und einige Leute haben auch Android-Telefone und 4090-Grafikkarten in den Cluster aufgenommen.

Komplette Konfiguration in nur 60 Sekunden

Im Gegensatz zu anderen verteilten Inferenz-Frameworks verwendet Exo keine Master-Worker-Architektur, sondernPeer-to-Peer (p2p)Schließen Sie das Gerät an.

Solange das Gerät mit demselben LAN verbunden ist, kann es automatisch dem Computernetzwerk von Exo beitreten, um das Modell auszuführen.

Bei der Aufteilung eines Modells auf mehrere Geräte unterstützt exo verschiedene Partitionierungsstrategien. Die Standardeinstellung ist die ringspeichergewichtete Partitionierung.

Dadurch wird die Inferenz in einem Ring mit mehreren Modellebenen pro Gerät ausgeführt, proportional zum Gerätespeicher.

Und der ganze ProzessNahezu keine manuelle Konfiguration erforderlichNach der Installation und dem Start stellt das System automatisch eine Verbindung zu Geräten her, die im LAN laufen, und unterstützt künftig auch Bluetooth-Verbindungen.

In einem Video des Autors dauerte die Konfiguration auf zwei neuen MacBooks nur etwa 60 Sekunden.

Sie können sehen, dass das Programm nach etwa 60 Sekunden im Hintergrund zu laufen beginnt.

Darüber hinaus können Sie dem Bild oben entnehmen, dass Exo auch Tiny Chat unterstütztGrafische Oberflächeund sind auch mit OpenAI kompatibelAPI。

Eine solche Operation kann jedoch nur auf dem Endknoten im Cluster implementiert werden.

Derzeit unterstützt exo das Apple MLX-Framework und das Open-Source-Framework für maschinelles LernenAbonnierenDie Anpassungsarbeiten an llama.cpp sind ebenfalls im Gange.

Der einzige Wermutstropfen ist, dass das iOS-Implementierungsupdate nicht mit Python mithalten kann, was zu vielen Problemen mit dem Programm führt. Der Autor hat das Exo-Handy und das iPad vorübergehend offline geschaltet. Wenn Sie es wirklich ausprobieren möchten, können Sie eine senden E-Mail an den Autor, um es anzufordern.

Netizen: Ist es wirklich so nützlich?

Diese Methode, lokale Geräte zum Betrieb großer Modelle zu nutzen, hat auch auf HakerNews umfangreiche Diskussionen ausgelöst.

Die Vorteile der lokalisierten Bedienung bestehen darin, dass einerseits die Privatsphäre besser gewährleistet ist, andererseits offline auf das Modell zugegriffen werden kann und auch eine personalisierte Anpassung unterstützt wird.

Einige Leute wiesen auch darauf hin, dass die langfristigen Kosten für die Nutzung bestehender Geräte zum Aufbau eines Clusters für große Modellberechnungen niedriger seien als die von Cloud-Diensten.

Doch bezüglich des konkreten Exo-Projekts haben viele Menschen ihre Zweifel geäußert.

Zunächst wiesen einige Internetnutzer darauf hin, dass sich die Rechenleistung bestehender Altgeräte um Größenordnungen von der der professionellen Dienstleister unterscheidet. Wenn man es nur aus Neugier spielt, ist es in Ordnung, aber wenn man Schnittleistungen erzielen will. Edge-Leistung, die Kosten sind einfach unvergleichlich mit großen Plattformen.

Und einige Leute sagten, dass es sich bei der vom Autor zur Demonstration verwendeten Ausrüstung um High-End-Hardware handelt. Ein Mac-Gerät mit 32 GB Speicher kann mehr als 2.000 US-Dollar kosten. Bei diesem Preis ist es besser, zwei 3090 zu kaufen.

Er glaubt sogar, dass man, da Apple involviert ist, grundsätzlich nichts mit „Billigkeit“ zu tun haben kann.

Dies führt zu einer weiteren Frage: Mit welchen Geräten ist das Exo-Framework kompatibel? Unterstützt es nur Apple?

Die Fragen der Internetnutzer waren direkter und fragten direkt, ob der Raspberry Pi unterstützt wird.

Der Autor antwortete, dass dies theoretisch möglich sei, es jedoch noch nicht getestet wurde und als nächstes ausprobiert wird.

Zusätzlich zur Rechenleistung des Geräts selbst fügten einige Leute auch hinzu, dass der Engpass bei der Netzwerkübertragungsgeschwindigkeit auch die Leistung des Clusters einschränkt.

In diesem Zusammenhang erklärte der Autor des Frameworks persönlich:

Was in Exo übertragen werden muss, ist ein kleiner Aktivierungsvektor, nicht das gesamte Modellgewicht.
Für das Llama-3-8B-Modell beträgt der Aktivierungsvektor etwa 10 KB; für Llama-3-70B beträgt er etwa 32 KB.
Die Latenz im lokalen Netzwerk ist normalerweise gering (<5 ms) und beeinträchtigt die Leistung nicht wesentlich.

Der Autor gab an, dass das Framework derzeit Tinygrad unterstützt. Obwohl der Test hauptsächlich auf Mac-Geräten durchgeführt wird, unterstützt er (theoretisch) alle Geräte, auf denen Tinygrad ausgeführt werden kann.

Derzeit befindet sich das Framework noch im experimentellen Stadium und das zukünftige Ziel besteht darin, dieses Framework so einfach wie Dropbox (eine Netzwerkfestplatte) zu machen.

Übrigens haben Exo-Beamte auch einige Mängel aufgelistet, deren Behebung derzeit geplant ist, und eine öffentliche Belohnung ins Leben gerufen. Wer diese Probleme löst, erhält Prämien zwischen 100 und 500 US-Dollar.

GitHub:
https://github.com/exo-explore/exo
Referenzlinks:
https://x.com/ac_crypto/status/1814912615946330473