Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• Το Crecy προέρχεται από τον ναό Aofei
  Qubits | Δημόσιος λογαριασμός QbitAI

Χωρίς H100, τρεις υπολογιστές Apple μπορούν να οδηγήσουν το μεγάλο μοντέλο 400B.

Ο ήρωας πίσω από αυτό είναι ένα ανοιχτού κώδικα διανεμημένο πλαίσιο συλλογιστικής AI στο GitHub, το οποίο έχει ήδη λάβει 2,5 χιλιάδες αστέρια.

Χρησιμοποιώντας αυτό το πλαίσιο, μπορείτε να δημιουργήσετε το δικό σας σύμπλεγμα υπολογιστών AI χρησιμοποιώντας καθημερινές συσκευές όπως το iPhone και το iPad μέσα σε λίγα μόνο λεπτά.

Αυτό το πλαίσιο ονομάζεται exo Σε αντίθεση με άλλα κατανεμημένα πλαίσια συλλογισμού, υιοθετεί μια μέθοδο σύνδεσης p2p και η συσκευή μπορεί να ενταχθεί αυτόματα στο σύμπλεγμα όταν είναι συνδεδεμένη στο δίκτυο.

Ο προγραμματιστής χρησιμοποίησε το πλαίσιο exo για να συνδέσει δύο MacBook Pro και ένα Mac Studio και η υπολογιστική ταχύτητα έφτασε τα 110 TFLOPS.

Την ίδια στιγμή, ο προγραμματιστής είπε ότι είναι έτοιμος να υποδεχθεί το επερχόμενο Llama3-405B.

Οι αξιωματούχοι της exo είπαν επίσης ότι θα παράσχουν υποστήριξη για το Llama3-405B το συντομότερο δυνατό (ημέρα 0).

Και δεν είναι μόνο οι υπολογιστές, η exo μπορεί να επιτρέψει σε iPhone, iPad και άλλες συσκευές να ενταχθούν στο τοπικό δίκτυο υπολογιστών, ενώ ακόμη και το Apple Watch μπορεί επίσης να το απορροφήσει.

Με την επανάληψη της έκδοσης, το πλαίσιο exo δεν περιορίζεται πλέον στην Apple (αρχικά υποστηρίζει μόνο MLX) και μερικοί άνθρωποι έχουν φέρει επίσης τηλέφωνα Android και κάρτες γραφικών 4090 στο σύμπλεγμα.

Ολοκληρώστε τη διαμόρφωση σε μόλις 60 δευτερόλεπτα

Σε αντίθεση με άλλα κατανεμημένα πλαίσια συμπερασμάτων, το exo δεν χρησιμοποιεί αρχιτεκτονική master-worker, αλλάPeer-to-peer (p2p)Συνδέστε τη συσκευή.

Εφόσον η συσκευή είναι συνδεδεμένη στο ίδιο LAN, μπορεί να ενταχθεί αυτόματα στο υπολογιστικό δίκτυο της exo για να εκτελέσει το μοντέλο.

Κατά τον διαχωρισμό ενός μοντέλου σε συσκευές, το exo υποστηρίζει διαφορετικές στρατηγικές κατάτμησης Η προεπιλογή είναι η στάθμιση της μνήμης δακτυλίου.

Αυτό εκτελεί το συμπέρασμα σε έναν δακτύλιο, με πολλαπλά επίπεδα μοντέλου ανά συσκευή, ανάλογα με τη μνήμη της συσκευής.

Και όλη η διαδικασίαΣχεδόν δεν απαιτείται χειροκίνητη διαμόρφωση, μετά την εγκατάσταση και την εκκίνηση, το σύστημα θα συνδεθεί αυτόματα με συσκευές που εκτελούνται στο LAN και θα υποστηρίζει επίσης συνδέσεις Bluetooth στο μέλλον.

Σε ένα από τα βίντεο του συγγραφέα, χρειάστηκαν μόνο 60 δευτερόλεπτα για να ολοκληρωθεί η διαμόρφωση σε δύο νέα MacBook.

Μπορείτε να δείτε ότι περίπου 60 δευτερόλεπτα, το πρόγραμμα άρχισε να εκτελείται στο παρασκήνιο.

Επιπλέον, μπορείτε να δείτε από την παραπάνω εικόνα ότι το exo υποστηρίζει επίσης μικροσκοπική συνομιλίαΓραφική διεπαφή, και είναι επίσης συμβατά με το OpenAIAPI。

Ωστόσο, μια τέτοια λειτουργία μπορεί να εφαρμοστεί μόνο στον κόμβο ουράς στο σύμπλεγμα.

Επί του παρόντος, το exo υποστηρίζει το πλαίσιο Apple MLX και το πλαίσιο μηχανικής εκμάθησης ανοιχτού κώδικαtinygrad, σε εξέλιξη βρίσκεται και η εργασία προσαρμογής του llama.cpp.

Το μόνο που χρειάζεται είναι ότι επειδή η ενημέρωση εφαρμογής του iOS δεν μπορεί να συμβαδίσει με την Python, υπάρχουν πολλά προβλήματα με το πρόγραμμα. Ο συγγραφέας έχει προσωρινά εκτός σύνδεσης το κινητό τηλέφωνο και το iPad ένα email στον συγγραφέα για να το ζητήσει.

Netizen: Είναι πραγματικά τόσο χρήσιμο;

Αυτή η μέθοδος χρήσης τοπικών συσκευών για την εκτέλεση μεγάλων μοντέλων έχει επίσης πυροδοτήσει εκτενείς συζητήσεις στο HakerNews.

Τα πλεονεκτήματα της τοπικής λειτουργίας είναι ότι, αφενός, το απόρρητο είναι πιο εγγυημένο, αφετέρου, το μοντέλο είναι προσβάσιμο εκτός σύνδεσης και υποστηρίζει επίσης εξατομικευμένη προσαρμογή.

Μερικοί άνθρωποι επεσήμαναν επίσης ότι το μακροπρόθεσμο κόστος χρήσης του υπάρχοντος εξοπλισμού για τη δημιουργία ενός συμπλέγματος για υπολογισμούς μεγάλων μοντέλων είναι χαμηλότερο από αυτό των υπηρεσιών cloud.

Όμως για το συγκεκριμένο project της exo, πολλοί έχουν εκφράσει τις αμφιβολίες τους.

Πρώτα απ 'όλα, ορισμένοι χρήστες του Διαδικτύου επεσήμαναν ότι το επίπεδο υπολογιστικής ισχύος του υπάρχοντος παλιού εξοπλισμού είναι τάξεις μεγέθους διαφορετικό από αυτό των επαγγελματιών παρόχων υπηρεσιών. απόδοση αιχμής, το κόστος είναι απλά ασύγκριτο με μεγάλες πλατφόρμες.

Και μερικοί άνθρωποι είπαν ότι ο εξοπλισμός που χρησιμοποιεί ο συγγραφέας για επίδειξη είναι εξοπλισμός υψηλής τεχνολογίας για Mac με μνήμη 32 GB μπορεί να κοστίζει περισσότερα από 2.000 δολάρια ΗΠΑ.

Πιστεύει μάλιστα ότι από τη στιγμή που εμπλέκεται η Apple, μπορεί να ειπωθεί ότι ουσιαστικά δεν έχει να κάνει με τη «φτηνότητα».

Αυτό οδηγεί σε ένα άλλο ερώτημα - με ποιες συσκευές είναι συμβατό το πλαίσιο exo; Υποστηρίζει μόνο Apple;

Οι ερωτήσεις των χρηστών του Διαδικτύου ήταν πιο άμεσες, ρωτώντας κατευθείαν στο σημείο αν υποστηρίζεται το Raspberry Pi.

Ο συγγραφέας απάντησε ότι είναι θεωρητικά δυνατό, αλλά δεν έχει δοκιμαστεί ακόμα και θα δοκιμαστεί στη συνέχεια.

Εκτός από την υπολογιστική ισχύ της ίδιας της συσκευής, μερικοί άνθρωποι πρόσθεσαν επίσης ότι η συμφόρηση της ταχύτητας μετάδοσης του δικτύου θα περιορίσει επίσης την απόδοση του συμπλέγματος.

Ως προς αυτό, ο συγγραφέας του πλαισίου εξήγησε προσωπικά:

Αυτό που πρέπει να μεταδοθεί στο exo είναι ένα μικρό διάνυσμα ενεργοποίησης, όχι ολόκληρο το βάρος του μοντέλου.
Για το μοντέλο Llama-3-8B, το διάνυσμα ενεργοποίησης είναι περίπου 10KB το Llama-3-70B είναι περίπου 32KB.
Η καθυστέρηση του τοπικού δικτύου είναι συνήθως χαμηλή (<5 ms) και δεν επηρεάζει σημαντικά την απόδοση.

Ο συγγραφέας δήλωσε ότι το πλαίσιο υποστηρίζει επί του παρόντος το tinygrad, επομένως, παρόλο που η δοκιμή πραγματοποιείται κυρίως σε συσκευές Mac, (θεωρητικά) υποστηρίζει όλες τις συσκευές που μπορούν να εκτελέσουν το tinygrad.

Προς το παρόν, το πλαίσιο βρίσκεται ακόμα σε πειραματικό στάδιο και ο μελλοντικός στόχος είναι να γίνει αυτό το πλαίσιο τόσο απλό όσο το Dropbox (ένας δίσκος δικτύου).

BTW, οι αξιωματούχοι της exo έχουν επίσης απαριθμήσει ορισμένες ελλείψεις που έχουν προγραμματιστεί να επιλυθούν και έχουν ξεκινήσει μια δημόσια ανταμοιβή Όσοι λύσουν αυτά τα προβλήματα θα λάβουν μπόνους που κυμαίνονται από 100-500 δολάρια ΗΠΑ.

GitHub:
https://github.com/exo-explore/exo
Σύνδεσμοι αναφοράς:
https://x.com/ac_crypto/status/1814912615946330473