berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• Crecy berasal dari kuil Aofei
  Qubits |

Tanpa H100, tiga komputer Apple dapat mengendarai model besar 400B.

Pahlawan di belakangnya adalah kerangka penalaran AI yang didistribusikan open source di GitHub, yang telah menerima bintang 2.5K.

Menggunakan kerangka kerja ini, Anda dapat membangun cluster komputasi AI Anda sendiri menggunakan perangkat sehari -hari seperti iPhone dan iPad hanya dalam beberapa menit.

Kerangka kerja ini disebut EXO.

Pengembang menggunakan kerangka EXO untuk menghubungkan dua MacBook Pro dan Mac Studio, dan kecepatan komputasi mencapai 110TFLOPS.

Pada saat yang sama, pengembang mengatakan bahwa ia siap menyambut LLAMA3-405B yang akan datang.

Pejabat EXO juga mengatakan bahwa mereka akan memberikan dukungan untuk LLAMA3-405B sesegera mungkin (hari 0).

Dan itu bukan hanya komputer, EXO dapat mengizinkan iPhone, iPad, dan perangkat lain untuk bergabung dengan jaringan komputasi lokal, dan bahkan Apple Watch juga dapat menyerapnya.

Dengan iterasi versi, kerangka EXO tidak lagi terbatas pada Apple (awalnya hanya mendukung MLX), dan beberapa orang juga membawa ponsel Android dan 4090 kartu grafis ke dalam cluster.

Konfigurasi Lengkap Dalam Hebat 60 Detik

Tidak seperti kerangka kerja inferensi terdistribusi lainnya, EXO tidak menggunakan arsitektur master-pekerja, tetapiPeer-to-Peer (P2P)Hubungkan perangkat.

Selama perangkat terhubung ke LAN yang sama, ia dapat secara otomatis bergabung dengan jaringan komputasi EXO untuk menjalankan model.

Saat membagi model di seluruh perangkat, EXO mendukung berbagai strategi partisi.

Ini menjalankan inferensi pada cincin, dengan beberapa lapisan model per perangkat, sebanding dengan memori perangkat.

Dan seluruh prosesHampir tidak ada konfigurasi manual yang diperlukan, Setelah instalasi dan startup, sistem akan secara otomatis terhubung ke perangkat yang berjalan di LAN, dan juga akan mendukung koneksi Bluetooth di masa mendatang.

Dalam salah satu video penulis, hanya butuh sekitar 60 detik untuk menyelesaikan konfigurasi pada dua MacBook baru.

Anda dapat melihat bahwa sekitar 60 detik, program ini telah mulai berjalan di latar belakang.

Selain itu, Anda dapat melihat dari gambar di atas EXO juga mendukung obrolan kecilAntarmuka grafis, dan juga kompatibel dengan openaiAPI。

Namun, operasi seperti itu hanya dapat diimplementasikan pada simpul ekor di cluster.

Saat ini, EXO mendukung kerangka kerja Apple MLX dan kerangka pembelajaran mesin open sourcegrad kecil, karya adaptasi llama.cpp juga sedang berlangsung.

Satu -satunya lalat dalam salep adalah bahwa pembaruan implementasi iOS tidak dapat mengikuti python, menghasilkan banyak masalah dengan program ini. Email ke penulis untuk memintanya.

Netizen: Apakah itu benar -benar berguna?

Metode menggunakan perangkat lokal ini untuk menjalankan model besar juga memicu diskusi ekstensif tentang Hakernews.

Keuntungan dari operasi lokal adalah bahwa di satu sisi, privasi lebih dijamin, di sisi lain, model dapat diakses secara offline, dan juga mendukung kustomisasi yang dipersonalisasi.

Beberapa orang juga menunjukkan bahwa biaya jangka panjang menggunakan peralatan yang ada untuk membangun cluster untuk perhitungan model besar lebih rendah daripada layanan cloud.

Tetapi mengenai proyek spesifik EXO, banyak orang telah menyatakan keraguan mereka.

Pertama-tama, beberapa netizen menunjukkan bahwa tingkat daya komputasi peralatan lama yang ada adalah pesanan yang besar berbeda dari penyedia layanan profesional. Kinerja Edge, biayanya tak tertandingi dengan platform besar.

Dan beberapa orang mengatakan bahwa peralatan yang digunakan oleh penulis untuk demonstrasi adalah perangkat keras kelas atas.

Dia bahkan percaya bahwa karena Apple terlibat, dapat dikatakan bahwa itu pada dasarnya tidak ada hubungannya dengan "murahnya".

Ini mengarah ke pertanyaan lain - perangkat apa yang kompatibel dengan EXO Framework? Apakah itu hanya mendukung Apple?

Pertanyaan Netizens lebih langsung, bertanya langsung pada titik apakah Raspberry Pi didukung.

Penulis menjawab bahwa secara teori mungkin, tetapi belum diuji dan akan diadili berikutnya.

Selain daya komputasi perangkat itu sendiri, beberapa orang juga menambahkan bahwa bottleneck kecepatan transmisi jaringan juga akan membatasi kinerja cluster.

Dalam hal ini, penulis kerangka kerja secara pribadi menjelaskan:

Apa yang perlu ditransmisikan dalam EXO adalah vektor aktivasi kecil, bukan seluruh model berat.
Untuk model LLAMA-3-8B, vektor aktivasi sekitar 10kb;
Latensi jaringan lokal biasanya rendah (<5ms) dan tidak berdampak signifikan terhadap kinerja.

Penulis menyatakan bahwa kerangka kerja saat ini mendukung TinyGrad, jadi meskipun tes ini terutama dilakukan pada perangkat MAC, itu (secara teoritis) mendukung semua perangkat yang dapat menjalankan TinyGrad.

Saat ini, kerangka kerja masih dalam tahap eksperimental, dan tujuan masa depan adalah untuk membuat kerangka kerja ini sesederhana Dropbox (disk jaringan).

BTW, Pejabat EXO juga telah mendaftarkan beberapa kekurangan yang saat ini direncanakan untuk diselesaikan, dan telah meluncurkan hadiah publik.

GitHub:
https://github.com/exo-explore/exo
Tautan referensi:
https://x.com/ac_crypto/status/1814912615946330473