Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• Креси происходит из храма Аофей.
  Кубиты | Публичный аккаунт QbitAI

Без H100 три компьютера Apple могут управлять большой моделью 400B.

Герой этого проекта — распределенная система рассуждений ИИ с открытым исходным кодом на GitHub, которая уже получила 2,5 тысячи звезд.

Используя эту платформу, вы можете всего за несколько минут создать свой собственный вычислительный кластер искусственного интеллекта, используя повседневные устройства, такие как iPhone и iPad.

Эта платформа называется exo. В отличие от других платформ распределенного мышления, она использует метод p2p-соединения, и устройство может автоматически присоединяться к кластеру при подключении к сети.

Разработчик использовал фреймворк exo для соединения двух MacBook Pro и Mac Studio, а скорость вычислений достигла 110 терафлопс.

При этом разработчик заявил, что готов приветствовать грядущую Llama3-405B.

Представители exo также заявили, что предоставят поддержку Llama3-405B как можно скорее (день 0).

И это не только компьютеры: exo может позволить iPhone, iPad и другим устройствам подключаться к локальной вычислительной сети, и даже Apple Watch также могут его поглотить.

С появлением версии платформа exo больше не ограничивается Apple (изначально поддерживающая только MLX), и некоторые люди также включили в кластер телефоны Android и видеокарты 4090.

Полная настройка всего за 60 секунд

В отличие от других фреймворков распределенного вывода, exo не использует архитектуру «главный-работник», аОдноранговая связь (p2p)Подключите устройство.

Пока устройство подключено к той же локальной сети, оно может автоматически подключаться к вычислительной сети exo для запуска модели.

При разделении модели между устройствами exo поддерживает различные стратегии секционирования. По умолчанию используется сегментирование с взвешиванием по кольцевой памяти.

При этом вывод выполняется по кольцу с несколькими слоями модели на одно устройство, пропорционально памяти устройства.

И весь процессПрактически не требуется ручная настройка, после установки и запуска система автоматически подключится к устройствам, работающим в локальной сети, а также в будущем будет поддерживать соединения Bluetooth.

В одном из видеороликов автора на настройку двух новых MacBook ушло всего около 60 секунд.

Вы можете видеть, что примерно через 60 секунд программа начала работать в фоновом режиме.

Кроме того, на картинке выше вы можете видеть, что exo также поддерживает крошечный чат.Графический интерфейс, а также совместимы с OpenAIAPI。

Однако такую ​​операцию можно реализовать только на хвостовом узле кластера.

В настоящее время exo поддерживает платформу Apple MLX и платформу машинного обучения с открытым исходным кодом.крошечныйград, работа по адаптации llama.cpp также продолжается.

Единственная ложка дегтя заключается в том, что обновление реализации iOS не успевает за Python, что приводит к множеству проблем с программой. Автор временно отключил мобильный телефон exo и iPad. Если вы действительно хотите попробовать, вы можете отправить сообщение. электронное письмо автору с просьбой об этом.

Пользователи сети: Это действительно так полезно?

Этот метод использования локальных устройств для запуска больших моделей также вызвал обширные дискуссии на HakerNews.

Преимущества локализованной работы заключаются в том, что, с одной стороны, более гарантирована конфиденциальность, с другой стороны, к модели можно получить доступ в автономном режиме, а также она поддерживает персонализированную настройку.

Некоторые люди также отметили, что долгосрочная стоимость использования существующего оборудования для построения кластера для больших модельных расчетов ниже, чем у облачных сервисов.

Но относительно конкретного проекта экзо многие выразили сомнения.

Прежде всего, некоторые пользователи сети отметили, что уровень вычислительной мощности существующего старого оборудования на порядки отличается от уровня профессиональных поставщиков услуг. Если вы играете просто из любопытства, это нормально, но если вы хотите добиться сокращения. высочайшая производительность, стоимость просто несопоставима с большими платформами.

И некоторые люди сказали, что оборудование, использованное автором для демонстрации, представляет собой оборудование высокого класса. Оборудование Mac с памятью 32 ГБ может стоить более 2000 долларов США. По этой цене лучше купить два 3090.

Он даже считает, что раз Apple в этом замешана, то можно сказать, что к «дешевизне» это в принципе не имеет никакого отношения.

Это приводит к другому вопросу — с какими устройствами совместима платформа exo? Он поддерживает только Apple?

Вопросы пользователей сети были более прямыми: они спрашивали прямо, поддерживается ли Raspberry Pi.

Автор ответил, что теоретически это возможно, но это еще не проверено и будет опробовано в дальнейшем.

Помимо вычислительной мощности самого устройства, некоторые люди также добавили, что узкое место в скорости передачи данных по сети также будет ограничивать производительность кластера.

В связи с этим автор фреймворка лично пояснил:

В exo необходимо передать небольшой вектор активации, а не весь вес модели.
Для модели Llama-3-8B вектор активации примерно 10КБ, Llama-3-70B примерно 32КБ.
Задержка в локальной сети обычно невелика (<5 мс) и не оказывает существенного влияния на производительность.

Автор заявил, что фреймворк в настоящее время поддерживает tinygrad, поэтому, хотя тест в основном проводится на устройствах Mac, он (теоретически) поддерживает все устройства, на которых может работать tinygrad.

В настоящее время платформа все еще находится на экспериментальной стадии, и в будущем цель состоит в том, чтобы сделать ее такой же простой, как Dropbox (сетевой диск).

Кстати, чиновники экзо также перечислили некоторые недостатки, которые в настоящее время планируется устранить, и объявили общественное вознаграждение. Те, кто решит эти проблемы, получат бонусы в размере от 100 до 500 долларов США.

GitHub：
https://github.com/exo-explore/exo
Справочные ссылки:
https://x.com/ac_crypto/status/1814912615946330473