noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• Crecy proviene del templo de Aofei.
  Qubits | Cuenta pública QbitAI

Sin el H100, tres computadoras Apple pueden manejar el modelo grande 400B.

El héroe detrás de esto es un marco de razonamiento de IA distribuido de código abierto en GitHub, que ya ha recibido 2,5 mil estrellas.

Con este marco, puede crear su propio clúster informático de IA utilizando dispositivos cotidianos como iPhone y iPad en solo unos minutos.

Este marco se llama exo. A diferencia de otros marcos de razonamiento distribuido, adopta un método de conexión p2p y el dispositivo puede unirse automáticamente al clúster cuando se conecta a la red.

El desarrollador utilizó el marco exo para conectar dos MacBook Pro y un Mac Studio, y la velocidad informática alcanzó los 110 TFLOPS.

Al mismo tiempo, el desarrollador dijo que está listo para recibir el próximo Llama3-405B.

Los funcionarios de exo también dijeron que brindarán soporte para Llama3-405B lo antes posible (día 0).

Y no se trata solo de computadoras, exo puede permitir que iPhones, iPads y otros dispositivos se unan a la red informática local, e incluso Apple Watch también puede absorberla.

Con la iteración de la versión, el marco exo ya no se limita a Apple (inicialmente solo admite MLX), y algunas personas también han incorporado teléfonos Android y tarjetas gráficas 4090 al clúster.

Configuración completa en tan solo 60 segundos

A diferencia de otros marcos de inferencia distribuidos, exo no utiliza una arquitectura maestro-trabajador, sinoDe igual a igual (p2p)Conecte el dispositivo.

Siempre que el dispositivo esté conectado a la misma LAN, puede unirse automáticamente a la red informática de exo para ejecutar el modelo.

Al dividir un modelo entre dispositivos, exo admite diferentes estrategias de partición. La opción predeterminada es la partición ponderada de memoria en anillo.

Esto ejecuta la inferencia en un anillo, con múltiples capas de modelo por dispositivo, proporcional a la memoria del dispositivo.

Y todo el procesoCasi no se requiere configuración manual, después de la instalación y el inicio, el sistema se conectará automáticamente a los dispositivos que se ejecutan en la LAN y también admitirá conexiones Bluetooth en el futuro.

En uno de los vídeos del autor, sólo tomó unos 60 segundos completar la configuración en dos MacBooks nuevos.

Puede ver que alrededor de 60 segundos, el programa comenzó a ejecutarse en segundo plano.

Además, puedes ver en la imagen de arriba que exo también admite pequeños chats.Interfaz gráfica, y también son compatibles con OpenAIAPI。

Sin embargo, dicha operación solo se puede implementar en el nodo de cola del clúster.

Actualmente, exo es compatible con el marco Apple MLX y el marco de aprendizaje automático de código abierto.pequeñogrado, el trabajo de adaptación de llama.cpp también está en marcha.

El único problema es que la actualización de la implementación de iOS no puede seguir el ritmo de Python, lo que genera muchos problemas con el programa. El autor desconecta temporalmente el teléfono móvil y el iPad de exo. Si realmente quieres probarlo, puedes enviar un mensaje. correo electrónico al autor para solicitarlo.

Internauta: ¿Es realmente tan útil?

Este método de utilizar dispositivos locales para ejecutar modelos grandes también ha provocado extensas discusiones en HakerNews.

Las ventajas de la operación localizada son que, por un lado, la privacidad está más garantizada, por otro lado, se puede acceder al modelo sin conexión y también admite personalización personalizada.

Algunas personas también señalaron que el costo a largo plazo de utilizar equipos existentes para construir un clúster para cálculos de modelos grandes es menor que el de los servicios en la nube.

Pero respecto al proyecto específico de exo, muchas personas han expresado sus dudas.

En primer lugar, algunos internautas señalaron que el nivel de potencia informática de los equipos antiguos existentes es muy diferente al de los proveedores de servicios profesionales. Si simplemente juegas por curiosidad, está bien, pero si quieres lograr un corte. rendimiento de vanguardia, el costo es simplemente incomparable con plataformas grandes.

Y algunas personas dijeron que el equipo utilizado por el autor para la demostración es hardware de alta gama. Un equipo Mac con 32 GB de memoria puede costar más de 2.000 dólares estadounidenses. A este precio, es mejor comprar dos 3090.

Incluso cree que, dado que Apple está involucrada, se puede decir que básicamente no tiene nada que ver con lo "barato".

Esto lleva a otra pregunta: ¿con qué dispositivos es compatible exo framework? ¿Solo es compatible con Apple?

Las preguntas de los internautas fueron más directas y fueron directas al grano si Raspberry Pi es compatible.

El autor respondió que es teóricamente posible, pero que aún no se ha probado y se probará a continuación.

Además de la potencia informática del dispositivo en sí, algunas personas también agregaron que el cuello de botella en la velocidad de transmisión de la red también limitará el rendimiento del clúster.

En este sentido, el autor del marco explicó personalmente:

Lo que debe transmitirse en exo es un pequeño vector de activación, no todo el peso del modelo.
Para el modelo Llama-3-8B, el vector de activación es de aproximadamente 10 KB; Llama-3-70B es de aproximadamente 32 KB.
La latencia de la red local suele ser baja (<5 ms) y no afecta significativamente al rendimiento.

El autor afirmó que el marco actualmente es compatible con tinygrad, por lo que, aunque la prueba se realiza principalmente en dispositivos Mac, (teóricamente) es compatible con todos los dispositivos que pueden ejecutar tinygrad.

En la actualidad, el marco aún se encuentra en la etapa experimental y el objetivo futuro es hacer que este marco sea tan simple como Dropbox (un disco de red).

Por cierto, los funcionarios de exo también han enumerado algunas deficiencias que actualmente se planea resolver y han lanzado una recompensa pública. Aquellos que resuelvan estos problemas recibirán bonificaciones que oscilan entre 100 y 500 dólares estadounidenses.

GitHub:
https://github.com/exo-explore/exo
Enlaces de referencia:
https://x.com/ac_crypto/status/1814912615946330473