noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Nuevo informe de sabiduría

Editor: Taozi

[Introducción a la Nueva Sabiduría] Inesperadamente, el Llama 4 multimodal ya ha comenzado a entrenar en pleno apogeo. Xiao Zha dijo que invertirá diez veces la cantidad calculada de Llama 3 para entrenar el modelo, que se espera que se lance en 2025. Gastó mucho dinero para comprar una GPU, pero temía que fuera demasiado tarde.

Llama 3.1 acaba de ser lanzada y Llama 4 se ha puesto en pleno entrenamiento.

En los últimos días, Xiao Zha dijo en el informe financiero del segundo trimestre que Meta utilizará diez veces la potencia informática de Llama 3 para entrenar la Llama 4 multimodal de próxima generación, que se espera que se lance en 2025.

Con este proyecto de ley, Lao Huang volvió a ser el mayor ganador.

¿Cuál es el concepto de diez veces la cantidad de cálculo?

Ya sabes, Llama 3 está entrenado en dos clústeres de GPU con 24.000 GPU. En otras palabras, el entrenamiento de Llama 4 requiere 240.000 GPU.

Entonces, ¿es suficiente el inventario Meta?

Todavía recuerdo que Xiao Zha anunció a principios de año que planeaba implementar 350.000 Nvidia H100 para finales de año.

También reveló más detalles. Meta construirá dos grupos individuales internamente para entrenar LLM, uno equipado con 22.000 bloques H100 y el otro grupo equipado con 24.000 bloques.

Algunos internautas revisaron una vez cómo aumentó el uso de GPU durante el proceso de iteración del modelo Llama:

Llama 1: 2048 GPU

Llama 2: 4096 GPU

Llama 3.1: 16384 GPU

O gastar 40 mil millones de dólares, Xiao Zha no quiere que sea demasiado tarde

Se puede ver que entrenar modelos grandes es un negocio costoso.

El informe financiero muestra que los gastos de capital de Meta en servidores, centros de datos e infraestructura de red aumentaron casi un 33% en el segundo trimestre.

Aumentó a 8.500 millones de dólares desde 6.400 millones de dólares en el mismo período del año pasado.

Ahora se espera que el gasto anual sea de entre 37.000 y 40.000 millones de dólares, frente a una estimación anterior de entre 35.000 y 40.000 millones de dólares.

Un informe de Information dijo que OpenAI gastó 3 mil millones de dólares en modelos de capacitación y otros 4 mil millones de dólares en alquiler de servidores de Microsoft con descuento.

Se puede ver lo irónico que es gastar potencia informática para entrenar modelos grandes.

Pero lo importante es que el código abierto de Llama 3.1 se convertirá en un punto de inflexión importante en la industria de la inteligencia artificial, y la inteligencia artificial de código abierto comenzará a convertirse en un estándar de la industria como Linux.

Meta está planificando clústeres informáticos y centros de datos para los próximos años para respaldar las generaciones futuras de modelos de IA.

Xiao Zha admitió que es difícil predecir el camino de desarrollo futuro de la tecnología de inteligencia artificial, pero la construcción de infraestructura no es rápida.

A pesar de la incertidumbre, estaba dispuesto a correr el riesgo de construir con anticipación en lugar de quedarme atrás de mis competidores por falta de preparación.

La previsión de Xiao Zha una vez llevó a la empresa a destacarse en la ola del metaverso.

Cuando el precio de las acciones de la empresa sufrió un fuerte impacto en 2022, Xiao Zha aun así asumió el riesgo y compró una gran cantidad de H100.

El informe financiero del tercer trimestre de ese año mostró que los gastos de capital de Meta alcanzaron entre 32.000 y 33.000 millones de dólares.

Gran parte de esto se destina a la construcción de centros de datos, servidores e infraestructura de red, así como a enormes inversiones en el Metaverso.

En la entrevista, Xiao Zha explicó: "En ese momento, Meta estaba desarrollando vigorosamente la herramienta de videos cortos Reels, por lo que se necesitaban más GPU para entrenar el modelo".

Dado que la inferencia de modelos es una cuestión crucial para Meta, necesita proporcionar servicios a los usuarios de sus propias aplicaciones, como Facebook e Ins.

En palabras originales de Xiao Zha:

La proporción de cálculos de inferencia y capacitación que necesitamos puede ser mucho mayor que la de otras empresas involucradas en este campo. Esto se debe a que la cantidad de usuarios de la comunidad a la que atendemos es muy grande.

Todo el mundo tiene un agente de IA

Hace algún tiempo, el científico de Meta AI Thomas Scialom también mencionó en una entrevista en un blog que Llama 4 había comenzado a entrenarse en junio.

Dijo que el nuevo modelo puede centrarse en la tecnología de agentes y que se han realizado algunas investigaciones sobre herramientas de agentes como Toolformer.

Xiao Zha cree que los agentes de IA pronto se convertirán en el "equipo estándar" de las empresas online.

"A medida que pasa el tiempo, creo que así como cada empresa tiene un sitio web, cuentas de redes sociales y direcciones de correo electrónico, en el futuro cada empresa tendrá un agente de IA con el que los clientes podrán interactuar".

El objetivo de Meta es permitir que todas las pequeñas empresas, y eventualmente incluso todas las grandes empresas, integren fácilmente su propio contenido y productos en agentes de IA.

Cuando esta tecnología se aplique a aplicaciones prácticas a gran escala, acelerará enormemente nuestros ingresos por información empresarial.

A pesar de las críticas de los inversores sobre el alto gasto de Meta en IA y el Metaverso, Zuckerberg sigue comprometido con su estrategia.

Si bien la realidad virtual parece haber pasado a un segundo plano en los últimos trimestres en Meta, Zuckerberg mencionó que las ventas de Quest 3 superaron las expectativas de la compañía.

Las cifras del segundo trimestre muestran que los ingresos en esta área aumentaron un 22% hasta 39.100 millones de dólares y los beneficios aumentaron un 73% hasta 13.500 millones de dólares.

Para el tercer trimestre, Meta espera ingresos en el rango de 38.500 a 41.000 millones de dólares.

Las fuentes dicen que la compañía anunciará un par de auriculares más baratos en su conferencia Connect en septiembre.

Además, el asistente de IA Meta AI se está volviendo cada vez más popular, y Xiao Zha dijo que se espera que se convierta en el asistente de IA más utilizado para fin de año.

Referencias:

https://the-decoder.com/meta-plans-to-use-10-times-more-compute-power-to-train-its-next-generation-lama-4-ai-model/

https://www.theverge.com/2024/7/31/24210786/meta-earnings-q2-2024-ai-llama-zuckerberg