nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Nouveau rapport de sagesse

Editeur : Taozi

[Introduction à la nouvelle sagesse] De manière inattendue, le multimodal Llama 4 a déjà commencé à s'entraîner à plein régime. Xiao Zha a déclaré qu'elle investirait dix fois le montant calculé pour Llama 3 pour former le modèle, dont la sortie est prévue en 2025. Il a dépensé beaucoup d’argent pour acheter un GPU, mais il craignait qu’il ne soit trop tard.

Llama 3.1 vient de sortir, et Llama 4 a été entièrement mis en formation.

Ces derniers jours, Xiao Zha a déclaré dans le rapport financier du deuxième trimestre que Meta utiliserait dix fois la puissance de calcul de Llama 3 pour former la prochaine génération de Llama 4 multimodal, dont la sortie est prévue en 2025.

Avec ce projet de loi, Lao Huang est redevenu le grand gagnant

Quel est le concept de dix fois le montant du calcul ?

Vous savez, Llama 3 est formé sur deux clusters GPU de 24 000 GPU. Autrement dit, la formation Llama 4 nécessite 240 000 GPU.

Alors, le méta-inventaire est-il suffisant ?

Je me souviens encore que Xiao Zha avait annoncé en début d'année qu'il prévoyait de déployer 350 000 Nvidia H100 d'ici la fin de l'année.

Il a également révélé plus de détails. Meta construira en interne deux clusters uniques pour la formation LLM, l'un équipé de 22 000 blocs H100 et l'autre de 24 000 blocs.

Certains internautes ont déjà examiné comment l'utilisation du GPU a augmenté au cours du processus d'itération du modèle Llama :

Lama 1 : 2048 GPU

Lama 2 : 4096 GPU

Lama 3.1 : 16 384 GPU

Ou dépenser 40 milliards de dollars américains, Xiao Zha ne veut pas qu'il soit trop tard

On peut constater que la formation de grands modèles est une activité coûteuse.

Le rapport financier montre que les dépenses en capital de Meta en serveurs, centres de données et infrastructure réseau ont augmenté de près de 33 % au deuxième trimestre.

Il est passé de 6,4 milliards de dollars à la même période l'année dernière à 8,5 milliards de dollars.

Les dépenses annuelles devraient désormais se situer entre 37 et 40 milliards de dollars, contre une estimation précédente de 35 à 40 milliards de dollars.

Un rapport d'Information indique qu'OpenAI a dépensé 3 milliards de dollars en modèles de formation et 4 milliards de dollars supplémentaires en location de serveurs auprès de Microsoft à prix réduit.

On peut voir à quel point il est ironique de dépenser de la puissance de calcul pour former de grands modèles.

Mais ce qui est important, c'est que l'open source de Llama 3.1 deviendra un tournant important dans l'industrie de l'IA, et que l'intelligence artificielle open source commencera à devenir un standard de l'industrie comme Linux.

Meta prévoit des clusters informatiques et des centres de données pour les prochaines années afin de prendre en charge les futures générations de modèles d'IA.

Xiao Zha a admis qu'il est difficile de prédire la voie de développement future de la technologie de l'IA, mais que la construction des infrastructures n'est pas rapide.

Malgré l’incertitude, j’étais prêt à prendre le risque de construire à l’avance plutôt que de prendre du retard sur mes concurrents faute de préparation.

La prévoyance de Xiao Zha a autrefois conduit l'entreprise à se démarquer dans la vague du métaverse.

Lorsque le cours des actions de la société a subi un coup dur en 2022, Xiao Zha a quand même pris le risque et acheté un grand nombre de H100.

Le rapport financier du troisième trimestre de cette année-là a montré que les dépenses en capital de Meta s'élevaient entre 32 et 33 milliards de dollars américains.

Une grande partie de cette somme est consacrée à la construction de centres de données, de serveurs et d'infrastructures réseau, ainsi qu'à d'énormes investissements dans le métaverse.

Dans l'interview, Xiao Zha a expliqué : « À cette époque, Meta développait vigoureusement l'outil vidéo court Reels, donc davantage de GPU étaient nécessaires pour entraîner le modèle. »

L’inférence de modèle étant une question cruciale pour Meta, elle doit fournir des services aux utilisateurs de ses propres applications telles que Facebook et Ins.

Dans les mots originaux de Xiao Zha :

Le ratio de calculs d'inférence et de formation dont nous avons besoin peut être beaucoup plus élevé que celui d'autres entreprises engagées dans ce domaine, car le nombre d'utilisateurs communautaires que nous servons est très important.

Tout le monde a un agent IA

Il y a quelque temps, Thomas Scialom, scientifique en Meta AI, a également mentionné dans une interview sur son blog que Llama 4 avait commencé son entraînement en juin.

Il a déclaré que le nouveau modèle pourrait se concentrer sur la technologie des agents et que certaines recherches ont été menées sur des outils d'agent tels que Toolformer.

Xiao Zha estime que les agents IA deviendront bientôt « l'équipement standard » des entreprises en ligne.

"Au fil du temps, je pense que, tout comme chaque entreprise possède un site Web, des comptes de réseaux sociaux et des adresses e-mail, à l'avenir, chaque entreprise disposera d'un agent IA avec lequel les clients pourront interagir."

L’objectif de Meta est de permettre à chaque petite entreprise, et éventuellement même à chaque grande entreprise, d’intégrer facilement son propre contenu et ses produits dans des agents d’IA.

Lorsque cette technologie sera mise en œuvre dans des applications pratiques à grande échelle, elle accélérera considérablement nos revenus liés aux informations commerciales.

Malgré les critiques des investisseurs concernant les dépenses élevées de Meta en matière d'IA et de Metaverse, Zuckerberg reste attaché à sa stratégie.

Alors que la réalité virtuelle semble être passée au second plan ces derniers trimestres chez Meta, Zuckerberg a mentionné que les ventes de Quest 3 dépassaient les attentes de l'entreprise.

Les chiffres du deuxième trimestre montrent que les revenus dans ce domaine ont augmenté de 22 %, pour atteindre 39,1 milliards de dollars, et que les bénéfices ont augmenté de 73 %, pour atteindre 13,5 milliards de dollars.

Pour le troisième trimestre, Meta prévoit un chiffre d'affaires compris entre 38,5 et 41 milliards de dollars.

Des sources indiquent que la société annoncera une paire d'écouteurs moins chère lors de sa conférence Connect en septembre.

De plus, l'assistant IA Meta AI devient de plus en plus populaire, et Xiao Zha a déclaré qu'il devrait devenir l'assistant IA le plus utilisé d'ici la fin de l'année.

Les références:

https://the-decoder.com/meta-plans-to-use-10-times-more-compute-power-to-train-its-next-Generation-lama-4-ai-model/

https://www.theverge.com/2024/7/31/24210786/meta-earnings-q2-2024-ai-llama-zuckerberg