notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Nuovo rapporto sulla saggezza

Editore: Taozi

[Introduzione alla Nuova Saggezza] Inaspettatamente, il multimodale Llama 4 ha già iniziato l'addestramento a pieno ritmo. Xiao Zha ha affermato che investirà dieci volte l'importo calcolato di Llama 3 per addestrare il modello, il cui rilascio è previsto nel 2025. Ha speso molti soldi per acquistare una GPU, ma aveva paura che fosse troppo tardi.

Llama 3.1 è appena stato rilasciato e Llama 4 è stato completamente messo in fase di training.

Nei giorni scorsi, Xiao Zha ha dichiarato nella relazione finanziaria del secondo trimestre che Meta utilizzerà dieci volte la potenza di calcolo di Llama 3 per addestrare la prossima generazione multimodale Llama 4, il cui rilascio è previsto nel 2025.

Con questo disegno di legge, Lao Huang è diventato di nuovo il più grande vincitore

Qual è il concetto di dieci volte la quantità di calcolo?

Sai, Llama 3 è addestrato su due cluster GPU con 24.000 GPU. In altre parole, l'addestramento di Llama 4 richiede 240.000 GPU.

Quindi, l'inventario Meta è sufficiente?

Ricordo ancora che Xiao Zha annunciò all'inizio dell'anno di voler distribuire 350.000 Nvidia H100 entro la fine dell'anno.

Ha anche rivelato maggiori dettagli. Meta costruirà internamente due singoli cluster per l'addestramento LLM, uno dotato di 22.000 blocchi H100 e l'altro cluster dotato di 24.000 blocchi.

Alcuni netizen una volta hanno esaminato come è aumentato l'utilizzo della GPU durante il processo di iterazione del modello Llama:

Lama 1: 2048 GPU

Lama 2: 4096 GPU

Lama 3.1: 16384 GPU

Oppure spendi 40 miliardi di dollari, Xiao Zha non vuole che sia troppo tardi

Si può vedere che la formazione di modelli di grandi dimensioni è un'attività costosa.

Il rapporto finanziario mostra che le spese in conto capitale di Meta su server, data center e infrastrutture di rete sono aumentate di quasi il 33% nel secondo trimestre.

È aumentato a 8,5 miliardi di dollari rispetto ai 6,4 miliardi di dollari dello stesso periodo dell’anno scorso.

Si prevede che la spesa annuale sarà compresa tra 37 e 40 miliardi di dollari, rispetto alla precedente stima compresa tra 35 e 40 miliardi di dollari.

Un rapporto di Information afferma che OpenAI ha speso 3 miliardi di dollari per modelli di formazione e altri 4 miliardi di dollari per noleggiare server Microsoft a prezzo scontato.

Si può vedere quanto sia ironico spendere potenza di calcolo per addestrare modelli di grandi dimensioni.

Ma il significato è che l’open source di Llama 3.1 diventerà un importante punto di svolta nel settore dell’intelligenza artificiale e l’intelligenza artificiale open source inizierà a diventare uno standard del settore come Linux.

Meta sta pianificando cluster informatici e data center per i prossimi anni per supportare le future generazioni di modelli di intelligenza artificiale.

Xiao Zha ha ammesso che è difficile prevedere il futuro percorso di sviluppo della tecnologia IA, ma la costruzione delle infrastrutture non è rapida.

Nonostante l’incertezza, ero disposto a correre il rischio di costruire in anticipo piuttosto che restare indietro rispetto ai miei concorrenti a causa della mancanza di preparazione.

La lungimiranza di Xiao Zha ha portato l'azienda a distinguersi nell'onda del metaverso.

Quando il prezzo delle azioni della società ha subito un duro colpo nel 2022, Xiao Zha ha comunque corso il rischio e ha acquistato un gran numero di H100.

La relazione finanziaria del terzo trimestre di quell’anno mostrava che le spese in conto capitale di Meta erano comprese tra 32 e 33 miliardi di dollari.

Gran parte di questo denaro è destinato alla costruzione di data center, server e infrastrutture di rete, nonché a ingenti investimenti nel Metaverso.

Nell'intervista, Xiao Zha ha spiegato: "A quel tempo, Meta stava sviluppando vigorosamente lo strumento per brevi video Reels, quindi erano necessarie più GPU per addestrare il modello".

Poiché l'inferenza del modello è una questione cruciale per Meta, è necessario fornire servizi agli utenti delle proprie applicazioni come Facebook e Ins.

Nelle parole originali di Xiao Zha:

Il rapporto tra calcoli di inferenza e formazione da noi richiesta potrebbe essere molto più elevato rispetto ad altre società impegnate in questo campo. Questo perché il numero di utenti della comunità che serviamo è molto ampio.

Tutti hanno un agente AI

Qualche tempo fa, lo scienziato di Meta AI Thomas Scialom ha anche menzionato in un'intervista sul blog che Llama 4 aveva iniziato l'addestramento a giugno.

Ha affermato che il nuovo modello potrebbe concentrarsi sulla tecnologia degli agenti e che sono state condotte alcune ricerche sugli strumenti degli agenti come Toolformer.

Xiao Zha ritiene che gli agenti IA diventeranno presto la "attrezzatura standard" per le aziende online.

"Col passare del tempo, penso che, proprio come ogni azienda ha un sito web, account di social media e indirizzi e-mail, in futuro ogni azienda avrà un agente AI con cui i clienti potranno interagire."

L’obiettivo di Meta è consentire a ogni piccola impresa, e infine anche a ogni grande impresa, di integrare facilmente i propri contenuti e prodotti negli agenti AI.

Quando questa tecnologia verrà messa in applicazioni pratiche su larga scala, accelererà notevolmente le nostre entrate legate alle informazioni aziendali.

Nonostante le critiche degli investitori sull'elevata spesa di Meta per l'intelligenza artificiale e il Metaverso, Zuckerberg rimane fedele alla sua strategia.

Mentre la realtà virtuale sembra essere passata in secondo piano negli ultimi trimestri a Meta, Zuckerberg ha affermato che le vendite di Quest 3 hanno superato le aspettative dell'azienda.

I dati del secondo trimestre mostrano che i ricavi in ​​quest'area sono aumentati del 22% a 39,1 miliardi di dollari, mentre i profitti sono aumentati del 73% a 13,5 miliardi di dollari.

Per il terzo trimestre, Meta prevede ricavi compresi tra 38,5 e 41 miliardi di dollari.

Fonti affermano che la società annuncerà un paio di cuffie più economiche alla conferenza Connect di settembre.

Inoltre, l’assistente AI Meta AI sta diventando sempre più popolare e Xiao Zha ha affermato che dovrebbe diventare l’assistente AI più utilizzato entro la fine dell’anno.

Riferimenti:

https://the-decoder.com/meta-plans-to-use-10-times-more-compute-power-to-train-its-next- generation-lama-4-ai-model/

https://www.theverge.com/2024/7/31/24210786/meta-earnings-q2-2024-ai-llama-zuckerberg