notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Nuovo rapporto sulla saggezza

Redattore: Dipartimento editoriale

[Introduzione alla Nuova Saggezza] Il modello dei modelli di grandi dimensioni è cambiato ancora una volta da un giorno all'altro. Llama 3.1 405B ha fatto un grande debutto, superando GPT-4o e Claude 3.5 Sonnet in più test. Per la prima volta nella storia, un modello open source ha sconfitto il più forte modello closed source odierno. Xiao Zha ha affermato con coraggio: l'intelligenza artificiale open source vincerà sicuramente, proprio come alla fine ha vinto Linux.

Il nuovo re dell'open source, Llama 3.1 405B, è stato lanciato ufficialmente ieri sera!

In diversi benchmark, sia GPT-4o che Claude 3.5 Sonnet sono stati superati. In altre parole, il modello SOTA closed-source è già stato raggiunto dal modello open-source.

Da un giorno all'altro, il Llama 3.1 405B è diventato il modello più potente del mondo.

(Allo stesso tempo, ci sono anche nuove versioni dei modelli 70B e 8B)

LeCun ha riassunto diversi punti chiave della famiglia di modelli Llama 3.1:

- Prestazioni del 405B paragonabili ai migliori modelli closed source

- Pesi e codice open source/gratuiti, che consentono la messa a punto, la distillazione in altri modelli e l'implementazione ovunque

- Contesto 128k, multilingue, buona capacità di generazione di codice, capacità di ragionamento complesso e capacità di utilizzo degli strumenti

- L'API Llama Stack consente una facile integrazione

Si può dire che Meta questa volta abbia implementato fino in fondo lo spirito dell'open source e allo stesso tempo abbia generosamente pubblicato un articolo di oltre 90 pagine.

Thomas Wolf, capo scienziato di HuggingFace, ha elogiato: se vuoi studiare modelli di grandi dimensioni da zero, questo articolo è ciò di cui hai bisogno!

Copre letteralmente tutto: dati pre-formazione, filtraggio, ricottura, dati sintetici, leggi di scala, infrastruttura, elaborazione parallela, metodi di formazione, adattamento post-formazione, utilizzo degli strumenti, benchmarking, strategie di inferenza, quantizzazione, visione, parlato e video...

Il ricercatore AI2 Nathan Lambert stima che questo documento di 90 pagine su Llama 3.1 farà avanzare direttamente il progresso del modello open source di 3-9 mesi!

Il CEO di Meta Xiao Zha ha scritto con orgoglio un lungo articolo: L'intelligenza artificiale open source è la via da seguire.

In un'intervista con il New York Times, Xiao Zha sostiene l'intelligenza artificiale open source

In questo articolo, Xiao Zha ha ricordato emotivamente la svolta di Meta nell'ondata LLM——

L'anno scorso il Llama 2 era paragonabile solo marginalmente ai modelli più vecchi, quest'anno il Llama 3 è già in vantaggio rispetto ai modelli più avanzati a partire dal prossimo anno, i futuri modelli Llama diventeranno i modelli più avanzati;

Riguardo alla domanda che gli è stata posta più volte: "Sei preoccupato di perdere vantaggi tecnici a causa dell'open source Llama?", Xiao Zha si è paragonato direttamente a Linux.

Ha detto che in passato, le grandi aziende tecnologiche hanno investito molto nelle proprie versioni di Unix, ma alla fine Linux open source ha vinto perché ha permesso agli sviluppatori di modificare il codice a piacimento, che era più avanzato, più sicuro e più ampio dal punto di vista ecologico.

Anche l’intelligenza artificiale è destinata a svilupparsi in modo simile.

A tal fine, Meta ha appositamente allentato la propria licenza, consentendo agli sviluppatori di utilizzare per la prima volta l’output di alta qualità del modello Llama 3.1 per migliorare e sviluppare modelli IA di terze parti.

Netizen: Inizia una nuova era

Dopo che Llama 3.1 è stato ufficialmente revocato, ha causato scalpore in tutta la rete.

Il maestro dell'intelligenza artificiale Karpathy ha immediatamente espresso alcuni dei suoi pensieri:

Oggi, con il rilascio del modello 405B, i modelli di grandi dimensioni all'avanguardia di livello GPT-4/Claude 3.5 Sonnet sono aperti a tutti e possono essere utilizzati e costruiti per la prima volta. . I suoi pesi sono open source e concessi in licenza commerciale, consentendo la generazione di dati sintetici, la distillazione e la messa a punto dei modelli.

Questo è un LLM di frontiera veramente aperto rilasciato da Meta. Inoltre, hanno anche pubblicato un rapporto tecnico di 92 pagine, che contiene molti dettagli sul modello: https://ai.meta.com/research/publications/the-llama-3-herd-of-models/

La filosofia alla base di questa versione del modello è elaborata in un lungo articolo di Xiao Zha, che vale la pena leggere, poiché copre bene tutte le principali opinioni e argomenti a sostegno della visione del mondo dell'ecosistema AI aperto:

L’intelligenza artificiale open source è il futuro.

Ho spesso detto che è ancora agli inizi, come di nuovo negli anni '80, perché LLM sia il prossimo grande paradigma informatico, e Meta si sta chiaramente posizionando per essere un leader nel suo ecosistema aperto.

- Le persone richiederanno e utilizzeranno RAG con questi modelli

- Le persone metteranno a punto il modello

- Le persone li distilleranno in modelli esperti più piccoli per compiti e applicazioni specifici

- le persone lo ricercano, lo confrontano, lo ottimizzano

Inoltre, l’ecosistema aperto si auto-organizza in prodotti, applicazioni e servizi in modo modulare e ogni partecipante può contribuire con la propria competenza unica.

Un esempio è che la startup di chip AI Groq ha integrato il modello Llama 3.1, che può raggiungere il ragionamento quasi istantaneo dei modelli 8B.

Karpathy ha detto che a causa della pressione del server, sembrava incapace di provare a far funzionare il 405B su Groq, che potrebbe essere il modello di grandi dimensioni più potente e veloce oggi.

Si aspetta anche che i modelli closed-source raggiungano presto il ritardo e non vede l’ora.

Il meta ricercatore Tian Yuandong ha affermato che una nuova era è iniziata! Il LLM open source è ora alla pari/migliore del LLM closed source!

È nato il nuovo re dei modelli open source.

Dopo aver testato il perfezionato Llama 3.1 8B, il fondatore di OpenPipe ha detto con emozione: non è mai esistito un modello open source così piccolo e potente: funziona meglio di GPT-4o mini in ogni compito!

Jim Fan, scienziato senior di NVIDIA, ha affermato che la potenza di GPT-4 è nelle nostre mani. Questo è un momento storico.

Poche persone prestano attenzione all'infrastruttura dietro l'addestramento del modello AI. Soumith Chintala, il padre di Pytorch, si è alzato e ha affermato che in una struttura costruita con 16.000 GPU si verificheranno anche dei guasti.

Questi dettagli sono nascosti nel documento Llama 3.1, incluso come parallelizzare e mantenere l'affidabilità del sistema. Vale la pena ricordare che il team Meta ha raggiunto il 90% del tempo di formazione effettivo nell'addestramento del modello.

Alcuni utenti della rete hanno spiegato che durante il processo di iterazione del modello Llama, anche l'utilizzo della GPU è in aumento.

Lama 1: 2048 GPU

Lama 2: 4096 GPU

Llama 3.1: 16384 GPU (In realtà, Llama 3 è addestrato su due cluster con 24.000 GPU)

Lama 4:......

La più potente famiglia di modelli open source

In effetti, alcuni punti chiave dei modelli della serie Llama 3.1 sono stati sostanzialmente rovinati ieri.

Come affermato nelle informazioni trapelate, Llama 3.1 può supportare 8 lingue (inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e tailandese), agenti di conversazione multilingue, casi d'uso della traduzione, ecc.

In termini di lunghezza del contesto, rispetto a Llama 2 e Llama 3, tutti i contesti nei modelli della serie Llama 3.1 sono aumentati di 16 volte fino a 128K.

Meta ha sottolineato che Llama 3.1 è stato migliorato anche nell'utilizzo degli strumenti, supportando l'utilizzo degli strumenti zero-shot, inclusa la ricerca web, le operazioni matematiche e l'esecuzione di codici.

Basandosi su un contesto lungo, il modello non solo sa quando utilizzare uno strumento, ma anche come utilizzarlo e come interpretare i risultati.

Inoltre, attraverso la messa a punto, Llama 3.1 offre una grande flessibilità nel richiamare strumenti personalizzati.

Principali abilità

Innanzitutto, Llama 3.1 può essere eseguito come un sistema in grado di eseguire attività "agente":

- Suddividere i compiti ed eseguire ragionamenti in più fasi

- utilizzare gli strumenti

- Strumenti integrati: i modelli vengono forniti con la propria conoscenza di strumenti come la ricerca o gli interpreti del codice

- Apprendimento zero-shot: il modello può imparare a richiamare strumenti attraverso definizioni contestuali di strumenti che non ha mai visto prima

Ad esempio, chiedendo al modello: "Questo è un file CSV, puoi descrivere cosa c'è dentro?"

Riconoscerà che: Questo file CSV contiene tassi di inflazione mensili per molti anni e la colonna dell'anno indica l'anno per ciascuna serie di tassi di inflazione mensili.

Successivamente, possiamo chiedergli di tracciare il grafico nel tempo.

Successivamente, può anche completare una serie di compiti complicati, come tracciare l’andamento dell’S&P500 sullo stesso grafico.

Una volta terminato, puoi ridimensionare il grafico per aggiungere informazioni su assi diversi.

Come mostrato sopra, Llama 3.1 supporta 8 lingue, quindi è in grado di effettuare traduzioni multilingue.

Possiamo fargli tradurre in spagnolo la fiaba Hansel e Gretel (La casa di caramelle).

Anche di fronte a domande di ragionamento più complesse, Llama 3.1 può facilmente vincere.

"Ho 3 magliette, 5 paia di pantaloncini e 1 vestito. Partirò per un viaggio di 10 giorni. Sono abbastanza vestiti per le mie vacanze?"

L’intelligenza artificiale scompone le condizioni conosciute, immagina un piano di abbinamento ragionevole per top, pantaloncini e gonne e suggerisce che è meglio portare più top.

Una volta completato il ragionamento, ci ha anche fornito premurosamente una guida più dettagliata sulla vestizione da viaggio e un elenco dei bagagli.

Possiamo anche lasciare che l’IA scriva manualmente il codice.

Ad esempio, lasciamo che crei un programma che utilizzi un algoritmo ricorsivo di backtracking o un algoritmo di ricerca in profondità per generare un labirinto perfetto con dimensioni e complessità personalizzabili.

Non appena l'IA è stata avviata, è uscita dal codice Python del programma maze.

Una volta completato il codice, l'intelligenza artificiale fornisce anche una spiegazione dettagliata.

Successivamente, se vogliamo personalizzare il programma, l'assistente al codice AI ci fornisce i suggerimenti di codice corrispondenti, regolando la larghezza e l'altezza.

Risultati della valutazione

Per valutare le prestazioni di Llama3.1, Meta non solo ha incluso nel test 150 set di dati di benchmark che coprivano più lingue, ma li ha anche confrontati con scenari reali.

In una varietà di compiti, 405B può competere con i principali modelli closed source come GPT-4, GPT-4o e Claude 3.5 Sonnet.

I modelli piccoli 8B e 70B hanno ottenuto buoni risultati anche nei modelli closed source e open source con quantità di parametri simili.

Oltre ai compiti con contesto lungo, i modelli 8B e 70B hanno raggiunto il SOTA in compiti generali, codifica, matematica, ragionamento, uso di strumenti e più lingue.

Nella valutazione umana, il modello Llama 3.1 405B è alla pari con GPT-4, ma leggermente peggiore di GPT-4o.

Tuttavia, rispetto al Claude 3.5 Sonnet, il modello grande 405B è in vantaggio, con una percentuale di vincita del 24,9%.

Inoltre, nella classifica di Scale, la versione ottimizzata di Llama 3.1 405B ha schiacciato Claude 3.5 Sonnet e GPT-4o nelle istruzioni successive alla valutazione.

Nei compiti di matematica, 405B si è classificato secondo dietro Claude 3.5 Sonnet. Tuttavia, Llama 3.1 ha ottenuto punteggi relativamente bassi nelle attività di codifica.

92 pagine di relazione tecnica ultra dettagliata

Nessuno può rendere open source così completo come Meta. Oggi viene rilasciata anche la relazione tecnica lunga 92 pagine.

Indirizzo del documento: https://ai.meta.com/research/publications/the-llama-3-herd-of-models/

Il documento propone che Llama 3.1, un modello base di alta qualità, abbia tre leve chiave: gestione dei dati, della scala e della complessità.

In termini di dati, rispetto alla generazione precedente, la quantità totale e la qualità dei dati in Llama 3.1 sono state migliorate, ad esempio con pipeline di preelaborazione e gestione più attente per i dati pre-addestramento e metodi di garanzia della qualità e filtraggio più rigorosi per post-addestramento. dati.

Llama 2 è stato pre-addestrato solo su dati di token da 1,8 T, mentre il corpus di pre-addestramento multilingue di Llama 3.1 ha raggiunto token da 15,6 T, con un aumento di oltre 8 volte.

In termini di scala, l'addestramento di Llama 3.1 utilizza più di 16.000 GPU NVIDIA H100 e l'importo totale del calcolo raggiunge 3,8e25 FLOPS, ovvero quasi 50 volte quello di Llama 2.

Al fine di meglio realizzare lo "scale up", il documento propone specificamente l'aspetto della "gestione della complessità". Quando si selezionano l'architettura del modello e gli algoritmi, è necessario prestare maggiore attenzione alla loro stabilità e scalabilità.

Vale la pena notare che Llama 3.1 non utilizza l'architettura MoE più popolare, ma una densa architettura Transformer di soli decoder. Solo l'architettura Transformer originale è stata modificata e adattata per massimizzare la stabilità dell'addestramento.

Pratiche simili includono l’utilizzo di semplici processi post-formazione come SFT, RS e DPO invece di algoritmi di apprendimento per rinforzo più complessi.

Similmente a molti modelli di grandi dimensioni, lo sviluppo di Llama 3 prevede principalmente due fasi: pre-allenamento e post-allenamento.

Durante il pre-addestramento, anche la "previsione del token successivo" viene utilizzata come obiettivo dell'addestramento. Innanzitutto, la finestra di contesto viene impostata su 8K, quindi espansa a 128K durante la fase di pre-addestramento.

La fase di post-addestramento migliora il modello attraverso molteplici cicli di feedback umano iterativo, migliorando significativamente le prestazioni di codifica e inferenza e integrando le capacità di utilizzo degli strumenti.

Inoltre, il documento tenta anche di utilizzare tre fasi aggiuntive per aggiungere funzioni multimodali come immagini, video e voci a Llama 3.1:

- Pre-addestramento del codificatore multimodale: i codificatori di immagini e parlato vengono addestrati separatamente. I dati di pre-addestramento per i primi sono coppie immagine-testo, mentre il secondo utilizza un metodo auto-supervisionato per provare a ricostruire le parti mascherate del. parte del discorso attraverso gettoni discretizzati.

- Adattatore di visione: consiste in una serie di livelli di attenzione incrociata che inseriscono le rappresentazioni dai codificatori di immagini in modelli linguistici pre-addestrati. Sulla base delle immagini, l'articolo ha anche provato ad addestrare un adattatore video su coppie video-testo.

- Adattatore vocale: collega codificatori vocali e modelli linguistici e integra anche sistemi di "sintesi vocale".

Sfortunatamente, le funzionalità multimodali sopra menzionate sono ancora in fase di sviluppo e pertanto non sono incluse nella nuova versione Llama 3.1.

Architettura del modello

Llama 3.1 utilizza ancora il denso Transformer standard e non vi è alcuna differenza significativa nell'architettura rispetto a Llama e Llama 2. Il miglioramento delle prestazioni deriva principalmente dal miglioramento della qualità, della diversità e dell'espansione della scala dei dati di training.

Rispetto a Llama 3, l'architettura di Llama 3.1 presenta i seguenti miglioramenti:

- Grouped Query Attention (GQA): con 8 intestazioni chiave-valore, migliora la velocità di inferenza e riduce la cache KV durante la decodifica

- Maschera di attenzione: impedisce l'autoattenzione tra diversi documenti nella stessa sequenza.Questa tecnica ha un'efficacia limitata nel pre-allenamento standard, ma è molto importante quando si continua il pre-allenamento su sequenze molto lunghe.

- Vocabolario di token da 128.000: inclusi 100.000 in tiktoken e altri 28.000 per supportare meglio le lingue diverse dall'inglese.Rapporto di compressione migliorato sia per l'inglese che per i non inglesi rispetto a Llama 2

- Imposta l'iperparametro θ di RoPE su 500.000: migliore supporto per contesti lunghi

Gli iperparametri chiave del modello sono mostrati nella Tabella 3. In base alla quantità di dati e alla potenza di calcolo dell'addestramento, la dimensione del modello ha raggiunto l'ottimizzazione della potenza di calcolo rivelata dalla Legge di Scaling.

Efficienza parallela

Addestrare un modello 405B su 16.000 GPU è già un grosso progetto considerando solo il parallelismo e la gestione degli errori.

Oltre al modello stesso, il documento spiega anche lo schema di parallelizzazione utilizzato nel processo di formazione, nonché lo storage, la rete e altre infrastrutture.

L'addestramento di Llama 3.1 utilizza il parallelismo 4D (tensore + pipeline + contesto + dati Con precisione BF16, l'utilizzo della GPU (MFU) è compreso tra il 38% e il 41%.

Anche la gestione degli errori del cluster di addestramento Llama 3.1 è molto buona, raggiungendo oltre il 90% del tempo di addestramento effettivo, ma ciò significa comunque che durante i 54 giorni totali di pre-allenamento si è verificata almeno un'interruzione ogni giorno.

Il documento elenca in dettaglio le cause di guasto di tutte le 419 interruzioni impreviste (Tabella 5), ​​il che ha un significato di riferimento molto importante per la futura costruzione di cluster GPU. Tra questi, i problemi confermati o sospettati di essere legati all'hardware rappresentavano il 78%.

Poiché il funzionamento e la manutenzione automatizzati del cluster sono relativamente completi, sebbene siano presenti numerosi errori, la maggior parte di essi può essere gestita automaticamente. Durante l'intero processo, solo tre guasti hanno richiesto un intervento manuale.

Migliorare le prestazioni di funzionalità specifiche

codice

Per migliorare la capacità di codifica del modello, Meta utilizza metodi come la formazione di esperti di codifica, la generazione di dati sintetici SFT, la guida di formati migliorati attraverso prompt di sistema e la creazione di filtri di qualità (rimozione di campioni errati dai dati di addestramento).

Conversione del codice Python (a sinistra) in codice PHP (a destra) utilizzando Llama 3 per aumentare il set di dati SFT con una gamma più ampia di linguaggi di programmazione

Migliorare la qualità del codice attraverso miglioramenti del sistema.Sinistra: nessun prompt di sistema Destra: è presente un prompt di sistema.

multilingue

Al fine di migliorare le capacità multilingue di Llama 3, Meta ha formato appositamente un esperto in grado di gestire più dati multilingue per ottenere e generare dati di messa a punto di istruzioni multilingue di alta qualità (come tedesco, francese, italiano, portoghese, hindi (inglese, spagnolo e tailandese) e affrontare le sfide specifiche dell'onboarding multilingue.

ragionamento matematico

I modelli di addestramento che sono bravi nel ragionamento matematico devono affrontare diverse sfide, come la mancanza di suggerimenti, la mancanza di CoT reale, passaggi intermedi errati, la necessità di insegnare al modello a utilizzare strumenti esterni, la differenza tra addestramento e inferenza, ecc.

A tal fine, Meta adotta i seguenti metodi: risolvere il problema dei suggerimenti insufficienti, migliorare il processo di ragionamento graduale nei dati di addestramento, filtrare il processo di ragionamento sbagliato, combinare codice e ragionamento testuale e apprendere da feedback ed errori.

contesto lungo

Nella fase finale di pre-addestramento, Meta estende la lunghezza del contesto di Llama 3 da 8.000 token a 128.000.

In pratica, il team ha scoperto che se per SFT vengono utilizzati solo dati contestuali brevi, la capacità del contesto lungo del modello sarà notevolmente ridotta; e la lettura di contesti lunghi è molto noiosa e richiede tempo, quindi è poco pratico per gli esseri umani etichettarli esempi.

Pertanto, Meta ha scelto i dati sintetici per colmare questa lacuna.

Utilizzando una prima versione di Llama 3, hanno generato dati sintetici basati su casi d'uso chiave a lungo contesto: (più round) risposta a domande, riepilogo di documenti lunghi, inferenza di base di codice.

Utilizzo dello strumento

Meta ha addestrato Llama 3 a interagire con motori di ricerca, interpreti Python e motori di calcolo matematico.

Durante il processo di sviluppo, man mano che Llama 3 veniva gradualmente migliorato, Meta complicò gradualmente anche il protocollo di annotazione manuale. Inizia con l'annotazione dell'utilizzo dello strumento in un solo turno, passa all'utilizzo dello strumento nelle conversazioni e termina con l'annotazione dell'utilizzo dello strumento in più passaggi e l'analisi dei dati.

Llama 3 esegue la pianificazione in più fasi, il ragionamento e l'attivazione di strumenti per risolvere i compiti

Sulla base del file fornito, chiedi al modello di riepilogare il contenuto del file, trovare e correggere errori, ottimizzare il codice, eseguire l'analisi o la visualizzazione dei dati, ecc.

effettivo

Per il problema delle allucinazioni, una sfida riconosciuta di LLM, Meta adotta un approccio basato innanzitutto sull'allucinazione.

Il principio che seguono è che dopo l'addestramento il modello dovrebbe "sapere quello che sa" piuttosto che aggiungere conoscenza.

Manovrabilità

Per Llama 3, Meta migliora la sua manovrabilità attraverso suggerimenti di sistema con istruzioni in linguaggio naturale, in particolare per quanto riguarda la lunghezza della risposta, il formato, il tono e il personaggio/personalità.

"Sei un chatbot AI utile e allegro che funge da assistente alla pianificazione dei pasti per famiglie impegnate."

membro della squadra

Si può dire che il team di Llama 3 sia molto numeroso, con quasi 220 membri principali e 312 altri contributori.

Xiao Zha: L'intelligenza artificiale open source è il futuro

Come tutti sappiamo, Xiao Zha è sempre stato un fedele sostenitore dell'intelligenza artificiale open source.

Questa volta non si tratta semplicemente di rilasciare un modello nuovo e più potente, ma anche di promettere di portare in primo piano l’intelligenza artificiale open source.

Nel suo blog, Xiao Zha ha tratto lezioni direttamente dalla storia. In passato, le principali aziende tecnologiche hanno investito molto nello sviluppo di versioni Unix closed-source.

Il campo di battaglia di Unix è ferocemente combattuto, ma quello che avrà l'ultima risata è Linux open source.

Inizialmente Linux era il preferito dagli sviluppatori perché consentiva agli sviluppatori di modificare il codice a piacimento ed era più conveniente.

Ma col tempo, è diventato più avanzato, più sicuro e aveva più funzionalità supportate da un ecosistema più ampio rispetto a qualsiasi Unix chiuso.

Oggi Linux è lo standard di settore per il cloud computing e la maggior parte dei sistemi operativi per dispositivi mobili, e tutti ne traggono vantaggio.

Xiao Zha ritiene che anche la traiettoria di sviluppo dell'intelligenza artificiale sarà la stessa e punterà il dito contro il modello closed-source di "diverse società tecnologiche".

"Oggi, diverse aziende tecnologiche stanno sviluppando modelli chiusi, ma l'open source sta rapidamente colmando il divario."

L'audacia di Xiaozha nel nominarlo direttamente è naturalmente incoraggiata dalla sua forza. L'anno scorso, Llama 2 era ancora indietro rispetto al modello all'avanguardia della vecchia generazione.

Quest'anno Llama 3 può competere con altri modelli giganti in termini di prestazioni.

Llama 3.1 405B è il primo modello AI open source all'avanguardia Oltre a un rapporto costo/prestazioni significativamente migliore rispetto ai modelli chiusi, l'apertura del modello 405B lo rende la scelta migliore per la messa a punto e la distillazione di piccoli modelli.

Perché l’intelligenza artificiale open source è utile per gli sviluppatori?

Per gli sviluppatori, ci sono cinque vantaggi principali nel restare fedeli al modello open source:

Innanzitutto, i modelli open source consentono agli sviluppatori di addestrare, perfezionare e distillare liberamente i propri modelli.

Le esigenze di ogni sviluppatore sono diverse, con attività sul dispositivo e attività di classificazione che richiedono modelli di piccole dimensioni, mentre attività più complesse richiedono modelli di grandi dimensioni.

Sfruttando modelli open source all'avanguardia, gli sviluppatori possono continuare ad allenarsi con i propri dati, distillati nella dimensione ideale.

In secondo luogo, puoi evitare di essere limitato da un unico fornitore.

Gli sviluppatori non vogliono fare affidamento su un modello che non possono eseguire e controllare, e non vogliono che i fornitori cambino il modello, modifichino i termini di utilizzo o addirittura interrompano completamente il servizio.

Inoltre, l’open source consente di cambiare e implementare facilmente i modelli, creando un ampio ecosistema.

In terzo luogo, proteggere la sicurezza dei dati.

Gli sviluppatori devono garantire la sicurezza dei dati quando trattano dati sensibili, il che richiede che non possano inviarli a modelli closed source tramite API.

È noto che il software open source è generalmente più sicuro grazie a un processo di sviluppo più trasparente.

In quarto luogo, opera in modo efficiente e a costi inferiori.

Il costo di inferenza per gli sviluppatori che eseguono Llama 3.1 405B è solo la metà di quello di GPT-4o, sia che si tratti di attività di inferenza lato utente o offline.

In quinto luogo, nel lungo periodo l’open source diventerà uno standard a livello di settore.

In effetti, l’open source si sta evolvendo più velocemente dei modelli closed source e gli sviluppatori vogliono essere in grado di costruire i propri sistemi su architetture che presentino vantaggi a lungo termine.

Secondo Xiao Zha, il rilascio di Llama 3.1 diventerà un punto di svolta nel settore, rendendo l'open source sempre più inarrestabile.

Riferimenti:

https://ai.meta.com/blog/meta-llama-3-1/

https://llama.meta.com/

https://www.facebook.com/4/posts/10115716861061241/?rdid=VE0wPWaJDdF21j32