notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Testo |. Deng Yongyi e Zhou Xinyu

Redattore｜Su Jianxun

Il trono di GPT-4o non è ancora caldo, Xiao Zha ha guidato l'esercito open source e si è precipitato lì——

Come si diceva in precedenza, Meta ha rilasciato ufficialmente Llama 3.1 il 23 luglio, ora del Pacifico negli Stati Uniti. Questa è la serie di modelli di grandi dimensioni più utilizzata e con le migliori prestazioni oggi nel campo open source.

Per coincidenza, il giorno prima del suo rilascio, Llama 3.1 è stato "trapelato" nella comunità degli sviluppatori. Oltre alle informazioni sul modello, includeva anche un collegamento magnetico al modello 405B. Gli sviluppatori ci stavano già giocando con entusiasmo.

Anche le informazioni rilasciate ufficialmente su Llama 3.1 sono coerenti con le novità: ci sono tre dimensioni: 8B, 70B e 405B, e la lunghezza del contesto è stata aumentata a 128K.

Secondo i dati dei test benchmark forniti da Meta, il più popolare 405B (405 miliardi di parametri) è già paragonabile in termini di prestazioni a GPT-4 e Claude 3.5.

△Confronto con GPT-4 e Claude 3.5

Di fronte agli attuali modelli di punta di Yishui, Llama 3.1 non ha paura:

△Confronto con il modello closed source

△Confronto con il modello open source

Si può dire che il rilascio di Llama 3.1 abbia scritto una pietra miliare nella recente feroce battaglia tra i percorsi open source e closed source: i migliori modelli open source hanno davvero unito le forze con i migliori modelli closed source.

"Finora, i modelli linguistici open source su larga scala sono rimasti per lo più indietro rispetto ai modelli chiusi in termini di funzionalità e prestazioni. Ora stiamo inaugurando una nuova era guidata dall'open source", ha affermato Meta.

△Un'immagine diventata recentemente popolare nel circolo dell'intelligenza artificiale: il modello open source raggiunge il modello closed source

Meta ha anche allegato un documento di 92 pagine al suo comunicato ufficiale, rivelando i dettagli della formazione:

Llama 3.1 è stato addestrato su dati di oltre 15 trilioni di token, utilizzando 16.000 blocchi H100. I dati pre-formazione utilizzati risalgono a dicembre 2023. Per garantire la stabilità dell'addestramento, per la regolazione viene utilizzata solo l'architettura del modello Transformer, invece dell'architettura attualmente popolare Mixed Expert Model (MoE).

Ciò porta anche al fatto che Llama 3.1 può mantenere un output di alta qualità di finestre di contesto brevi anche se viene espanso alla lunghezza del contesto di 128K. Non è più "testo lungo speciale", ma "lungo e breve liberamente".

Al momento non esiste al mondo un modello open source così grande che abbia raggiunto una tale portata di formazione.

Per maggiori dettagli, lo abbiamo anche introdotto in dettaglio nel push di poche ore fa, non entrerò nei dettagli qui, fai clic qui.

Nel 2024, man mano che la portata della formazione dei modelli diventa sempre più ampia, anche gli sviluppatori si chiedono: le grandi aziende che hanno pagato enormi costi di formazione continueranno ad adottare l’open source?

Dopotutto, OpenAI è una lezione appresa dal passato: all'inizio aderiva allo spirito dell'open source, ma da quando GPT3.5 è diventato popolare e commercializzato, OpenAI non è più open source e viene ridicolizzato come Closed AI.

Ma nel momento in cui è stato rilasciato Llama 3.1, Zuckerberg ha sottolineato ancora:

Realizzare l'open source fino alla fine!

Oltre a rilasciare il modello, Xiao Zha ha anche pubblicato un manifesto open source ponderato e idealistico, spiegando perché Meta dovrebbe essere open source e perché l'open source è vantaggioso per gli sviluppatori.

Vale la pena notare che, nonostante gli Stati Uniti e la Cina si trovino ad affrontare una feroce concorrenza nel campo dell’intelligenza artificiale, la scelta della strada open source presenta ancora più vantaggi che svantaggi.

Ok, Llama 3.1 è già così e dobbiamo porci di nuovo la domanda: quando arriveranno OpenAI e GPT-5?

Quella che segue è la lettera aperta di Zuckerberg, compilata da “Intelligent Emergence”:

"L'intelligenza artificiale open source è la strada da seguire"

Agli albori del calcolo ad alte prestazioni, le principali aziende tecnologiche dell'epoca investivano molto nello sviluppo delle proprie versioni closed-source di Unix. All’epoca era difficile immaginare un altro modo per sviluppare un software così avanzato.

Tuttavia, Linux open source alla fine ha preso piede, inizialmente perché consentiva agli sviluppatori di modificare il proprio codice come volevano ed era più economico; col tempo è diventato più avanzato, più sicuro e ha un ecosistema più ampio di qualsiasi Unix closed source, supportando più funzionalità . Oggi Linux rappresenta la base standard del settore per il cloud computing e il sistema operativo che esegue la maggior parte dei dispositivi mobili e tutti traiamo vantaggio dalla sua eccellenza.

Credo che l’intelligenza artificiale si svilupperà in modo simile. Oggi diverse aziende tecnologiche stanno sviluppando modelli leader a codice chiuso. Ma l’open source sta rapidamente colmando questa lacuna. L'anno scorso, il Llama 2 era paragonabile solo ai modelli della vecchia generazione, rimasti indietro rispetto all'avanguardia. Quest'anno il Llama 3 compete con i modelli più avanzati e primeggia in alcuni settori. A partire dal prossimo anno, ci aspettiamo che il futuro Llama diventi il ​​più avanzato del settore. Ma prima ancora, Llama era già all’avanguardia nell’open source, nella modificabilità e nell’efficienza dei costi.

Oggi stiamo facendo il passo successivo per rendere l’intelligenza artificiale open source lo standard del settore. Rilasceremo Llama 3.1 405B, il primo modello AI open source leader del settore, oltre ai modelli nuovi e migliorati Llama 3.1 70B e 8B. Oltre ad avere un miglior rapporto costo/prestazioni rispetto ai modelli closed source, il fatto che il modello 405B sia open source lo renderà la scelta migliore per la messa a punto e l'estrazione di modelli più piccoli.

Oltre a rilasciare questi modelli, stiamo anche lavorando con una serie di aziende per far crescere l’ecosistema più ampio. Amazon, Databricks e Nvidia stanno lanciando una suite completa di servizi per consentire agli sviluppatori di mettere a punto e perfezionare i propri modelli. Aziende innovative come Groq (una startup di chip AI) hanno creato servizi di inferenza a bassa latenza e a basso costo per tutti i nuovi modelli.

Questi modelli saranno disponibili su tutti i principali cloud, inclusi AWS, Azure, Google, Oracle e altri. Scale.AI, Dell, Deloitte e altri sono pronti ad aiutare le aziende a implementare Llama e ad addestrare modelli personalizzati utilizzando i propri dati. Man mano che la comunità cresce e sempre più aziende sviluppano nuovi servizi, insieme possiamo rendere Llama uno standard di settore e portare i vantaggi dell’intelligenza artificiale a tutti.

Meta è impegnata nell'intelligenza artificiale open source. Descriverò perché penso che l'open source sia il miglior stack di sviluppo per le persone, perché Llama open source è positivo per Meta, perché l'intelligenza artificiale open source è positiva per il mondo e, per questo motivo, la comunità open source è qui per restare.

Perché l'intelligenza artificiale open source è utile per gli sviluppatori

Quando parlo con sviluppatori, amministratori delegati e funzionari governativi di tutto il mondo, in genere sento alcuni temi:

Dobbiamo formare, mettere a punto e perfezionare i nostri modelli.

Ogni organizzazione ha esigenze diverse che vengono soddisfatte al meglio da modelli di diverse dimensioni addestrati o ottimizzati utilizzando dati specifici. Le attività sul dispositivo e le attività di classificazione richiedono modelli più piccoli, mentre le attività più complesse richiedono modelli più grandi.

Ora sarai in grado di prendere modelli di lama all'avanguardia, continuare ad addestrarli utilizzando i tuoi dati e poi perfezionarli nel tuo modello di dimensioni ottimali, senza che noi o nessun altro veda i tuoi dati.

Dobbiamo controllare il nostro destino e non essere legati a un fornitore closed source.

Molte organizzazioni non vogliono fare affidamento su un modello che non possono gestire e controllare. Non vogliono che i fornitori di modelli closed source siano in grado di modificare i propri modelli, modificare i propri termini di utilizzo o addirittura interrompere completamente la loro fornitura. Inoltre, non vogliono essere bloccati in un unico cloud che ha diritti esclusivi su un determinato modello. L'open source fornisce toolchain compatibili per molti ecosistemi aziendali e puoi passare facilmente dall'uno all'altro.

Dobbiamo proteggere i nostri dati.

Molte organizzazioni gestiscono dati sensibili che devono essere protetti e non possono essere trasferiti tramite API cloud a un modello closed source. Altre organizzazioni semplicemente non si fidano dei fornitori di modelli closed source per quanto riguarda i propri dati. L'open source risolve questi problemi consentendoti di eseguire il modello ovunque tu voglia. È ampiamente riconosciuto che il software open source è più sicuro perché sviluppato in modo più trasparente.

Abbiamo bisogno di un modello operativo efficiente e conveniente.

Gli sviluppatori possono eseguire l'inferenza su Llama 3.1 405B sulla propria infrastruttura a circa il 50% del costo dell'utilizzo di modelli closed source come GPT-4o per attività di inferenza offline e rivolte all'utente.

Puntiamo su un ecosistema che possa diventare lo standard a lungo termine.

Molte persone vedono l'open source muoversi più velocemente dei modelli closed source e desiderano che l'architettura in cui sono costruiti i loro sistemi offra loro il massimo vantaggio a lungo termine.

Perché l'intelligenza artificiale open source è utile per Meta

Il modello di business di Meta è costruire le migliori esperienze e servizi per le persone. Per fare ciò, dobbiamo garantire di avere sempre accesso alla migliore tecnologia, piuttosto che rimanere bloccati nell’ecosistema closed-source di un concorrente che limita ciò che possiamo costruire.

Una delle mie esperienze formative è stata che i nostri servizi erano limitati da ciò che Apple ci permetteva di costruire sulla loro piattaforma. Dal modo in cui tassano gli sviluppatori, dalle regole arbitrarie che applicano e da tutta l'innovazione di prodotto che impediscono di essere rilasciati, è chiaro che se possiamo costruire le migliori versioni dei nostri prodotti e i concorrenti non possono limitare ciò che possiamo costruire, allora Meta e molte altre aziende saranno libere di costruire servizi migliori per le persone. A livello filosofico, questo è il motivo principale per cui credo così fortemente nella costruzione di un ecosistema open source per la prossima generazione di computing in AI e AR/VR.

Le persone spesso mi chiedono se sono preoccupato che l'open source Llama rinunci ai vantaggi tecnici, ma penso che questo ignori alcune ragioni importanti:

Innanzitutto, per garantire l’accesso alla migliore tecnologia e non rimanere bloccati in un ecosistema closed-source per lunghi periodi di tempo, Llama deve evolversi in un ecosistema completo che comprenda strumenti, miglioramenti dell’efficienza, ottimizzazione del silicio e altre integrazioni. Se fossimo l'unica azienda a utilizzare Llama, l'ecosistema non crescerebbe e non saremmo migliori delle varianti Unix closed-source.

In secondo luogo, mi aspetto che la concorrenza si intensificherà con lo sviluppo dell’intelligenza, il che significa che a quel punto, rendendo open source qualsiasi modello particolare, le persone non rinunceranno al modello successivo che presenta un vantaggio maggiore. Il percorso di Llama per diventare uno standard del settore passa attraverso un modello di concorrenza coerente, efficienza e open source generazione dopo generazione.

In terzo luogo, una differenza fondamentale tra Meta e i fornitori di modelli closed source è che la vendita dell’accesso ai modelli AI non è il nostro modello di business. Ciò significa che il rilascio pubblico di Llama non pregiudica le nostre entrate, la sostenibilità o la capacità di investire nella ricerca, come avviene con i fornitori closed-source. (Questo è uno dei motivi per cui diversi fornitori di codice chiuso hanno esercitato pressioni sui governi contro l’open source.)

Infine, Meta ha una lunga storia e successi nei progetti open source. Abbiamo risparmiato miliardi di dollari rilasciando i nostri progetti di server, rete e data center attraverso l'Open Source Compute Project e standardizzando la nostra catena di fornitura sui nostri progetti. Beneficiamo dell'innovazione dell'ecosistema e di strumenti leader open source come PyTorch, React e molti altri. Questo approccio ha sempre funzionato per noi quando lo abbiamo mantenuto a lungo termine.

Perché l’intelligenza artificiale open source fa bene al mondo

Credo che l’open source sia necessario per un futuro positivo dell’IA. L’intelligenza artificiale ha un potenziale maggiore di qualsiasi altra tecnologia moderna per aumentare la produttività umana, la creatività e la qualità della vita e per far avanzare la ricerca medica e scientifica accelerando al tempo stesso la crescita economica.

L’open source garantirà che più persone in tutto il mondo abbiano accesso ai vantaggi e alle opportunità dell’intelligenza artificiale, che il potere non sia concentrato nelle mani di poche aziende e che la tecnologia possa essere distribuita in modo più uniforme e sicuro nella società.

È in corso un dibattito sulla sicurezza dei modelli di intelligenza artificiale open source e la mia opinione è che l’intelligenza artificiale open source sarà più sicura delle alternative. Penso che i governi concluderanno che è nel loro interesse sostenere l'open source perché renderà il mondo più prospero e sicuro.

La mia comprensione della sicurezza è che dobbiamo proteggerci da due tipi di danni: danni non intenzionali e danni intenzionali. Il danno involontario si verifica quando un sistema di intelligenza artificiale può causare danni anche se la persona che lo gestisce non aveva intenzione di farlo.

Ad esempio, i moderni modelli di intelligenza artificiale potrebbero inavvertitamente fornire scarsi consigli sulla salute. Oppure, in uno scenario più futuristico, alcuni temono che i modelli possano inavvertitamente replicarsi o ottimizzare eccessivamente gli obiettivi a scapito degli esseri umani. Il danno intenzionale si verifica quando un malintenzionato utilizza un modello di intelligenza artificiale con l'obiettivo di causare danni.

Vale la pena notare che i danni involontari coprono la maggior parte delle preoccupazioni che le persone hanno riguardo all’intelligenza artificiale, dall’impatto che i sistemi di intelligenza artificiale avranno sui miliardi di persone che li utilizzeranno agli scenari fantascientifici più catastrofici per l’umanità. A questo proposito, l’open source dovrebbe essere molto più sicuro perché il sistema è più trasparente e può essere ampiamente ispezionato.

Storicamente, per questo motivo, il software open source è stato più sicuro. Allo stesso modo, l’utilizzo di Llama e dei suoi sistemi di sicurezza come Llama Guard potrebbe essere più sicuro di un modello closed-source. Di conseguenza, la maggior parte delle discussioni sulla sicurezza dell’IA open source si concentra sul danno intenzionale.

Il nostro processo di sicurezza prevede test rigorosi e team rossi per valutare se i nostri modelli sono in grado di causare danni significativi, con l'obiettivo di mitigare il rischio prima del rilascio. Poiché il modello è open source, chiunque può testarlo da solo.

Dobbiamo ricordare che questi modelli sono addestrati su informazioni già disponibili su Internet, quindi quando consideriamo il danno il nostro punto di partenza dovrebbe essere se un modello è più veloce delle informazioni che possono essere recuperate da Google o da altri risultati di ricerca Più probabilità di causare danni.

Quando si ragiona sul danno intenzionale, è utile distinguere tra ciò che potrebbe fare un individuo o un attore su piccola scala e ciò che potrebbe fare un attore su larga scala come uno stato-nazione con vaste risorse.

Ad un certo punto del futuro, singoli soggetti malintenzionati potrebbero sfruttare l’intelligenza dei modelli di intelligenza artificiale per creare tipologie di danno completamente nuove a partire dalle informazioni disponibili su Internet. A questo punto, l’equilibrio di potere sarà fondamentale per la sicurezza dell’IA.

Penso che sarebbe meglio vivere in un mondo in cui l’intelligenza artificiale è ampiamente utilizzata in modo che i grandi attori possano controbilanciare il potere dei cattivi più piccoli. Questo è il modo in cui gestiamo la sicurezza sui social network: i nostri sistemi di intelligenza artificiale più potenti identificano e bloccano le minacce provenienti da aggressori meno sofisticati che spesso utilizzano sistemi di intelligenza artificiale più piccoli.

Più in generale, le grandi istituzioni che implementano l’intelligenza artificiale su larga scala contribuiranno alla sicurezza e alla stabilità della società nel suo insieme. Finché tutti avranno accesso a modelli simili – cosa che l’open source facilita – allora i governi e le agenzie con più risorse informatiche saranno in grado di controllare i cattivi attori con meno calcoli.

La domanda successiva è come gli Stati Uniti e le democrazie dovrebbero rispondere alle minacce provenienti da paesi dotati di vaste risorse come la Cina. Il vantaggio degli Stati Uniti risiede nella decentralizzazione e nell’innovazione open source.

Alcuni credono che dobbiamo bloccare i nostri modelli per impedire alla Cina di ottenerli, ma il mio punto è che questo non funzionerà e metterà solo in svantaggio gli Stati Uniti e i suoi alleati. I nostri avversari sono molto bravi nello spionaggio. Rubare modelli su una chiavetta USB è relativamente facile e il modo in cui opera la maggior parte delle aziende tecnologiche non lo rende molto più difficile.

Un mondo di soli modelli closed-source sembra molto probabilmente portare a che una manciata di grandi aziende più i nostri avversari geopolitici abbiano accesso a modelli leader, mentre start-up, università e piccole imprese perdono l’occasione.

Inoltre, limitare l’innovazione statunitense allo sviluppo closed-source aumenta la probabilità che semplicemente non saremo all’avanguardia. Penso invece che la nostra migliore strategia sia quella di costruire un forte ecosistema open source e far sì che le nostre aziende leader lavorino a stretto contatto con i nostri governi e alleati per garantire che possano sfruttare al meglio gli ultimi progressi ed essere sostenibili nel lungo termine.

Mentre consideri le opportunità future, ricorda che la maggior parte delle aziende tecnologiche e della ricerca scientifica leader di oggi si basano su software open source. Se investiamo insieme, la prossima generazione di aziende e di ricerca utilizzerà l’intelligenza artificiale open source. Ciò include le startup alle prime armi, così come le persone nelle università e nei paesi che potrebbero non avere le risorse per sviluppare da zero la propria intelligenza artificiale all’avanguardia.

Ancora più importante, l’intelligenza artificiale open source rappresenta la migliore opportunità al mondo per sfruttare questa tecnologia per creare le maggiori opportunità economiche e sicurezza per tutti.

costruiamo insieme

Per i modelli Llama precedenti, Meta li ha sviluppati per sé e poi li ha rilasciati senza concentrarsi troppo sulla costruzione di un ecosistema più ampio.

Stiamo adottando un approccio diverso con questo lancio. Stiamo costruendo team internamente per rendere Llama disponibile al maggior numero possibile di sviluppatori e partner, e stiamo anche costruendo attivamente partnership in modo che anche più aziende nell'ecosistema possano offrire funzionalità uniche ai propri clienti.

Credo che il rilascio di Llama 3.1 rappresenterà un punto di svolta nel settore, con la maggior parte degli sviluppatori che inizieranno a utilizzare principalmente l'open source e spero che questo approccio non potrà che crescere da qui. Spero che ti unirai a noi nel nostro viaggio per portare i vantaggi dell’intelligenza artificiale a tutti nel mondo.

Il collegamento per ottenere Llama 3.1 è: https://llama.meta.com/

MZ (Mark Zuckerberg)

Benvenuti a comunicare

Benvenuti a comunicare