notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

cose intelligenti
Compilato da Chen Junda
Modifica Panken

Secondo quanto riportato dai media stranieri, a causa dei prezzi elevati dei cluster di potenza di calcolo dell’intelligenza artificiale e della corsa agli ordini da parte delle grandi imprese, molte università americane si trovano ad affrontare una grave carenza di potenza di calcolo, che ha portato a un ritardo nella ricerca sull’intelligenza artificiale nelle università e nel mondo. carenza di talenti nella ricerca sull’intelligenza artificiale.

La carenza di potenza di calcolo nelle università esiste da molto tempo e anche le università e i leader accademici più importanti sono preoccupati da questo problema. Nel maggio di quest’anno, il professore dell’Università di Stanford Li Feifei ha affermato che la comunità accademica si trova ad affrontare una grave carenza di risorse informatiche basate sull’intelligenza artificiale.Il laboratorio di PNL della Stanford University ha solo 64 GPU (NVIDIA A100). Il vincitore del Turing Award, Geoffery Hinton, ha detto senza mezzi termini quando gli studenti hanno chiesto aiuto: "Non so cos’altro fare riguardo a questo problema se non chiedere al governo.”

In netto contrasto, ci si aspetta che lo faccia la società madre di Facebook, MetaHa un enorme cluster di potenza di calcolo equivalente a 600.000 NVIDIA H100, che è quasi 10.000 volte quello del cluster del Laboratorio NLP di Stanford.

Ma le 64 GPU del Laboratorio NLP dell’Università di Stanford sono già una fantasia per molti studenti di altre università. Infatti, ad eccezione di alcune università prestigiose come l’Università di Princeton e l’Università RWTH Aachen in Germania,Molte università non hanno nemmeno una GPU Nvidia A100.。

In una discussione correlata sul forum Reddit, alcuni dottorandi di università nordamericane hanno riferito che le piccole università possono ottenere solo la GPU V100 rilasciata da Nvidia molti anni fa.La situazione nelle università in Europa e in Asia è ancora più grave solo per molte universitàUtilizzo delle schede grafiche di livello consumer di Nvidia per la ricerca sull'intelligenza artificiale . Anche così, la potenza di calcolo è estremamente scarsa e alcuni studenti devono acquistare schede grafiche a proprie spese o richiedere sussidi per la potenza di calcolo da NVIDIA, Amazon Cloud Service (AWS), ecc.

Molte università stanno anche lavorando duramente per cambiare lo status quo, ad esempio creando cluster informatici condivisi attraverso la cooperazione tra scuole o rivolgendosi ad altre direzioni di ricerca sull’intelligenza artificiale che richiedono una potenza di calcolo inferiore.

1. Carenza di potenza informatica e fuga di cervelli Quanto è grave la carenza di GPU nelle università?

In effetti, per molto tempo in passato, le università sono state in prima linea nella ricerca sull’intelligenza artificiale.Molti sviluppi rivoluzionari sono stati fatti dai ricercatori nelle università.Ad esempio, nel 2015, Jascha Sohl-Dickstein, ricercatore presso l'Università di Stanford, ha inventato il primo modello di diffusione al mondo, che è diventato la base per molti successivi modelli di generazione di immagini e video.

Mentre la ricerca di base nelle università è fondamentale per l’ondata di innovazione tecnologica, la recente ricerca sull’intelligenza artificiale generativa è stata dominata dalle aziende private. Ciò è dovuto principalmente al fatto che hanno accesso alla potenza di calcolo e ai dati necessari per creare e addestrare modelli di grandi dimensioni come ChatGPT e Gemini.

La ricerca sull’intelligenza artificiale generativa è costosa. Il CEO di OpenAI Sam Altman ha stimato che l'addestramento di GPT-4 costerebbe circa 100 milioni di dollari. Il CEO di Meta Mark Zuckerberg ha annunciato all'inizio del 2024 l'intenzione di acquistare 350.000 GPU NVIDIA H100 per espandere la potenza di calcolo di Meta a un livello equivalente a 600.000 GPU NVIDIA H100. Calcolato in base al prezzo di vendita di H100 di quasi 40.000 dollari USA,Si tratterà di un grosso ordine di decine di miliardi di dollari.

Attualmente, nessuna università al mondo può permettersi questo livello di infrastruttura di potenza di calcolo basata sull’intelligenza artificiale. Essendo una forte scuola di informatica, l'Università di Princeton ha uno dei più grandi cluster di potenza di calcolo IA tra le università americane.Ma questo cluster ha solo 300 GPU NVIDIA H100, che è stato introdotto ufficialmente solo nel marzo di quest'anno.

Sanjeev Arora, direttore del Centro per il linguaggio e l'intelligenza dell'Università di Princeton, ha detto di questo problema: "Se non disponi di potenza di calcolo, non puoi condurre ricerche su larga scala e non sei nemmeno qualificato per partecipare alla conversazione.”。

In una discussione correlata sul forum Reddit, uno studente di dottorato di uno dei 5 migliori laboratori di machine learning negli Stati Uniti ha affermato che finora non hanno nemmeno un NVIDIA H100.

▲Domande degli studenti di dottorato dei 5 principali laboratori di machine learning negli Stati Uniti (Fonte: Reddit)

Uno studente di dottorato asiatico si è trovato di fronte allo stesso dilemma. La maggior parte delle GPU che utilizza sono di livello consumer e ce ne sono solo una o due invece dei cluster. Fino a poco tempo fa la sua scuola aveva un server con otto H100 e aveva solo un accesso limitato. Il dottorando ha detto:Nelle due settimane in cui ha avuto la fortuna di utilizzare la GPU H100 per l'allenamento, ha ottenuto più dati di quanti ne avesse raccolti nei sei mesi precedenti.

▲Uno studente impegnato nella ricerca sui CV in Asia ha ricordato una serie di GPU che aveva utilizzato (Fonte: Reddit)

Un altro studente ha condiviso che la sua scuola non era in grado di fornire alcun supporto per la potenza di calcolo. Può ottenere solo 1.000 dollari in potenza di cloud computing AWS tramite la sua società di tirocinio.Se utilizzi queste quote per eseguire un cluster H100 da 8 blocchi, puoi utilizzarlo solo per 1 giorno. , questo livello di potenza di calcolo semplicemente non può produrre ricerca di alta qualità. Ha anche affermato che questa è la norma per la ricerca sull’intelligenza artificiale nei paesi del terzo mondo.

▲Uno studente del master ha condiviso la sua esperienza nell'ottenimento di crediti di calcolo tramite un'azienda di tirocinio (Fonte: Reddit)

Anche le risorse di potenza di calcolo delle università europee non sono ottimistiche. Uno studente che studia in Germania ha detto di essere molto fortunato perché la sua scuola può fornire anche 16 GPU A100 e dozzine di altri modelli di GPU.In Europa, molte università e laboratori di ricerca sostanzialmente non forniscono supporto per la potenza di calcolo.

▲Uno studente europeo è grato per le risorse informatiche di cui dispone (Fonte: Reddit)

Un altro studente dell'Università RWTH di Aquisgrana in Germania ha condiviso che la sua scuola ha più di 200 GPU NVIDIA H100, cosa che ha attirato l'invidia di molti netizen. Tuttavia, queste risorse sono condivise da tutti i college e anche con istituzioni esterne. Se sono necessari tempi di calcolo più lunghi, è necessaria un'applicazione speciale.

▲Gli studenti dell'Università RWTH Aachen in Germania hanno condiviso la potenza di calcolo della scuola (Fonte: Reddit)

Gli operatori del settore sono sorpresi dalla carenza di GPU nei college e nelle università. Un insider del settore ha affermato che lavora per un importante fornitore di cloud computing.Contatto quotidiano con GPU H100 , sviluppare e riparare il software per esso. Un'altra fonte del settore ha affermato che le GPU all'avanguardia e molto richieste come l'H100 sono spesso pesantemente preordinate dai clienti delle grandi aziende prima di essere aggiunte ai data center, quindi l'H100 è "raro" per la maggior parte dei ricercatori.

▲Gli operatori del settore sono sorpresi dalla carenza di GPU nei college e nelle università (Fonte: Reddit)

In caso di risorse informatiche insufficienti, la formazione a lungo termine è estremamente lussuosa. I cluster di potenza di calcolo dell’intelligenza artificiale nelle università spesso devono essere applicati con giorni o addirittura settimane di anticipo. Anche se vengono utilizzati, il tempo di utilizzo è limitato. Molte attività di formazione più ampie sono difficili da completare in un singolo ciclo di utilizzo e i ricercatori devono inoltre dedicare ulteriori sforzi alla creazione di checkpoint e codice di ripristino.

La carenza di risorse informatiche ha portato anche al problema della fuga dei cervelli nei college e nelle università. , gli studenti interessati a fare ricerca sull'intelligenza artificiale generativa si sono rivolti alle grandi aziende. Poiché le grandi aziende tecnologiche generalmente hanno una potenza di calcolo centinaia o migliaia di volte maggiore rispetto alle università, ciò è estremamente interessante per i talenti dell’intelligenza artificiale.

2. Stabilire alleanze per il potere informatico e cambiare le direzioni della ricerca. Le università non sono né disposte né in grado di restare indietro.

Di fronte alla crisi dovuta al ritardo nella ricerca sull’intelligenza artificiale e alla perdita di talenti nel campo dell’intelligenza artificiale, molte università stanno cercando di ottenere ulteriore potenza di calcolo e spostando il proprio focus di ricerca su campi di ricerca sull’intelligenza artificiale non ad alta intensità di calcolo.

"Le istituzioni accademiche stanno lottando per ottenere potenza di calcolo", ha affermato Hod Lipson, presidente del Dipartimento di ingegneria meccanica della Columbia University. Ha anche sottolineato che, sebbene la partecipazione dell'industria e del governo alla ricerca sull'intelligenza artificiale sia importante,Ma per bilanciare queste due forze, anche gli accademici, gli sviluppatori open source e altri dovrebbero avere voce in capitolo nello sviluppo di questa tecnologia.

Per alleviare la carenza di potenza di calcolo nei college e nelle università, molti college e università hanno coinvolto il governo nel processo di costruzione di cluster di potenza di calcolo. All’inizio del 2024, sette università e istituti di ricerca, tra cui la Columbia University, la Cornell University, la New York University e il Rensselaer Polytechnic Institute, hanno unito le forze con il governo e gli enti di beneficenza dello Stato di New York per creare un’alleanza per la potenza di calcolo chiamata Empire AI.

▲Membri dell'alleanza di Empire AI (Fonte: sito web ufficiale di Empire AI)

Questa alleanza per la potenza di calcolo ha raccolto finanziamenti per quasi 400 milioni di dollari. Di questi, 275 milioni di dollari provengono dal governo, mentre i fondi rimanenti provengono dalle sette università e istituti di ricerca che partecipano all'alleanza. Utilizzeranno i fondi per costruire un centro informatico avanzato basato sull’intelligenza artificiale e i membri dell’alleanza potranno condividere queste risorse informatiche, condividendo allo stesso tempo efficacemente i costi di mantenimento.

Parlando della logica alla base della creazione di questa alleanza, l’Ufficio del Governatore dello Stato di New York ha dichiarato:Attualmente, le risorse informatiche legate all’intelligenza artificiale sono sempre più concentrate nelle mani di grandi aziende tecnologiche, che hanno un enorme controllo sull’ecosistema di sviluppo dell’intelligenza artificiale.Di conseguenza, ricercatori, organizzazioni no-profit e piccole imprese vengono lasciate indietro,Ciò ha un enorme impatto sulla sicurezza dell’IA e sulla società nel suo insieme.

Anche il mondo accademico e l’industria stanno collaborando attivamente, cosa già comune negli hub tecnologici statunitensi come Silicon Valley, Seattle e Austin. Dan Grossman, preside associato della Scuola di Informatica e Ingegneria dell'Università di Washington, ha affermato che esistono programmi che consentono ai ricercatori accademici di lavorare anche nell'industria. Il personale accademico ha accesso a risorse migliori e le università possono trattenere questi talenti.

Esistono infatti molti importanti progetti di ricerca sull’IA che non richiedono un’elevata potenza di calcolo. , come la ricerca sulla spiegabilità dell'IA, la pianificazione dell'IA e la ricerca sulla capacità di ragionamento, ecc. Sotto i limiti della potenza di calcolo, i ricercatori universitari iniziarono a condurre ricerche più mirate per garantire che la comunità accademica non fosse completamente superata dall’industria.

Kavita Bala, preside della School of Computing and Information Sciences della Cornell University, ha affermato che le università possono investire meno nella costruzione e nella formazione di modelli linguistici di grandi dimensioni e concentrarsi maggiormente sullo sviluppo di applicazioni basate su modelli linguistici di grandi dimensioni. Tali applicazioni possono ancora essere all’avanguardia e svolgere un ruolo enorme in aree applicative uniche.

Il professore del MIT Armando Solar-Lezama, il cui lavoro si concentra sullo sfruttamento dell’intelligenza artificiale per lo sviluppo di codici, ritiene che costruire modelli di grandi dimensioni da zero semplicemente non sia fattibile nel mondo accademico. Studenti e ricercatori possono concentrarsi sullo sviluppo di applicazioni o anche sulla creazione di dati sintetici che possono essere utilizzati per addestrare modelli linguistici di grandi dimensioni.

Solar Lesama ha detto che anche i professori del suo college hanno preso l'iniziativa di finanziare l'acquisto di server e chip, ma il finanziamento non è stato l'unico problema.Anche se hai i soldi, ottenere una GPU di prim’ordine è difficile.

Conclusione: la carenza di potenza di calcolo dell’intelligenza artificiale nelle università continua e la cooperazione tra più parti potrebbe sperare di risolvere la situazione.

Nella situazione attuale in cui le grandi aziende tecnologiche dominano la ricerca sull’intelligenza artificiale, la ricerca sull’intelligenza artificiale nelle università costituisce un efficace supplemento a questi studi. I ricercatori universitari non saranno influenzati da fattori a breve termine, come i resoconti finanziari e la domanda del mercato, come i ricercatori all’interno delle aziende. Se riuscissero a ottenere più risorse informatiche, potrebbero essere in grado di produrre risultati con un impatto significativo in aree a cui le aziende non prestano attenzione o a cui non sono disposte a prestare attenzione.

Negli ultimi decenni, infatti, l’intelligenza artificiale è sempre stata un campo di ricerca sottovalutato e ha dovuto indossare le vesti del deep learning e del machine learning. Ma è proprio perché nelle università come Hinton, Yann LeCun e Yoshua Bengio ci sono ricercatori tenaci che persistono nella ricerca in materia da decenni che si è realizzato l’attuale boom dell’intelligenza artificiale.

Oltre alle alleanze per la potenza di calcolo come Empire AI nello Stato di New York, molte università e istituti di ricerca nel Nord America hanno anche portato avanti una cooperazione interistituzionale di varie dimensioni per condividere le risorse informatiche. Alla fine del 2023, più di dieci università cinesi hanno istituito la China University Computing Power Alliance. Forse questo tipo di cooperazione può portare la speranza di colmare la carenza di potenza di calcolo nelle università.

Fonte: Wall Street Journal, Reddit