nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

des choses intelligentes
Compilé par Chen Junda
ModifierPanken

Selon les médias étrangers, en raison des prix élevés des clusters de puissance de calcul de l'IA et des commandes des grandes entreprises, de nombreuses universités américaines sont confrontées à une grave pénurie de puissance de calcul, ce qui a entraîné un retard dans la recherche sur l'IA dans les universités et les pays. pénurie de talents en recherche en IA.

La pénurie de puissance de calcul dans les universités existe depuis longtemps, et même les meilleures universités et les dirigeants universitaires sont préoccupés par ce problème. En mai de cette année, Li Feifei, professeur à l'Université de Stanford, a déclaré que la communauté universitaire était confrontée à une grave pénurie de ressources informatiques en matière d'IA.Le laboratoire PNL de l’Université de Stanford ne dispose que de 64 GPU (NVIDIA A100). Geoffery Hinton, lauréat du prix Turing, a même déclaré sans détour lorsque les étudiants demandaient de l'aide : "Je ne sais pas quoi faire d’autre à ce sujet que de demander au gouvernement.”

À l’opposé, la société mère de Facebook, Meta, devraitIl dispose d'un énorme cluster de puissance de calcul équivalent à 600 000 NVIDIA H100, soit près de 10 000 fois celui du cluster du Stanford NLP Laboratory.

Mais les 64 GPU du laboratoire NLP de l’université de Stanford sont déjà un fantasme pour de nombreux étudiants d’autres universités. En fait, à l'exception de quelques universités de premier plan telles que l'Université de Princeton et l'Université RWTH d'Aix-la-Chapelle en Allemagne,De nombreuses universités ne disposent même pas de GPU Nvidia A100.。

Dans une discussion connexe sur le forum Reddit, certains doctorants d'universités nord-américaines ont signalé que les petites universités ne pouvaient obtenir que le GPU V100 lancé par Nvidia il y a de nombreuses années.La situation dans les universités d’Europe et d’Asie est encore plus grave. De nombreuses universités ne peuvent que le faire.Utilisation des cartes graphiques grand public de Nvidia pour la recherche sur l'IA . Malgré cela, la puissance de calcul est extrêmement rare et certains étudiants doivent acheter des cartes graphiques à leurs frais ou demander des subventions pour la puissance de calcul auprès de NVIDIA, d'Amazon Cloud Service (AWS), etc.

De nombreuses universités travaillent également dur pour changer le statu quo, par exemple en établissant des clusters informatiques partagés grâce à une coopération inter-écoles ou en se tournant vers d'autres orientations de recherche en IA qui nécessitent une puissance de calcul moindre.

1. Pénurie de puissance informatique et fuite des cerveaux Quelle est la gravité de la pénurie de GPU dans les universités ?

En fait, depuis longtemps, les universités sont à l’avant-garde de la recherche sur l’IA.De nombreux développements révolutionnaires ont été réalisés par des chercheurs universitaires.Par exemple, en 2015, Jascha Sohl-Dickstein, postdoctorant à l'Université de Stanford, a inventé le premier modèle de diffusion au monde, qui est devenu la base de nombreux modèles ultérieurs de génération d'images et de vidéos.

Alors que la recherche fondamentale dans les universités est essentielle à la vague d’innovation technologique, la recherche récente sur l’IA générative a été dominée par les entreprises privées. Cela est principalement dû au fait qu'ils ont accès à la puissance de calcul et aux données nécessaires pour créer et former de grands modèles comme ChatGPT et Gemini.

La recherche sur l’IA générative coûte cher. Le PDG d'OpenAI, Sam Altman, a estimé que la formation GPT-4 coûterait environ 100 millions de dollars. Le PDG de Meta, Mark Zuckerberg, a annoncé début 2024 son intention d'acheter 350 000 GPU NVIDIA H100 pour étendre la puissance de calcul de Meta à un niveau équivalent à 600 000 GPU NVIDIA H100. Calculé sur la base du prix de vente du H100 de près de 40 000 dollars américains,Cela représentera une commande importante de plusieurs dizaines de milliards de dollars.

Actuellement, aucune université au monde ne peut se permettre un tel niveau d’infrastructure de puissance de calcul pour l’IA. En tant qu'école d'informatique solide, l'Université de Princeton possède l'un des plus grands clusters de puissance de calcul en IA parmi les universités américaines.Mais ce cluster ne dispose que de 300 GPU NVIDIA H100, qui n'a été officiellement introduit qu'en mars de cette année.

Sanjeev Arora, directeur du Centre pour le langage et l'intelligence à l'Université de Princeton, a déclaré à propos de cette question : «Si vous ne disposez pas de puissance de calcul, vous ne pouvez pas mener de recherches à grande échelle et vous n’êtes même pas qualifié pour participer à la conversation.”。

Dans une discussion connexe sur le forum Reddit, un doctorant de l'un des 5 meilleurs laboratoires d'apprentissage automatique aux États-Unis a déclaré qu'il ne disposait pas encore d'un seul NVIDIA H100.

▲Questions des doctorants des 5 meilleurs laboratoires d'apprentissage automatique aux États-Unis (Source : Reddit)

Un doctorant asiatique a été confronté au même dilemme. La plupart des GPU qu'il utilise sont de qualité grand public, et il n'y en a qu'un ou deux au lieu de clusters. Son école disposait jusqu'à récemment d'un serveur équipé de huit H100, et son accès était limité. Le doctorant a déclaré :Au cours des deux semaines où il a eu la chance d’utiliser le GPU H100 pour s’entraîner, il a obtenu plus de données qu’il n’en avait collecté au cours des six mois précédents.

▲Un étudiant engagé dans une recherche de CV en Asie a rappelé une série de GPU qu'il avait utilisés (Source : Reddit)

Un autre étudiant a déclaré que son école n'était pas en mesure de fournir un quelconque support en matière de puissance de calcul. Il ne peut obtenir que 1 000 USD de puissance de cloud computing AWS via son entreprise de stage.Si vous utilisez ces quotas pour exécuter un cluster H100 de 8 blocs, vous ne pouvez l'utiliser que pendant 1 jour. , ce niveau de puissance de calcul ne peut tout simplement pas produire une recherche de haute qualité. Il a également déclaré que c'était la norme pour la recherche sur l'IA dans les pays du tiers monde.

▲Un étudiant en master a partagé son expérience d'obtention de crédits de calcul via une entreprise de stage (Source : Reddit)

Les ressources en puissance de calcul des universités européennes ne sont pas non plus optimistes. Un étudiant étudiant en Allemagne a déclaré qu'il avait beaucoup de chance car son école pouvait également fournir 16 GPU A100 et des dizaines d'autres modèles de GPU.En Europe, de nombreuses universités et laboratoires de recherche ne fournissent pratiquement pas de support en matière de puissance de calcul.

▲Un étudiant européen est reconnaissant pour les ressources informatiques dont il dispose (Source : Reddit)

Un autre étudiant de l'Université RWTH d'Aix-la-Chapelle en Allemagne a déclaré que son école dispose de plus de 200 GPU NVIDIA H100, ce qui a suscité l'envie de nombreux internautes. Cependant, ces ressources sont partagées par tous les collèges ainsi qu'avec des institutions externes. Si un temps de calcul plus long est nécessaire, une application spéciale est requise.

▲Les étudiants de l'Université RWTH Aix-la-Chapelle en Allemagne ont partagé la puissance de calcul de l'école (Source : Reddit)

Les industriels sont surpris par la pénurie de GPU dans les collèges et universités. Un initié du secteur a déclaré qu'il travaillait pour un important fournisseur de cloud computing.Contact quotidien avec le GPU H100 , développer et réparer un logiciel correspondant. Une autre source industrielle a déclaré que les GPU de pointe très demandés tels que le H100 sont souvent précommandés en grande partie par les grandes entreprises avant d'être ajoutés aux centres de données, de sorte que le H100 est « rare » pour la plupart des chercheurs.

▲Les industriels sont surpris par la pénurie de GPU dans les collèges et universités (Source : Reddit)

En cas de ressources informatiques insuffisantes, la formation de longue durée s'avère extrêmement luxueuse. Les clusters de puissance de calcul d'IA dans les universités doivent souvent être appliqués des jours, voire des semaines à l'avance. Même s'ils sont utilisés, la durée d'utilisation est limitée. De nombreuses tâches de formation plus importantes sont difficiles à réaliser au cours d'un seul cycle d'utilisation, et les chercheurs doivent également consacrer des efforts supplémentaires à la création de points de contrôle et de codes de récupération.

La pénurie de ressources informatiques a également engendré le problème de la fuite des cerveaux dans les collèges et universités. , les étudiants intéressés par la recherche sur l’IA générative se sont tournés vers les grandes entreprises. Étant donné que les grandes entreprises technologiques disposent généralement de centaines, voire de milliers de fois plus de puissance de calcul que les universités, cela est extrêmement attrayant pour les talents en IA.

2. Établir des alliances en matière de puissance de calcul et modifier les orientations de la recherche Les universités ne veulent ni ne peuvent rester à la traîne.

Face à la crise du retard dans la recherche sur l'IA et à la perte de talents en IA, de nombreuses universités s'efforcent d'acquérir une puissance de calcul supplémentaire et réorientent leurs recherches vers des domaines de recherche en IA non gourmands en énergie de calcul.

"Les établissements universitaires se démènent pour obtenir de la puissance de calcul", a déclaré Hod Lipson, président du département de génie mécanique de l'Université de Columbia. Il a également souligné que même si la participation de l'industrie et du gouvernement à la recherche sur l'IA est importante,Mais pour équilibrer ces deux forces, les universitaires, les développeurs open source et autres devraient également avoir leur mot à dire dans le développement de cette technologie.

Afin d'atténuer la pénurie de puissance de calcul dans les collèges et universités, de nombreux collèges et universités ont impliqué le gouvernement dans le processus de construction de clusters de puissance de calcul. Début 2024, sept universités et instituts de recherche, dont l'Université Columbia, l'Université Cornell, l'Université de New York et le Rensselaer Polytechnic Institute, ont uni leurs forces avec le gouvernement de l'État de New York et des organisations caritatives pour créer une alliance de puissance de calcul appelée Empire AI.

▲Membres de l'alliance d'Empire AI (Source : site officiel d'Empire AI)

Cette alliance de puissance de calcul a permis de lever près de 400 millions de dollars de financement. Sur cette somme, 275 millions de dollars proviennent du gouvernement et le reste des fonds provient des sept universités et instituts de recherche participant à l'alliance. Ils utiliseront les fonds pour construire un centre informatique avancé pour l’IA, et les membres de l’alliance pourront partager ces ressources informatiques, tout en partageant efficacement les coûts de détention.

Parlant de la justification de la création de cette alliance, le bureau du gouverneur de l’État de New York a déclaré :Actuellement, les ressources informatiques de l’IA sont de plus en plus concentrées entre les mains de grandes entreprises technologiques, qui exercent un contrôle énorme sur l’écosystème de développement de l’IA.En conséquence, les chercheurs, les organisations à but non lucratif et les petites entreprises sont laissés pour compte.Cela a un impact énorme sur la sécurité de l’IA et sur la société dans son ensemble.

Les universités et l’industrie collaborent également activement, ce qui est déjà courant dans les pôles technologiques américains tels que la Silicon Valley, Seattle et Austin. Dan Grossman, doyen associé de l'École d'informatique et d'ingénierie de l'Université de Washington, a déclaré qu'il existe des programmes qui permettent aux chercheurs universitaires de travailler également dans l'industrie. Le personnel académique a accès à de meilleures ressources et les universités peuvent retenir ces talents.

En fait, il existe de nombreux projets de recherche importants sur l’IA qui ne nécessitent pas une puissance de calcul élevée. , comme la recherche sur l'explicabilité de l'IA, la recherche sur la planification de l'IA et la capacité de raisonnement, etc. Face aux contraintes de puissance de calcul, les chercheurs universitaires ont commencé à mener des recherches plus ciblées pour s’assurer que la communauté universitaire ne soit pas complètement dépassée par l’industrie.

Kavita Bala, doyenne de l'École d'informatique et des sciences de l'information de l'Université Cornell, a déclaré que les universités peuvent investir moins dans la création et la formation de grands modèles de langage et se concentrer davantage sur le développement d'applications basées sur de grands modèles de langage. De telles applications peuvent encore être de pointe et jouer un rôle majeur dans des domaines d’application uniques.

Armando Solar-Lezama, professeur au MIT, dont les travaux portent sur l'exploitation de l'IA pour le développement de codes, estime que la création de grands modèles à partir de zéro n'est tout simplement pas réalisable dans le monde universitaire. Les étudiants et les chercheurs peuvent se concentrer sur le développement d’applications ou même sur la création de données synthétiques pouvant être utilisées pour entraîner de grands modèles de langage.

Solar Lesama a déclaré que les professeurs de son université avaient également pris l'initiative de financer l'achat de serveurs et de puces, mais que le financement n'était pas le seul problème.Même si vous avez de l’argent, il est difficile d’obtenir un GPU de premier ordre.

Conclusion : La pénurie de puissance de calcul de l'IA dans les universités persiste, et la coopération entre plusieurs parties peut permettre d'espérer mettre un terme à la situation.

Dans la situation actuelle où les grandes entreprises technologiques dominent la recherche sur l’IA, la recherche universitaire sur l’IA constitue un complément efficace à ces études. Les chercheurs des universités ne seront pas affectés par des facteurs à court terme tels que les rapports financiers et la demande du marché, comme les chercheurs des entreprises. S'ils peuvent obtenir davantage de ressources informatiques, ils pourront peut-être produire des résultats ayant un impact significatif dans des domaines auxquels les entreprises ne prêtent pas attention ou ne veulent pas y prêter attention.

En fait, au cours des dernières décennies, l’IA a toujours été un domaine de recherche sous-évalué et a dû porter le gilet de l’apprentissage profond et de l’apprentissage automatique. Mais c’est précisément parce qu’il y a des chercheurs persévérants dans des universités comme Hinton, Yann LeCun et Yoshua Bengio, qui s’obstinent dans des recherches pertinentes depuis des décennies, que l’essor actuel de l’IA a été réalisé.

Outre les alliances en matière de puissance de calcul telles qu'Empire AI dans l'État de New York, de nombreuses universités et instituts de recherche en Amérique du Nord ont également mené une coopération interinstitutionnelle de différentes tailles pour partager des ressources informatiques. Fin 2023, plus de dix universités chinoises ont également créé la China University Computing Power Alliance. Peut-être que ce type de coopération peut apporter l’espoir de mettre fin à la pénurie de puissance de calcul dans les universités.

Source : Wall Street Journal, Reddit