notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

coisas inteligentes
Compilado por Chen Junda
Editar Panken

De acordo com relatos da mídia estrangeira, devido aos altos preços dos clusters de poder de computação de IA e à execução de pedidos de grandes empresas, muitas universidades americanas enfrentam uma grave escassez de poder de computação, o que levou ao atraso na pesquisa de IA nas universidades e no escassez de talentos em pesquisa de IA.

A escassez de poder computacional nas universidades já existe há muito tempo, e até mesmo as principais universidades e líderes acadêmicos estão preocupados com esse problema. Em maio deste ano, o professor da Universidade de Stanford, Li Feifei, disse que a comunidade acadêmica enfrenta uma grave escassez de recursos de computação de IA.O laboratório de PNL da Universidade de Stanford possui apenas 64 GPUs (NVIDIA A100). O vencedor do Prêmio Turing, Geoffery Hinton, até disse sem rodeios quando os alunos pediram ajuda: "Não sei mais o que fazer sobre esse assunto além de perguntar ao governo.”

Em total contraste, espera-se que a empresa-mãe do Facebook, Meta,Possui um enorme cluster de poder de computação equivalente a 600.000 NVIDIA H100s, que é quase 10.000 vezes maior que o cluster do Laboratório de PNL de Stanford.

Mas as 64 GPUs do Laboratório de PNL da Universidade de Stanford já são uma fantasia para muitos estudantes de outras universidades. Na verdade, com exceção de algumas universidades importantes, como a Universidade de Princeton e a Universidade RWTH Aachen, na Alemanha,Muitas universidades nem possuem uma GPU Nvidia A100.。

Em uma discussão relacionada no fórum Reddit, alguns estudantes de doutorado de universidades norte-americanas relataram que pequenas universidades só podem obter a GPU V100 lançada pela Nvidia há muitos anos.A situação nas universidades da Europa e da Ásia é ainda mais grave. Muitas universidades só podem.Usando placas gráficas de consumo da Nvidia para pesquisa de IA . Mesmo assim, o poder computacional é extremamente escasso, e alguns estudantes devem comprar placas gráficas às suas próprias custas ou solicitar subsídios de poder computacional da NVIDIA, Amazon Cloud Service (AWS), etc.

Muitas universidades também estão a trabalhar arduamente para mudar o status quo, como estabelecer clusters de computação partilhados através da cooperação entre escolas ou recorrer a outras direções de investigação em IA que exigem menor poder de computação.

1. Escassez de energia computacional e fuga de cérebros Qual é a gravidade da escassez de GPU nas universidades?

Na verdade, há muito tempo que as universidades têm estado na vanguarda da investigação em IA.Muitos desenvolvimentos inovadores foram feitos por pesquisadores em universidades.Por exemplo, em 2015, Jascha Sohl-Dickstein, pós-doutoranda na Universidade de Stanford, inventou o primeiro modelo de difusão do mundo, que se tornou a base para muitos modelos subsequentes de geração de imagens e vídeos.

Embora a investigação básica nas universidades seja fundamental para a onda de inovação tecnológica, a investigação recente em IA generativa tem sido dominada por empresas privadas. Isso ocorre principalmente porque eles têm acesso ao poder computacional e aos dados necessários para construir e treinar grandes modelos como ChatGPT e Gemini.

A pesquisa generativa de IA é cara. O CEO da OpenAI, Sam Altman, estimou que o treinamento do GPT-4 custaria cerca de US$ 100 milhões. O CEO da Meta, Mark Zuckerberg, anunciou no início de 2024 planos de comprar 350.000 GPUs NVIDIA H100 para expandir o poder de computação da Meta a um nível equivalente a 600.000 GPUs NVIDIA H100. Calculado com base no preço de venda do H100 de quase 40.000 dólares americanos,Esta será uma grande encomenda de dezenas de bilhões de dólares.

Atualmente, nenhuma universidade no mundo pode arcar com esse nível de infraestrutura de poder computacional de IA. Como uma forte escola de ciência da computação, a Universidade de Princeton tem um dos maiores clusters individuais de poder de computação de IA entre as universidades americanas.Mas este cluster possui apenas 300 GPUs NVIDIA H100, que só foi apresentado oficialmente em março deste ano.

Sanjeev Arora, diretor do Centro de Linguagem e Inteligência da Universidade de Princeton, disse sobre esta questão: “Se você não tiver capacidade computacional, não poderá realizar pesquisas em grande escala e nem mesmo estará qualificado para participar da conversa.”。

Em uma discussão relacionada no fórum Reddit, um estudante de doutorado de um dos 5 principais laboratórios de aprendizado de máquina dos Estados Unidos disse que não tem sequer um NVIDIA H100 até agora.

▲ Perguntas de estudantes de doutorado dos 5 principais laboratórios de aprendizado de máquina dos Estados Unidos (Fonte: Reddit)

Um estudante de doutoramento da Ásia enfrentou o mesmo dilema. A maioria das GPUs que ele usa são de consumo e há apenas uma ou duas em vez de clusters. Sua escola até recentemente tinha um servidor com oito H100s e tinha acesso limitado. O doutorando disse:Nas duas semanas em que teve a sorte de usar a GPU H100 para treinamento, obteve mais dados do que havia coletado nos seis meses anteriores.

▲ Um estudante envolvido em pesquisa de currículo na Ásia relembrou uma série de GPUs que usou (Fonte: Reddit)

Outro aluno compartilhou que sua escola não era capaz de fornecer qualquer suporte de poder computacional. Ele só pode obter US$ 1.000 em poder de computação em nuvem AWS por meio de sua empresa de estágio.Se você usar essas cotas para executar um cluster H100 de 8 blocos, só poderá usá-lo por 1 dia. , este nível de poder computacional simplesmente não pode produzir pesquisas de alta qualidade. Ele também disse que esta é a norma para a investigação em IA nos países do terceiro mundo.

▲ Um aluno de mestrado compartilhou sua experiência de obtenção de créditos de cálculo por meio de uma empresa de estágio (Fonte: Reddit)

Os recursos de poder computacional das universidades europeias também não são optimistas. Um estudante que estuda na Alemanha compartilhou que tem muita sorte porque sua escola também pode fornecer 16 GPUs A100 e dezenas de outros modelos de GPUs.Na Europa, muitas universidades e laboratórios de investigação basicamente não fornecem suporte de poder computacional.

▲ Um estudante europeu agradece os recursos computacionais que possui (Fonte: Reddit)

Outro aluno da Universidade RWTH Aachen, na Alemanha, compartilhou que sua escola possui mais de 200 GPUs NVIDIA H100, o que atraiu a inveja de muitos internautas. No entanto, estes recursos são partilhados por todas as faculdades e também com instituições externas. Caso seja necessário um tempo de cálculo mais longo, é necessária uma aplicação especial.

▲ Alunos da Universidade RWTH Aachen, na Alemanha, compartilharam o poder computacional da escola (Fonte: Reddit)

O pessoal da indústria está surpreso com a escassez de GPU em faculdades e universidades. Um membro do setor disse que trabalha para um grande provedor de computação em nuvem.Contato diário com GPU H100 , desenvolver e corrigir software para ele. Outra fonte da indústria disse que GPUs de ponta de alta demanda, como o H100, costumam ser pré-encomendadas por grandes clientes empresariais antes de serem adicionadas aos data centers, de modo que o H100 é “raro” para a maioria dos pesquisadores.

▲ O pessoal da indústria fica surpreso com a escassez de GPUs em faculdades e universidades (Fonte: Reddit)

No caso de recursos computacionais insuficientes, o treinamento de longo prazo é extremamente luxuoso. Clusters de poder de computação de IA em universidades geralmente precisam ser aplicados com dias ou até semanas de antecedência. Mesmo que sejam usados, o tempo de uso é limitado. Muitas tarefas de treinamento maiores são difíceis de serem concluídas em um único ciclo de uso, e os pesquisadores também devem despender um esforço extra na construção de pontos de verificação e código de recuperação.

A escassez de recursos computacionais também trouxe o problema da fuga de cérebros em faculdades e universidades. , os estudantes interessados ​​em fazer pesquisas generativas em IA recorreram a grandes empresas. Como as grandes empresas de tecnologia geralmente têm centenas ou milhares de vezes mais poder computacional do que as universidades, isso é extremamente atraente para os talentos de IA.

2. Estabelecer alianças de poder computacional e mudar os rumos da investigação As universidades não estão dispostas nem são capazes de ficar para trás.

Enfrentando a crise de ficar para trás na investigação em IA e de perder talentos em IA, muitas universidades estão a esforçar-se por obter poder computacional adicional e a mudar o seu foco de investigação para campos de investigação em IA que não sejam de computação intensiva em termos de energia.

“As instituições acadêmicas estão lutando para obter poder computacional”, disse Hod Lipson, presidente do Departamento de Engenharia Mecânica da Universidade de Columbia. Ele também enfatizou que, embora a participação da indústria e do governo na pesquisa de IA seja importante,Mas para equilibrar estas duas forças, os académicos, os programadores de código aberto e outros também devem ter uma palavra a dizer no desenvolvimento desta tecnologia.

A fim de aliviar a escassez de poder computacional em faculdades e universidades, muitas faculdades e universidades envolveram o governo no processo de construção de clusters de poder computacional. No início de 2024, sete universidades e instituições de investigação, incluindo a Universidade Columbia, a Universidade Cornell, a Universidade de Nova Iorque e o Instituto Politécnico Rensselaer, uniram forças com o governo do Estado de Nova Iorque e instituições de caridade para criar uma aliança de poder computacional chamada Empire AI.

▲ Membros da aliança do Empire AI (Fonte: site oficial do Empire AI)

Esta aliança de poder de computação arrecadou quase US$ 400 milhões em financiamento. Destes, 275 milhões de dólares provêm do governo e os restantes fundos provêm das sete universidades e instituições de investigação participantes na aliança. Eles usarão os fundos para construir um centro avançado de computação de IA, e os membros da aliança poderão compartilhar esses recursos de computação, ao mesmo tempo que compartilham efetivamente os custos de manutenção.

Falando sobre a razão para estabelecer esta aliança, o Gabinete do Governador do Estado de Nova Iorque disse:Atualmente, os recursos computacionais de IA estão cada vez mais concentrados nas mãos de grandes empresas de tecnologia, que têm enorme controle sobre o ecossistema de desenvolvimento de IA.Como resultado, investigadores, organizações sem fins lucrativos e pequenas empresas estão a ser deixados para trás,Isto tem um enorme impacto na segurança da IA ​​e na sociedade como um todo.

A academia e a indústria também estão colaborando ativamente, o que já é comum em centros tecnológicos dos EUA, como Silicon Valley, Seattle e Austin. Dan Grossman, reitor associado da Escola de Ciência da Computação e Engenharia da Universidade de Washington, disse que eles têm programas que permitem que pesquisadores acadêmicos também trabalhem na indústria. O pessoal académico tem acesso a melhores recursos e as universidades podem reter esses talentos.

Na verdade, existem muitos projetos importantes de pesquisa em IA que não requerem alto poder computacional. , como pesquisa de explicabilidade de IA, planejamento de IA e pesquisa de capacidade de raciocínio, etc. Sob as restrições do poder computacional, os pesquisadores universitários começaram a realizar pesquisas mais direcionadas para garantir que a comunidade acadêmica não seria completamente superada pela indústria.

Kavita Bala, reitora da Escola de Computação e Ciências da Informação da Universidade Cornell, disse que as universidades podem investir menos na construção e treinamento de grandes modelos de linguagem e se concentrar mais no desenvolvimento de aplicações baseadas em grandes modelos de linguagem. Tais aplicações ainda podem ser inovadoras e desempenhar um papel importante em áreas de aplicação exclusivas.

O professor do MIT, Armando Solar-Lezama, cujo trabalho se concentra em aproveitar a IA para o desenvolvimento de código, acredita que construir grandes modelos do zero simplesmente não é viável na academia. Estudantes e pesquisadores podem se concentrar no desenvolvimento de aplicações ou até mesmo na criação de dados sintéticos que podem ser usados ​​para treinar grandes modelos de linguagem.

Solar Lesama disse que os professores da sua faculdade também tomaram a iniciativa de financiar a compra de servidores e chips, mas o financiamento não foi o único problema.Mesmo se você tiver dinheiro, é difícil conseguir uma GPU de primeira linha.

Conclusão: A escassez de poder computacional de IA nas universidades continua e a cooperação entre múltiplas partes pode ter esperança de quebrar a situação.

Na situação atual, em que as grandes empresas tecnológicas dominam a investigação em IA, a investigação em IA nas universidades é um complemento eficaz a estes estudos. Os investigadores nas universidades não serão afetados por fatores de curto prazo, como relatórios financeiros e procura de mercado, como os investigadores nas empresas. Se conseguirem obter mais recursos computacionais, poderão produzir resultados com impacto significativo em áreas às quais as empresas não prestam atenção ou não estão dispostas a prestar atenção.

Na verdade, nas últimas décadas, a IA sempre foi um campo de investigação subvalorizado e teve de vestir a veste da aprendizagem profunda e da aprendizagem automática. Mas é precisamente porque existem investigadores perseverantes em universidades como Hinton, Yann LeCun e Yoshua Bengio, que persistiram em investigação relevante durante décadas, que o actual boom da IA ​​se concretizou.

Além de alianças de poder computacional, como a Empire AI no estado de Nova Iorque, muitas universidades e instituições de investigação na América do Norte também realizaram cooperação interinstitucional de vários tamanhos para partilhar recursos computacionais. No final de 2023, mais de dez universidades na China também estabeleceram a China University Computing Power Alliance. Talvez este tipo de cooperação possa trazer esperança para acabar com a escassez de poder computacional nas universidades.

Fonte: Wall Street Journal, Reddit