noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

cosas inteligentes
Compilado por Chen Junda
Editar Panken

Según informes de medios extranjeros, debido a los altos precios de los grupos de potencia informática de IA y a la ejecución de pedidos de grandes empresas, muchas universidades estadounidenses se enfrentan a una grave escasez de potencia informática, lo que ha provocado un retraso en la investigación de IA en las universidades y en el escasez de talentos en investigación de IA.

La escasez de potencia informática en las universidades existe desde hace mucho tiempo, e incluso las principales universidades y líderes académicos están preocupados por este problema. En mayo de este año, el profesor de la Universidad de Stanford, Li Feifei, dijo que la comunidad académica se enfrenta a una grave escasez de recursos informáticos de IA.El laboratorio de PNL de la Universidad de Stanford solo tiene 64 GPU (NVIDIA A100). El ganador del Premio Turing, Geoffery Hinton, incluso dijo sin rodeos cuando los estudiantes pidieron ayuda: "No sé qué más hacer con este tema además de preguntarle al gobierno.”

En marcado contraste, se espera que Meta, la empresa matriz de Facebook,Tiene un enorme grupo de potencia informática equivalente a 600.000 NVIDIA H100, que es casi 10.000 veces mayor que el grupo del Laboratorio de PNL de Stanford.

Pero las 64 GPU del Laboratorio de PNL de la Universidad de Stanford ya son una fantasía para muchos estudiantes de otras universidades. De hecho, a excepción de algunas universidades importantes como la Universidad de Princeton y la Universidad RWTH Aachen en Alemania,Muchas universidades ni siquiera tienen una GPU Nvidia A100.。

En una discusión relacionada en el foro de Reddit, algunos estudiantes de doctorado de universidades norteamericanas informaron que las universidades pequeñas solo pueden obtener la GPU V100 lanzada por Nvidia hace muchos años.La situación en las universidades de Europa y Asia es aún más grave. Muchas universidades sólo pueden hacerlo.Uso de las tarjetas gráficas de consumo de Nvidia para la investigación de IA . Aun así, la potencia informática es extremadamente escasa y algunos estudiantes deben comprar tarjetas gráficas por su cuenta o solicitar subsidios de potencia informática de NVIDIA, Amazon Cloud Service (AWS), etc.

Muchas universidades también están trabajando arduamente para cambiar el status quo, como establecer grupos informáticos compartidos a través de la cooperación entre escuelas o recurrir a otras direcciones de investigación de IA que requieren menor potencia informática.

1. Escasez de potencia informática y fuga de cerebros. ¿Qué tan grave es la escasez de GPU en las universidades?

De hecho, durante mucho tiempo en el pasado, las universidades han estado a la vanguardia de la investigación en IA.Los investigadores de las universidades han realizado muchos avances revolucionarios.Por ejemplo, en 2015, Jascha Sohl-Dickstein, postdoctorado en la Universidad de Stanford, inventó el primer modelo de difusión del mundo, que se convirtió en la base de muchos modelos posteriores de generación de imágenes y vídeos.

Si bien la investigación básica en las universidades es fundamental para la ola de innovación tecnológica, la investigación reciente sobre IA generativa ha estado dominada por empresas privadas. Esto se debe principalmente a que tienen acceso a la potencia informática y a los datos necesarios para construir y entrenar modelos grandes como ChatGPT y Gemini.

La investigación en IA generativa es cara. El director ejecutivo de OpenAI, Sam Altman, ha estimado que entrenar GPT-4 costaría alrededor de 100 millones de dólares. El director ejecutivo de Meta, Mark Zuckerberg, anunció a principios de 2024 planes para comprar 350.000 GPU NVIDIA H100 para expandir la potencia informática de Meta a un nivel equivalente a 600.000 GPU NVIDIA H100. Calculado en base al precio de venta del H100 de casi 40.000 dólares estadounidenses,Se trata de una gran orden de decenas de miles de millones de dólares.

Actualmente, ninguna universidad del mundo puede permitirse este nivel de infraestructura de potencia informática de IA. Como escuela de informática sólida, la Universidad de Princeton tiene uno de los grupos de potencia informática de IA más grandes entre las universidades estadounidenses.Pero este clúster sólo tiene 300 GPU NVIDIA H100, que no se presentó oficialmente hasta marzo de este año.

Sanjeev Arora, director del Centro para el Lenguaje y la Inteligencia de la Universidad de Princeton, dijo sobre este tema: “Si no tienes potencia informática, no puedes realizar investigaciones a gran escala y ni siquiera estás calificado para participar en la conversación.”。

En una discusión relacionada en el foro de Reddit, un estudiante de doctorado de uno de los 5 principales laboratorios de aprendizaje automático de los Estados Unidos dijo que hasta ahora no tienen ni una NVIDIA H100.

▲Preguntas de estudiantes de doctorado de los 5 mejores laboratorios de aprendizaje automático de Estados Unidos (Fuente: Reddit)

Un estudiante de doctorado de Asia se enfrentó al mismo dilema. La mayoría de las GPU que utiliza son de consumo y solo hay una o dos en lugar de clústeres. Su escuela tenía hasta hace poco un servidor con ocho H100 y solo tenía acceso limitado. El estudiante de doctorado dijo,En las dos semanas que tuvo la suerte de utilizar la GPU H100 para entrenar, obtuvo más datos de los que había recopilado en los seis meses anteriores.

▲Un estudiante que investiga CV en Asia recordó una serie de GPU que había usado (Fuente: Reddit)

Otro estudiante compartió que su escuela no podía proporcionar ningún soporte de potencia informática. Solo puede obtener 1.000 dólares estadounidenses en potencia de computación en la nube de AWS a través de su empresa de prácticas.Si usa estas cuotas para ejecutar un clúster H100 de 8 bloques, solo podrá usarlo durante 1 día. , este nivel de potencia informática simplemente no puede producir investigaciones de alta calidad. También dijo que esta es la norma para la investigación de la IA en los países del tercer mundo.

▲Un estudiante de maestría compartió su experiencia al obtener créditos de cálculo a través de una empresa de pasantías (Fuente: Reddit)

Los recursos de potencia informática de las universidades europeas tampoco son optimistas. Un estudiante que estudia en Alemania compartió que tiene mucha suerte porque su escuela también puede proporcionar 16 GPU A100 y docenas de otros modelos de GPU.En Europa, muchas universidades y laboratorios de investigación básicamente no ofrecen soporte de potencia informática.

▲Un estudiante europeo agradece los recursos informáticos que tiene (Fuente: Reddit)

Otro estudiante de la Universidad RWTH Aachen en Alemania compartió que su escuela tiene más de 200 GPU NVIDIA H100, lo que ha atraído la envidia de muchos internautas. Sin embargo, estos recursos son compartidos por todas las universidades y también con instituciones externas. Si se requiere un tiempo de cálculo más largo, se requiere una solicitud especial.

▲Estudiantes de la Universidad RWTH Aachen en Alemania compartieron la potencia informática de la escuela (Fuente: Reddit)

La gente de la industria está sorprendida por la escasez de GPU en colegios y universidades. Un experto de la industria dijo que trabaja para un importante proveedor de computación en la nube.Contacto diario con la GPU H100 , desarrollar y reparar software para ello. Otra fuente de la industria dijo que las GPU de vanguardia de alta demanda, como la H100, a menudo son solicitadas por grandes clientes empresariales antes de agregarlas a los centros de datos, por lo que la H100 es "rara" para la mayoría de los investigadores.

▲ La gente de la industria está sorprendida por la escasez de GPU en colegios y universidades (Fuente: Reddit)

En caso de recursos informáticos insuficientes, la formación a largo plazo es extremadamente lujosa. Los grupos de potencia informática de IA en las universidades a menudo deben aplicarse con días o incluso semanas de anticipación. Incluso si se utilizan, el tiempo de uso es limitado. Muchas tareas de capacitación más grandes son difíciles de completar dentro de un solo ciclo de uso, y los investigadores también deben dedicar un esfuerzo adicional a crear puntos de control y códigos de recuperación.

La escasez de recursos informáticos también ha provocado el problema de la fuga de cerebros en los colegios y universidades. , aquellos estudiantes interesados ​​en realizar investigaciones sobre IA generativa recurrieron a grandes empresas. Debido a que las grandes empresas de tecnología generalmente tienen cientos o miles de veces más potencia informática que las universidades, esto resulta extremadamente atractivo para los talentos de la IA.

2. Establecer alianzas en materia de potencia informática y cambiar la dirección de la investigación. Las universidades no quieren ni pueden quedarse atrás.

Ante la crisis de quedarse atrás en la investigación de IA y perder talento en IA, muchas universidades se están esforzando por obtener potencia informática adicional y cambiando su enfoque de investigación hacia campos de investigación de IA que no requieren mucha potencia informática.

"Las instituciones académicas están luchando por conseguir potencia informática", afirmó Hod Lipson, presidente del Departamento de Ingeniería Mecánica de la Universidad de Columbia. También enfatizó que si bien la participación de la industria y el gobierno en la investigación de la IA es importante,Pero para equilibrar estas dos fuerzas, los académicos, los desarrolladores de código abierto y otros también deberían tener voz y voto en el desarrollo de esta tecnología.

Para aliviar la escasez de potencia informática en los colegios y universidades, muchos colegios y universidades han involucrado al gobierno en el proceso de construcción de grupos de potencia informática. A principios de 2024, siete universidades e instituciones de investigación, incluidas la Universidad de Columbia, la Universidad de Cornell, la Universidad de Nueva York y el Instituto Politécnico Rensselaer, unieron fuerzas con el gobierno del estado de Nueva York y organizaciones benéficas para crear una alianza de potencia informática llamada Empire AI.

▲Miembros de la alianza de Empire AI (Fuente: sitio web oficial de Empire AI)

Esta alianza de potencia informática ha recaudado casi 400 millones de dólares en financiación. De ellos, 275 millones de dólares provienen del gobierno y los fondos restantes provienen de las siete universidades e instituciones de investigación que participan en la alianza. Utilizarán los fondos para construir un centro informático de inteligencia artificial avanzado, y los miembros de la alianza pueden compartir estos recursos informáticos y, al mismo tiempo, compartir de manera efectiva los costos de tenencia.

Hablando sobre las razones para establecer esta alianza, la Oficina del Gobernador del Estado de Nueva York dijo:Actualmente, los recursos informáticos de IA están cada vez más concentrados en manos de grandes empresas tecnológicas, que tienen un enorme control sobre el ecosistema de desarrollo de la IA.Como resultado, los investigadores, las organizaciones sin fines de lucro y las pequeñas empresas se están quedando atrás,Esto tiene un enorme impacto en la seguridad de la IA y en la sociedad en su conjunto.

La academia y la industria también están colaborando activamente, lo que ya es común en los centros tecnológicos estadounidenses como Silicon Valley, Seattle y Austin. Dan Grossman, decano asociado de la Facultad de Ingeniería y Ciencias de la Computación de la Universidad de Washington, dijo que tienen programas que permiten a los investigadores académicos trabajar también en la industria. El personal académico tiene acceso a mejores recursos y las universidades pueden retener estos talentos.

De hecho, existen muchos proyectos importantes de investigación de IA que no requieren una gran potencia informática. , como la investigación de la explicabilidad de la IA, la investigación de la capacidad de razonamiento y planificación de la IA, etc. Bajo las limitaciones de la potencia informática, los investigadores universitarios comenzaron a realizar investigaciones más específicas para garantizar que la comunidad académica no fuera completamente superada por la industria.

Kavita Bala, decana de la Facultad de Computación y Ciencias de la Información de la Universidad de Cornell, dijo que las universidades pueden invertir menos en construir y entrenar modelos de lenguaje grandes y centrarse más en desarrollar aplicaciones basadas en modelos de lenguaje grandes. Estas aplicaciones pueden seguir siendo de vanguardia y desempeñar un papel muy importante en áreas de aplicación únicas.

El profesor del MIT Armando Solar-Lezama, cuyo trabajo se centra en aprovechar la IA para el desarrollo de código, cree que construir grandes modelos desde cero simplemente no es factible en el mundo académico. Los estudiantes e investigadores pueden centrarse en desarrollar aplicaciones o incluso crear datos sintéticos que puedan utilizarse para entrenar modelos de lenguaje grandes.

Solar Lesama dijo que los profesores de su universidad también tomaron la iniciativa de financiar la compra de servidores y chips, pero la financiación no fue el único problema.Incluso si tienes el dinero, conseguir una GPU de primer nivel es difícil.

Conclusión: La escasez de potencia informática de IA en las universidades continúa y la cooperación entre múltiples partes puede tener esperanzas de solucionar la situación.

En la situación actual en la que las grandes empresas de tecnología dominan la investigación en IA, la investigación en IA en las universidades es un complemento eficaz a estos estudios. Los investigadores de las universidades no se verán afectados por factores a corto plazo, como los informes financieros y la demanda del mercado, como los investigadores de las empresas. Si pueden obtener más recursos informáticos, es posible que puedan producir resultados con un impacto significativo en áreas a las que las empresas no prestan atención o no están dispuestas a prestarle atención.

De hecho, en las últimas décadas, la IA siempre ha sido un campo de investigación infravalorado y ha tenido que ponerse el chaleco del aprendizaje profundo y el aprendizaje automático. Pero es precisamente porque hay investigadores perseverantes en universidades como Hinton, Yann LeCun y Yoshua Bengio que han persistido en investigaciones relevantes durante décadas que se ha realizado el actual auge de la IA.

Además de las alianzas de poder informático, como Empire AI en el estado de Nueva York, muchas universidades e instituciones de investigación en América del Norte también han llevado a cabo una cooperación interinstitucional de diversos tamaños para compartir recursos informáticos. A finales de 2023, más de diez universidades de China también establecieron la China University Computing Power Alliance. Quizás este tipo de cooperación pueda traer esperanza para acabar con la escasez de potencia informática en las universidades.

Fuente: Wall Street Journal, Reddit