mi información de contacto
correoadmin@información.bz
2024-10-03
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
¿terminará el “festival gpu” de nvidia?
desde el lanzamiento de chatgpt por parte de open ai en los estados unidos el 30 de noviembre de 2022, la ia generativa (inteligencia artificial) se ha convertido en una gran moda y las gpu de nvidia se han vuelto populares como semiconductores de ia. sin embargo, en la producción de gpu, existen dos cuellos de botella: el proceso de rango medio de tsmc y la memoria de alto ancho de banda (hbm) apilada con dram, lo que lleva a una escasez global de gpu. “¿es el cuello de botella el proceso de rango medio entre hbm y ¿tsmc?
entre estas gpu, la "h100" tuvo una demanda particularmente alta, cuyo precio se disparó a 40.000 dólares, lo que desencadenó el llamado "festival de gpu" de nvidia.
en esta circunstancia, tsmc duplicó su capacidad de producción de interposer de mitad de proceso y los fabricantes de dram como sk hynix aumentaron la producción de hbm, lo que resultó en que el plazo de entrega del "h100" se redujera de 52 semanas a 20 semanas.
entonces, ¿terminará el “festival gpu” de nvidia?
entonces, en este artículo discutiremos si el "día de la gpu" de nvidia está llegando a su fin. hablemos primero de la conclusión. se espera que incluso para 2024, solo se envíen el 3,9% de los servidores de ia de alta gama (la definición se explicará más adelante) necesarios para el desarrollo y operación de ia de nivel chatgpt. por lo tanto, parece que las necesidades de los proveedores de servicios en la nube (csp) como google, amazon y microsoft no pueden satisfacerse en absoluto. en resumen, hasta ahora, el "festival gpu" de nvidia es solo el comienzo y se avecina un auge integral de la ia generativa.
a continuación, repasemos brevemente los dos principales cuellos de botella de la gpu nvidia.
dos cuellos de botella en la gpu nvidia
en la producción de gpu nvidia, la fundición tsmc es responsable de todos los procesos frontales, intermedios y posteriores. aquí, el proceso intermedio se refiere al proceso de producir gpu, cpu, hbm y otros chips por separado y colocarlos sobre un sustrato cuadrado cortado de una oblea de silicio de 12 pulgadas. este sustrato se llama intercalador de silicio (figura 1).
figura 1 procesos intermedios que emergen de 2,5d a 3d, como la gpu nvidia (fuente: tadashi kamewada)
además, el paquete de gpu nvidia desarrollado por tsmc se llama cowos (chip on wafer on substrate), pero los dos cuellos de botella son la capacidad del interposer de silicio y hbm (figura 2). la situación es la siguiente.
figura 2 estructura cowos y dos cuellos de botella en la gpu nvidia (fuente: wikichip)
cowos se desarrolló en 2011, pero desde entonces, a medida que el rendimiento de la gpu mejoró, el tamaño de los chips de la gpu siguió aumentando y la cantidad de hbm instalados en la gpu también aumentó (figura 3).. como resultado, los intercaladores de silicio son cada año más grandes, mientras que el número de intercaladores disponibles en una sola oblea disminuye en proporción inversa.
figura 3 el área del intercalador y el número de hbm aumentan con cada generación (fuente: kc yee (tsmc))
además, aumenta la cantidad de hbm instalados en la gpu y también aumenta la cantidad de chips dram apilados dentro del hbm. además, la dram se miniaturiza cada dos años y el estándar hbm se actualiza cada dos años para mejorar el rendimiento. por lo tanto, la hbm más moderna escasea.
en este escenario, tsmc duplicará su capacidad de producción de intercaladores de silicio de 15.000 obleas por mes alrededor del verano de 2023 a más de 30.000 obleas por mes alrededor del verano de este año. además, samsung electronics y micron technology obtuvieron la certificación nvidia y comenzaron a suministrar hbm de vanguardia, que anteriormente estaba dominada por sk hynix.
afectado por lo anterior, el tiempo de entrega de nvidia h100, que tiene la mayor demanda, se ha reducido significativamente de 52 semanas a 20 semanas. entonces, ¿cuánto han aumentado los envíos de servidores de ia como resultado?
definición de dos tipos de servidores de ia
según los "envíos anuales globales de servidores, 2023-2024" (base de datos de informes de servidores, 2024) publicado por digitimes research, existen dos tipos de servidores de ia:
los sistemas equipados con dos o más aceleradores de ia, pero no con hbm, se denominan "servidores de ia universales".
los sistemas equipados con al menos cuatro aceleradores de ia de hbm se denominan "servidores de ia de alta gama".
el acelerador de ia aquí se refiere a hardware especial diseñado para acelerar aplicaciones de ia, especialmente redes neuronales y aprendizaje automático. un ejemplo típico es la gpu de nvidia. además, el desarrollo y funcionamiento de la ia generativa de nivel chatgpt requiere una gran cantidad de servidores de ia de alta gama en lugar de servidores de ia de uso general.
entonces, ¿cuáles son los volúmenes de envío de servidores de ia generales y servidores de ia de alta gama?
envíos de servidores de ia generales y de servidores de ia de alta gama
la figura 4 muestra los envíos de servidores de ia generales y servidores de ia de alta gama de 2022 a 2023. se espera que los envíos generales de servidores de ia sean de 344.000 unidades en 2022, 470.000 unidades en 2023 y 725.000 unidades en 2024.
figura 4 envíos de servidores de ia generales y de servidores de ia de alta gama (2022-2024) (fuente: digitimes research)
al mismo tiempo, se espera que los servidores de ia de alta gama necesarios para el desarrollo y operación de ia generativa de nivel chatgpt envíen 34.000 unidades en 2022, 200.000 unidades en 2023 y 564.000 unidades en 2024.
entonces, ¿pueden los envíos de servidores de ia de alta gama satisfacer las necesidades de los csp estadounidenses?
la figura 5 muestra los números de envío de servidores, servidores de ia generales y servidores de ia de alta gama. cuando dibujé este diagrama y lo miré, me quedé atónito y me pregunté: "¿es esta la cantidad de servidores de ia de alta gama que se están enviando? esto se debe a que, si se analizan los servidores en su conjunto, se trata de servidores de ia de uso general". sigue siendo un servidor de inteligencia artificial de alta gama y los envíos son muy pequeños.
figura 5 envíos de servidores, servidores de ia generales y servidores de ia de alta gama
fuente: autor en base a mic y digitimes
me decepcioné aún más cuando miré cuántos servidores de ia de alta gama se necesitarían para desarrollar y ejecutar ia generativa de nivel chatgpt.
se requiere un servidor de ia de alta gama para generar ia a nivel chatgpt
se informa que el desarrollo y operación de chatgpt requiere 30.000 servidores de inteligencia artificial de alta gama nvidia dgx h100 (figura 6). cuando vi esta cantidad de treinta mil unidades, me sentí mareado.
figura 6 ¿cuántos servidores de ia de alta gama se necesitan para ejecutar chatgpt? (fuente: sitio web de hpc)
por cierto, la "nvidia dgx h100" está equipada con ocho chips "h100", y el precio de cada chip se ha disparado a 40.000 dólares, lo que eleva el precio total del sistema a 460.000 dólares. en otras palabras, generar ia a nivel chatgpt requiere una inversión de 30.000 unidades x 460.000 dólares = 13.800 millones de dólares (¡aproximadamente 2 billones de yenes basados en 1 dólar = 145 yenes!).
creo que el mundo está lleno de sistemas de ia generativa, pero ¿cuántas ia generativas similares a chatgpt se han construido (o se construirán)? (figura 7)
figura 7 envíos de servidores, envíos de servidores de ia de alta gama y número de sistemas de ia generados a nivel chatgpt (fuente: mic y digitimes)
dado que el volumen de envío de servidores de ia de alta gama en 2022 será de 34.000 unidades, solo se puede construir un sistema de ia de nivel chatgpt (este es chatgpt). el año siguiente, en 2023, los envíos de servidores de ia de alta gama alcanzarán las 200.000 unidades, por lo que se podrán construir de 6 a 7 sistemas de ia de nivel chatgpt. dado que se espera que se envíen 564.000 servidores de ia de alta gama en 2024, será posible construir de 18 a 19 sistemas de ia de nivel chatgpt.
sin embargo, la estimación anterior supone que la ia de nivel chatgpt se puede construir con 30.000 servidores de ia de alta gama "nvidia dgx h100".sin embargo, como es probable que una generación de ia se vuelva más compleja, en este caso es posible que se necesiten más de 30.000 nvidia dgx h100. considerando todo esto, es poco probable que los proveedores de servicios de comunicaciones de ee. uu. estén satisfechos con los envíos actuales de servidores de inteligencia artificial de alta gama.
ahora, veamos cuántos servidores de ia de alta gama tiene cada usuario final (como un csp en los estados unidos).
número de servidores de ia de alta gama para usuarios finales
la figura 8 muestra la cantidad de servidores de ia de alta gama por usuarios finales. en 2023, microsoft, propietario de openai, tendrá la mayor cantidad de servidores de ia de alta gama con 63.000 unidades, pero para 2024, google superará a microsoft y tendrá la mayor cantidad de servidores de ia de alta gama.
figura 8 servidores de inteligencia artificial de alta gama por usuario final (2023-2024) (fuente: digitimes research)
los cinco primeros en 2024 son google, que ocupa el primer lugar con 162.000 unidades (5 sistemas), microsoft ocupa el segundo lugar con 90.000 unidades (3 sistemas), super micro ocupa el tercer lugar con 68.000 unidades (2 sistemas) y amazon (67.000 unidades) ocupa el cuarto lugar. 2 sistemas), seguido de meta en quinto lugar con 46.000 unidades (1 sistema) (el número entre paréntesis es el número de sistemas que la ia de generación de clase chatgpt puede construir). se puede observar que las cinco principales empresas de generación de energía termosolar de estados unidos monopolizan alrededor del 80% de la participación.
a continuación, veamos los envíos de aceleradores de ia para servidores de ia de alta gama (figura 9). como se esperaba, las gpu de nvidia son las más utilizadas para aceleradores de ia, alcanzando 336.000 unidades en 2024. sin embargo, sorprendentemente, la segunda empresa más popular no es amd, sino google.
figura 9 servidores de ia de alta gama por acelerador de ia (2023-2024) (fuente: digitimes research)
google desarrolló su propia unidad de procesamiento tensorial (tpu) como acelerador de ia. para 2024, el número de servidores de ia de alta gama equipados con esta tpu llegará a 138.000. aquí, en la figura 8, sabemos que google tendrá 162.000 servidores de ia de alta gama para 2024. por tanto, se espera que 138.000 unidades estén equipadas con la propia tpu de google y las 24.000 unidades restantes estén equipadas con la gpu de nvidia. en otras palabras, para nvidia, google es a la vez un cliente y un enemigo formidable.
además, si miramos los envíos en 2024, amd, que ocupa el tercer lugar, tiene 45.000 unidades, seguida de amazon, que ocupa el cuarto lugar, con 40.000 unidades. amazon también está desarrollando aws trainium como acelerador de inteligencia artificial. si espera más, amazon podría superar a amd.
en resumen, nvidia tiene actualmente los mayores envíos de aceleradores de ia, pero google y amazon se están convirtiendo en sus fuertes competidores. el competidor de nvidia no es el fabricante de procesadores amd (ni mucho menos el amenazado intel), sino los csp estadounidenses google y amazon.
se acerca un auge de la ia generativa a gran escala
resumamos todo hasta ahora. según un informe de digitimes research, se espera que los envíos de servidores de ia de alta gama capaces de desarrollar y ejecutar ia generativa de nivel chatgpt representen solo el 3,9% de todos los servidores para 2024. se cree que este volumen de envío simplemente no puede satisfacer las necesidades de los csp.
en otras palabras, el “festival gpu” de nvidia de 2023 a 2024 es solo el comienzo. como resultado, es probable que se produzca un auténtico auge de la ia generativa. mostremos los conceptos básicos a continuación.
la figura 10 muestra el mercado de semiconductores por aplicación y su previsión futura publicada por la semiconductor industry association (sia). según las predicciones de la sia, el mercado mundial de semiconductores superará el billón de dólares en 2030.
figura 10 previsión de envío de semiconductores por aplicación (fuente: blog de sia)
para 2030, los mercados más grandes serán la informática y el almacenamiento de datos. esto incluye pc y servidores (y, por supuesto, servidores de ia de alta gama), pero como es poco probable que los envíos de pc aumenten significativamente, los servidores probablemente constituirán la mayoría.
las comunicaciones por cable se refieren a los semiconductores utilizados en los centros de datos. esto significa que para 2030, la informática y el almacenamiento de datos (330 mil millones de dólares) + las comunicaciones por cable (60 mil millones de dólares) = un total de 390 mil millones de dólares se convertirán en semiconductores para centros de datos (incluidas las pc), convirtiéndose en el mercado más grande del mundo.
otro aspecto a tener en cuenta es el mercado de los centros de datos y sus perspectivas.como se muestra en la figura 11. después del lanzamiento de chatgpt en 2022, se espera que el mercado de centros de datos crezca de manera constante. los centros de datos constan de tres elementos: infraestructura de red, servidores y almacenamiento, y se espera que cada uno de los servidores y el almacenamiento se dupliquen aproximadamente entre 2023 y 2029.
figura 11 perspectivas del mercado de centros de datos (el auge integral de la ia generativa aún no ha llegado) (fuente: autor basado en datos de statista market insights)
de esta manera, los semiconductores para servidores (incluidos los servidores de ia de alta gama) ocuparán la mayor parte del mercado global y el mercado de los centros de datos también se expandirá.
repita una última vez.hasta ahora, el "festival gpu" de nvidia es sólo un evento previo a las vacaciones. se avecina un auténtico auge de la ia generativa.