diálogo en la conferencia sobre potencia informática de china ｜ académico liu yunjie: la potencia informática nacional debe compensar sus deficiencias mediante clústeres de gpu
2024-09-29
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
la era de la ia (inteligencia artificial) es también una era de potencia informática. las empresas de tecnología y los operadores de telecomunicaciones nacionales y extranjeros han "acumulado" 10.000 tarjetas o incluso más de 10.000, pero problemas como la compatibilidad ecológica y la informática heterogénea también se han convertido en montañas que la industria debe escalar.
el 28 de septiembre, durante la ceremonia de apertura de la conferencia china computing power 2024, liu yunjie, académico de la academia de ingeniería de china, dijo en una entrevista con beijing news shell finance y otros medios que las gpu de punto final nacionales aún no podrán competir. con países extranjeros en un corto período de tiempo. una posible forma de compensar las deficiencias es construir una red de potencia informática para "entrenar toda la potencia informática" y aprovechar al máximo el efecto de los clústeres de gpu.
además, señaló que no es posible juzgar simplemente qué tipo de empresa tiene más ventajas en la construcción de una red de potencia informática, sino principalmente a través de la evaluación técnica. "depende de si su tecnología puede utilizarse y desarrollarse, y de si su innovación y el camino que tome satisfacen las necesidades". en cuanto al problema del coste de la potencia informática, destacó que "debe resolverse con nuevas tecnologías".
en la actualidad, la tecnología de red determinista estudiada por liu yunjie puede ahorrar entre el 60% y el 70% del costo. el proyecto de programación de redes informáticas lanzado por él junto con otras instituciones puede lograr múltiples capacitaciones externas para lograr una eficiencia del 80% de una sola. entrenamiento puntual.
liu yunjie, académico de la academia china de ingeniería. foto cortesía de los entrevistados.
se recomienda seguir el modelo industrial a gran escala para resolver los problemas de circulación de datos y utilización de la potencia informática.
"china debe tomar el camino de los modelos industriales a gran escala", enfatizó liu yunjie en su discurso de apertura. él cree que los grandes modelos nacionales de uso general pueden quedar muy por detrás de los estados unidos en el corto plazo y será difícil alcanzarlos.
propuso que si las empresas de modelos nacionales pueden entrenar bien los datos de la industria y crear modelos industriales grandes basados en modelos generales grandes, "definitivamente podrán seguir el camino chino". se muestra optimista acerca de esta dirección técnica porque cree que "los datos de la industria de china son los más completos y completos".
al mismo tiempo, dijo que el desarrollo de modelos industriales a gran escala requiere los esfuerzos conjuntos del gobierno, las empresas y el capital. le dijo a un periodista de shell finance que en la actualidad aún es necesario fortalecer el intercambio y la circulación de datos nacionales, lo que ha tenido un impacto en el gran modelo de la industria de la capacitación, y "todo el mundo todavía está explorando" qué tipo de vía es más prometedor.
los datos divulgados en la conferencia sobre potencia informática de china de 2024 muestran que la escala total de potencia informática nacional alcanza los 246 eflops. según la observación de liu yunjie, la potencia informática nacional ha alcanzado una cierta escala, pero la tasa de utilización no es muy ideal.
"si la potencia informática quiere servir a la economía real, varias partes deben estar de acuerdo". liu yunjie cree que, en primer lugar, los proveedores de potencia informática y redes deben hacer un buen trabajo, "(porque) han obtenido beneficios a través de estos servicios". además, el gobierno debería decir cosas buenas, "(porque) el gobierno ha resuelto el problema". finalmente, las empresas tienen que decir bien, "(porque) las empresas han mejorado su propia eficiencia mediante el uso de la potencia informática e internet".
hizo hincapié en que el efecto del "acuerdo de una de las partes" no es duradero, lo que significa que la industria no ha establecido un ecosistema de potencia informática. "si no solucionamos el problema ecológico, no podremos utilizarlo (la potencia informática)".
la red determinista es una de las tecnologías básicas de la futura red de potencia informática, que ahorrará entre un 60% y un 70% de los costos.
"el entrenamiento de modelos grandes requiere una transmisión de datos sin pérdidas e impone requisitos en los indicadores de la red, como la pérdida de paquetes, la fluctuación y el retraso", dijo liu yunjie. tomando como ejemplo los estándares internacionales de datos, explicó que si la tasa de pérdida de paquetes alcanza cinco milésimas, la eficiencia de transmisión caerá en un 50%.
explicó además que esto es como usar todo el ancho de banda de 100g para transmitir datos, y que solo el ancho de banda de 50g es útil. "cuando cae al 1%, su eficiencia es aproximadamente igual a 0, lo que hace imposible entrenar y razonar".
el protocolo rdma (acceso remoto directo a memoria) es necesario para que la red evite la pérdida de paquetes. esta tecnología permite que la computadora acceda directamente a la memoria de la computadora remota, transmita datos a nivel de memoria sin intervención frecuente de la cpu y reduzca el retraso en el procesamiento y el consumo de recursos del extremo emisor y receptor durante el proceso de transmisión de datos.
¿cómo cumplir con los estándares de transmisión de datos para el entrenamiento e inferencia de modelos grandes? liu yunjie cree que la tecnología de red determinista cumple relativamente con los requisitos y la considera "una tecnología básica para las futuras redes de potencia informática". liu yunjie reveló que en 2022, dirigió el equipo para abrir redes deterministas en 35 ciudades. el número de ciudades ahora ha aumentado a 39. puede lograr un retraso y una fluctuación de extremo a extremo de menos de 50 microsegundos y lograr cero pérdida de paquetes. .
en el proceso de desarrollo de tecnología de red determinista, liu yunjie cree que el avance tecnológico más importante es la integración fotoeléctrica, que aporta avances en la utilización del ancho de banda, el costo de la red y el consumo de energía.
en términos de costo, tomó como ejemplo una determinada empresa de conducción autónoma y explicó que los datos de conducción autónoma generados por 20 vehículos en 4 lugares del país cada día se envían primero a shanghai y luego a guiyang para recibir capacitación, lo que requiere aproximadamente dos circuitos 10g y un circuito 1g cuestan alrededor de 10 millones de yuanes al año.
¿qué debo hacer si no puedo pagarlo? pasar al uso de discos duros para recopilar datos y transportarlos entre las dos ciudades, teniendo en cuenta la pérdida de datos, los daños en los discos duros, etc., costaría alrededor de 1,9 millones de yuanes al año. y utilizando una red determinista para proporcionar servicios mediante segmentación, "120.000 yuanes al año son suficientes".
liu yunjie enfatizó que este nivel de reducción de costos se logra mediante el uso compartido de redes. los datos que mostró en su discurso de apertura mostraron que ha estado funcionando en la red de prueba durante más de tres meses, con una eficiencia de parámetros que alcanza más del 95% y un ahorro de costos del 60% al 70%.
aprovechar al máximo el efecto del clúster de gpu para compensar las deficiencias de la potencia informática nacional
¿es probable que la red de potencia informática sea la dirección en la que la potencia informática nacional supere a la potencia informática extranjera en el futuro? liu yunjie dijo que una comprensión más precisa es "compensar las deficiencias". él cree que en un corto período de tiempo, nuestra gpu de punto final aún no podrá competir con países extranjeros. "quizás no pueda igualarte en un solo aspecto, pero puedo vencerte aprovechando el poder del grupo. además, enfatizó que para ejercer el efecto de los clústeres de gpu, es necesario construir una red para "entrenar". toda la potencia informática”.
él cree que los modelos grandes pueden adoptar el camino del entrenamiento colaborativo y el entrenamiento distribuido. "si se entrenan 100.000 tarjetas en un solo lugar, el poder será demasiado". reveló que su equipo lanzó el programa conjuntamente con la academia de ciencias de china. el centro nacional de supercomputación wuxi y otras instituciones el proyecto de programación de la red nacional de energía informática puede lograr el efecto de resolver problemas de colas en el nivel de minutos, y la capacitación múltiple fuera del sitio puede lograr una eficiencia del 80% de la capacitación de un solo punto. "básicamente, la formación distribuida y la formación colaborativa son factibles".
al hablar sobre cómo coordinar la relación de desarrollo entre el hardware y el software informático, liu yunjie propuso que el software y el hardware deberían combinarse e integrarse para el desarrollo.
la producción de hardware consume recursos geofísicos, afirmó. "(cada vez) consume un poco, los recursos son un poco menores". el software es relativamente flexible, puede modificarse y consume menos recursos físicos. "este es un concepto de desarrollo social muy importante". además, liu yunjie cree que el desarrollo de software consume una cierta cantidad de recursos humanos, pero después de la aplicación de la ia, la eficiencia del desarrollo se ha acelerado. luego propuso desarrollar al máximo todas las piezas que puedan ser reemplazadas por software.
"pero el software no es omnipotente y debe cumplir con las condiciones del hardware requeridas por la potencia informática". él cree que las partes que el software no puede soportar deben desarrollarse junto con el hardware.
¿cómo crear un ecosistema de red de potencia informática compartida? liu yunjie sugirió que los departamentos gubernamentales pertinentes deberían coordinarlo y gestionarlo, y que las empresas y las instituciones de investigación científica deberían cooperar estrechamente. "este es un proyecto global, pero actualmente cada uno trabaja por su cuenta."
wei yingzi, periodista de beijing news shell finance
editor lin zi
revisado por liu jun
