huawei lanza un nuevo almacenamiento de ia para permitir el entrenamiento y la inferencia de modelos grandes de ia con un nuevo paradigma de memoria larga
2024-09-21
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
el 20 de septiembre, en la cumbre de almacenamiento de datos celebrada durante la conferencia huawei connect 2024, el dr. zhou yuefeng, vicepresidente de huawei y presidente de la línea de productos de almacenamiento de datos, lanzó el nuevo almacenamiento de ia oceanstor a800, que mejora de manera integral el entrenamiento de modelos grandes de ia. con el nuevo paradigma de memoria larga y capacidades de razonamiento, ayudando a miles de industrias a avanzar hacia la era de la inteligencia digital.
zhou yuefeng, vicepresidente de huawei y presidente de la línea de productos de almacenamiento de datos, pronunció un discurso de apertura
la civilización humana ha evolucionado desde la antigua edad de piedra, a la era agrícola, a la era industrial y ahora a la era de la inteligencia digital. los datos han sido un factor de producción clave para el desarrollo de nuevas fuerzas productivas. las personas utilizan los datos para lograr un gran desarrollo en campos centrales de la ia, como los grandes modelos de ia, la inteligencia incorporada y la ia para la ciencia.
la era de la inteligencia digital es la edad de oro de los datos. si bien la escala de los datos está creciendo explosivamente y el valor de los datos está aumentando, también enfrenta desafíos como un ancho de banda insuficiente de xpu y almacenamiento, baja disponibilidad de clústeres informáticos y extensión. tiempo de inferencia, que plantea requisitos más altos para el almacenamiento. la era de la inteligencia digital exige almacenamiento para la ia. el almacenamiento de datos con el máximo rendimiento, alta escalabilidad, resiliencia de los datos, desarrollo sostenible, nuevos paradigmas de datos y capacidades de tejido de datos es el único camino hacia la era de la inteligencia digital de la ia.
para abordar los desafíos anteriores, huawei lanzó su nuevo almacenamiento de inteligencia artificial oceanstor a800. basado en las capacidades de entrenamiento eficiente de grandes modelos de inteligencia artificial, ha mejorado enormemente las capacidades de razonamiento y ha logrado avances en el rendimiento del clúster y nuevos paradigmas de datos, promoviendo la aplicación. de ia en miles de industrias. se implementa el negocio.
1. un único conjunto de dispositivos de almacenamiento de ia admite el entrenamiento de modelos grandes a nivel de 100.000 tarjetas. al construir una arquitectura técnica que comparta completamente las tarjetas de red de front-end y la interconexión completa de controladores y discos ssd de back-end, un único dispositivo de almacenamiento puede admitir la interconexión completa de un clúster de 100.000 tarjetas. un conjunto de almacenamiento oceanstor a800 puede realizar una conexión estática completa con un grupo de entrenamiento de hasta 192 000 tarjetas, lo que mejora el rendimiento en un 40 % y reduce el uso de espacio en un 80 %.
2. utilizando almacenamiento e informática, la disponibilidad de los clústeres de ia aumenta en un 30 %. las interrupciones del entrenamiento de ia ocurren con frecuencia. según las estadísticas, el tiempo de entrenamiento continuo más largo en el centro de entrenamiento de ia es de solo 2,6 días, lo que hace que la gpu/npu guarde datos ckpt repetidamente. china mobile utiliza el almacenamiento de ia oceanstor de huawei para el entrenamiento de modelos grandes, logrando un clúster de almacenamiento único de 150 pb, ancho de banda de 8 tb/s y capacidades de 230 millones de iops. la disponibilidad del clúster aumenta en un 32 %, brindando un fuerte soporte para el posterior entrenamiento de modelos grandes a gran escala. .
3. computación basada en almacenamiento, el almacenamiento en memoria de larga duración mejora la experiencia de razonamiento y reduce los costos del sistema.
el contexto prolongado se ha convertido en una tendencia de desarrollo inevitable para el razonamiento de modelos grandes. según la ley de escala, proporcionar una potencia informática de razonamiento suficientemente alta y una cantidad de tokens intermedios puede mejorar en gran medida la precisión del razonamiento. a través del almacenamiento de ia profesional, el contexto largo y los tokens de razonamiento intermedios masivos se pueden almacenar durante mucho tiempo, maximizando las capacidades de pensamiento lógico y razonamiento de modelos grandes, especialmente las capacidades de pensamiento lento.
como el primer dispositivo de almacenamiento de la industria que proporciona capacidades de memoria larga, oceanstor a800 adopta de manera innovadora un mecanismo de caché kv multinivel para persistir y utilizar eficientemente kv-cache, permitiendo que el razonamiento de modelos grandes tenga capacidades de memoria larga y reduzca los cálculos repetidos en la etapa de prellenado. la latencia de inferencia del cliente se reduce en un 78 % y el rendimiento de una sola tarjeta xpu aumenta en un 67 %, lo que mejora significativamente la experiencia de inferencia y al mismo tiempo reduce los costos.
el nuevo almacenamiento de ia en la era de la inteligencia digital está ejerciendo valor en escenarios industriales como el crédito financiero, el análisis de investigaciones de inversiones, la salud médica y la investigación y el desarrollo de medicamentos. zhou yuefeng dijo que en la era dorada de los datos, huawei ha desatado capacidades avanzadas de almacenamiento de datos con su innovador almacenamiento de ia y ha sentado las bases para la era de la inteligencia digital.
