noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

A medida que los modelos grandes inician el proceso de empoderamiento de la industria, su implementación a gran escala en el borde/lateral se ha convertido en una máxima prioridad para un mayor desarrollo. Sin embargo, la implementación en el borde/lateral es ciertamente más propicia para lograr una respuesta instantánea y protección de la privacidad para modelos grandes, pero también enfrentará desafíos en términos de fragmentación de la potencia informática, problemas de eficiencia energética y escenarios de implementación. Para las empresas, esto es a la vez una dificultad y una oportunidad.

Impulsados ​​por las necesidades de las aplicaciones de la industria, los modelos grandes se están desarrollando hacia el borde.

Actualmente, la gran industria modelo de mi país está experimentando un rápido desarrollo. Las estadísticas muestran que a finales de marzo, el número de modelos grandes lanzados en China llegó a 117. Sin embargo, en el proceso de desarrollo, a diferencia de Estados Unidos, que se centra en avances originales, las grandes empresas modelo de China ponen más énfasis en la implementación de aplicaciones. Zhou Hongyi, fundador y presidente de 360 ​​Group, dijo en un discurso anterior que los modelos de volumen, la potencia informática y los datos no son las únicas opciones para desarrollar modelos con billones de parámetros. Los grandes modelos de inteligencia artificial tienen caminos de desarrollo más diversificados. Li Dahai, cofundador y director ejecutivo de Face Wall Intelligence, también enfatizó la importancia de los modelos industriales, que ahora se han convertido en una de las tendencias importantes en desarrollo.

Si se desea empoderar a miles de industrias de manera más efectiva, los modelos grandes y la potencia informática relacionada no se pueden implementar solo en la nube y los modelos finales tienen ventajas comparativas que la nube no tiene. La primera es que el modelo final tiene una mayor confiabilidad. Los modelos desplegados en terminales pueden interactuar con el entorno en tiempo real y de forma continua, pero a los modelos en la nube les resulta difícil mantener esta continuidad. En segundo lugar, el modelo del lado del cliente puede garantizar mejor la privacidad del usuario. Este problema ha atraído cada vez más atención. Si en el futuro los robots entran ampliamente en los hogares, los problemas de privacidad se volverán más graves. Las ventajas del modelo del lado del cliente para garantizar la privacidad de los datos son aún más obvias.

Con base en este entendimiento, algunas empresas de informática de punta han tomado la iniciativa en la realización de prácticas de escenarios en torno a la IA de punta y han inyectado con éxito IA de punta en múltiples campos. Por ejemplo, en el campo de la fabricación inteligente, la plataforma de computación de borde Jetson de NVIDIA puede llevar capacidades de computación de inferencia de IA a escenarios industriales y resolver problemas como la detección de defectos y la fabricación flexible en la línea de ensamblaje mediante el uso de razonamiento visual de IA acelerado por GPU. Las soluciones de Intel también se utilizan en campos como el monitoreo inteligente, la educación y la enseñanza, y la atención médica inteligente. A través de la administración de varios dispositivos de borde, ayudan a que los servicios de inteligencia de borde sean más flexibles, eficientes y precisos.

El desarrollo de modelos de borde y de extremo también ha impulsado el crecimiento de la computación de IA de borde, y la potencia informática relacionada, los chips y otros eslabones de la cadena industrial han marcado el comienzo de una ola de desarrollo a gran escala. Qiu Xiaoxin, fundador y presidente de Aixin Yuanzhi, señaló que la verdadera implementación a gran escala de modelos grandes requiere una estrecha integración de la nube, el borde y el extremo en tres niveles. La clave para la combinación del borde y el extremo radica en la IA. Computación y percepción. Qiu Xiaoxin cree que los chips inteligentes y los modelos grandes multimodales se han convertido en la "combinación de oro" en la era de la inteligencia artificial. Cuando los modelos grandes se utilicen cada vez más, más económicos, más eficientes y más respetuosos con el medio ambiente se convertirán en las palabras clave de inteligente. chips y equipados con IA El chip de inferencia eficiente del procesador será una opción más razonable para la implementación de modelos grandes, que también es la clave para promover la IA inclusiva. STL Partners predice que para 2030, el tamaño del mercado potencial de computación de borde global crecerá a 445 mil millones de dólares, con una tasa de crecimiento anual compuesta de la industria de hasta el 48%.

Implementación diversificada de potencia informática para hacer frente a los desafíos de la fragmentación

Sin embargo, la implementación de modelos grandes en el lado del borde/extremo no se puede lograr de la noche a la mañana. Debido a las limitaciones de recursos informáticos de los dispositivos perimetrales y la diversidad de requisitos de recursos informáticos de los modelos grandes, la implementación perimetral enfrentará primero desafíos en términos de potencia informática. Por un lado, los fabricantes de modelos necesitan realizar procesamientos técnicos como compresión, poda y cuantificación en modelos grandes para reducir el tamaño y la complejidad computacional del modelo para que pueda adaptarse a los requisitos de rendimiento de los dispositivos de borde/extremo; por otro lado, ¿cómo funciona la base de potencia informática? El despliegue de instalaciones también es un tema central.

Zhang Yu, director de tecnología de la División de Red y Borde de Intel China, enfatizó que a medida que la inteligencia artificial fortalece a miles de industrias, diferentes aplicaciones tienen diferentes demandas de potencia informática, y el alcance es muy amplio. Aquellos con requisitos de alto rendimiento deben estar alojados en un clúster de potencia informática, mientras que se pueden utilizar uno o varios dispositivos con requisitos de potencia informática bajos. Yang Lei, director de producto de Arm Technology, también dijo que al implementar modelos de IA tan grandes en terminales, todavía enfrenta múltiples desafíos, como el costo, el consumo de energía y el ecosistema de software.

En respuesta a estas tendencias de la demanda, los proveedores de infraestructura de potencia informática como Inspur y Lenovo han estado creando diseños de potencia informática en torno a la "inteligencia de red de nube de extremo final" en los últimos años. Los productos incluyen puertas de enlace inteligentes, servidores perimetrales, controladores industriales, computadoras integradas y otros dispositivos de hardware para satisfacer las necesidades de potencia informática de diferentes industrias. En lo que respecta al chip, la integración de CPU+GPU+NPU se ha convertido en la dirección del desarrollo del procesador para hacer frente a potencias informáticas de IA más complejas. Qualcomm lanza la unidad de procesamiento neuronal dedicada integrada Snapdragon X Elite que admite decenas de miles de millones de modelos a nivel de parámetros. El procesador Intel Meteor Lake combina la NPU con la función AI del motor informático en el procesador para mejorar la eficiencia energética de la PC que ejecuta funciones AI. En términos de chips de IA nacionales, Aixin Yuanzhi también lanzó recientemente el "Procesador de IA Aixin Tongyuan". El conjunto de instrucciones del operador central y la microarquitectura de flujo de datos adoptan una microarquitectura de flujo de datos programable, que puede mejorar eficazmente la eficiencia energética y la potencia informática. Densidad, adecuada para el desarrollo de campos de razonamiento de IA y computación de punta.

Los problemas de eficiencia energética en el borde son destacados y el desarrollo ligero es la clave

La eficiencia energética también es una cuestión clave que debe tenerse en cuenta en el desarrollo de modelos de gran tamaño. De hecho, si los modelos grandes quieren implementarse de manera efectiva en el borde/final, en comparación con la nube, los problemas de eficiencia energética son más prominentes. Sachin Katti, vicepresidente senior y gerente general de la División de Red y Edge de Intel, dijo en una entrevista con el autor que cuando se habla de potencia informática, además de optimizar la potencia informática, la ecología del software, etc., un tema clave es el consumo de energía. especialmente cuando se despliega en el borde. El consumo de energía de los equipos implementados en el borde puede ser de aproximadamente 200 W; el consumo de energía de la implementación en la nube puede ser de 1 a 2 kW, y el consumo de energía de un bastidor de una sola capa en el centro de datos puede llegar a 100 kW. Si se suma el consumo de energía de todo el centro de datos, puede alcanzar una escala de 50G a 100GW.

Los dispositivos perimetrales suelen tener una potencia informática y una memoria limitadas, y los modelos grandes requieren importantes recursos para la inferencia de alto rendimiento. ‌Por lo tanto, ‌cómo optimizar la utilización de recursos y reducir el consumo de energía garantizando al mismo tiempo la precisión del modelo y la velocidad de respuesta se ha convertido en una cuestión clave. En respuesta a esta tendencia, los fabricantes relevantes han promovido marcos de desarrollo livianos y bibliotecas de aceleración, como el motor de implementación del modelo Ryzen AI lanzado por AMD, la biblioteca de aceleración de inferencia OpenVINO de Intel, la biblioteca de aceleración de inferencia de alto rendimiento TensorRT de NVIDIA, etc., combinadas con enfoques específicos. Los marcos de desarrollo livianos para terminales integrados y móviles (como PyTorch Mobile, TensorFlow Lite, Paddle Lite, etc.) pueden promover la aplicación generalizada de inteligencia artificial en dispositivos móviles, Internet de las cosas y otros escenarios de computación de borde.

Además, la industria también ha comenzado a adoptar ampliamente la tecnología de refrigeración líquida como medio para enfriar servidores y se está utilizando gradualmente en centros de datos e implementaciones de modelos grandes. Se entiende que la tecnología de refrigeración líquida existente ya puede enfriar una flota de 100 kW y se espera que se amplíe a 300 kW en el futuro.

Al explorar las aplicaciones de IA, ¿quién será la “escena estrella” en el futuro?

A medida que la gente enfatiza cada vez más el poder de los modelos grandes en aplicaciones industriales, encontrar "escenas estelares" adecuadas se ha convertido en una cuestión clave que determina el éxito o el fracaso de la industria. Actualmente, los teléfonos móviles con IA, las PC con IA y la conducción autónoma se han convertido en los mercados de aplicaciones más prometedores para modelos grandes.

La última investigación de la firma de investigación de mercado IDC muestra que el mercado de teléfonos móviles con IA alcanzará envíos de 234,2 millones de unidades en 2024, un aumento del 363,6% con respecto a los 50,5 millones de unidades enviadas en 2023, y representará el 19% del total de teléfonos inteligentes. mercado este año. En 2028, los envíos de teléfonos móviles con IA alcanzarán los 912 millones de unidades, con una tasa de crecimiento anual compuesta del 78,4%. Anthony Scarsella, director de investigación del seguimiento trimestral mundial de teléfonos móviles de IDC, dijo que el costo seguirá siendo un inhibidor clave cuando se lancen los teléfonos con IA, ya que muchos chips y NPU potentes son caros y se venden principalmente en el mercado de gama ultra alta. Sin embargo, a medida que pasa el tiempo y la competencia se intensifica, creemos que estos componentes encontrarán su camino hacia los modelos de gama media y más asequibles.

Las PC con IA están madurando más rápido de lo esperado originalmente y se espera que traigan una ola de reemplazos a la industria mundial de las PC. Según el pronóstico de Canalys, la tasa de penetración global de PC con IA aumentará del 19% al 71% de 2024 a 2028, y los envíos aumentarán de 51 millones de unidades a 208 millones de unidades, con una tasa de crecimiento anual compuesta del 42,11%. Morgan Stanley predice que las PC con IA representarán el 2% del mercado general de PC este año y aumentarán al 16% el próximo año, al 28% en 2026, al 48% en 2027 y al 64% en 2028.

El uso de modelos grandes en automóviles aún se encuentra en sus primeras etapas, pero a medida que el concepto de inteligencia se arraiga gradualmente en los corazones de las personas, la mayoría de la gente está de acuerdo en que los automóviles eventualmente se convertirán en "terminales móviles ambulantes". Los grandes modelos de IA en automóviles también "tomarán el camino del tren expreso". Hay dos direcciones principales para los modelos grandes que se colocan en los automóviles: una es ingresar al área de la cabina para lograr una interacción humano-computadora más inteligente y la otra es cooperar con el sistema de conducción automática para mejorar aún más las soluciones de conducción inteligente. Zhang Chi, director de tecnología de Maichi Intelligent Technology Co., Ltd., dijo que los modelos grandes aceleran la transición de la conducción autónoma de las autopistas a escenarios urbanos más complejos y también promueven la formación de percepción e integración de control de extremo a extremo. Liu Jianwei, cofundador y vicepresidente de Aixin Yuanzhi, dijo que Aixin Yuanzhi predijo el estallido de Transformer en 2022 y tomó la iniciativa en el lanzamiento de un chip equipado con el procesador Aixin Tongyuan AI. Los chips de conducción inteligentes de Aixin Yuanzhi, como M55H y M76H, se han instalado en los modelos más vendidos actualmente.