noticias

“Espero que nuestros productos de próxima generación puedan iterar paraComparado con la actual NVIDIA B200Productos más avanzados…”

Este es el último “pequeño objetivo” compartido por Yang Gongyifan, fundador y director ejecutivo de Zhonghao Xinying, una startup de chips de entrenamiento de IA, recientemente a Xinying.Yang Gongyifan es un veterano de I+D de chips. Ha estado involucrado en I+D de chips de alta gama durante más de diez años en empresas como Oracle y Google, y participó en el equipo central de I+D de chips como miembro de.GoogleTPU 2/3/4Diseño e I+D regresaron a China a finales de 2018 para formar un equipo completo de diseño de chips y un equipo de verificación de prototipos, y establecieron Zhonghao Xinying en 2020.

Según él, en 2023 Zhonghao XinyingLograr beneficios positivos por primera vez, el beneficio neto atribuible a la empresa matriz alcanzó los 81,33 millones de yuanes y los ingresos anuales alcanzaron los 485 millones de yuanes.5rondas de financiación;EsoEl chip de entrenamiento de TPU de desarrollo propio "Snap" se ha puesto en producción en masa, en el que la potencia informática del modelo de entrenamiento "Snap" alcanza la de NVIDIA A100Casi 1,5 veces .Zhonghao Xinying utiliza el chip de entrenamiento de IA "Snap" como piedra angular y construye un grupo informático inteligente de IA a gran escala "Taize" a través de las capacidades de interconexión entre chips de alta velocidad de 1.024 chips.La escala de potencia informática del clúster de kilocard alcanza los 200 PFLOPS。

▲ Chip de entrenamiento de IA de Zhonghao Xinying "Snap"

A diferencia de la GPU que actualmente domina el mercado de chips de IA, la vía elegida por Yang Gongyifan es la arquitectura TPU diseñada específicamente para el aprendizaje profundo: “La arquitectura TPU es una arquitectura naturalmente ventajosa para grandes modelos de IA. Con el mismo proceso de producción y el mismo proceso, logrará de 3 a 5 veces el rendimiento de la arquitectura GPU tradicional”.

Yang Gong Yifan dijo que Zhonghao Xinying está actualmenteEl único en el país que tieneTPUFormación y promoción integrada de la arquitectura.AIEmpresa de tecnología central de chips . Predice que en los próximos 5 a 10 años,TPUy claseTPULa cuota de mercado de la arquitectura alcanzará80%,el restante10%-20%es tradicionGPU。

Además de promover la investigación, el desarrollo y la implementación de chips de IA, Zhonghao Xinying también ha desarrollado por sí mismo un gran modelo previamente capacitado que puede proporcionar capacidades de producción "rígidas", que eventualmente se abrirá a socios en finanzas, atención médica y educación. , etc. para implementar modelos profesionales de gran tamaño en campos verticales.

Los chips de IA son una conocida carrera de larga distancia que quema dinero. ¿Cómo puede Zhonghao Xinying lograr rentabilidad en cinco años? Como empresa emergente de chips, ¿por qué desarrolla sus propios modelos grandes y construye su propio centro de computación inteligente, y cómo planea diferenciarse de la competencia cada vez más feroz por los chips de IA nacionales? Recientemente, Yang Gongyifan, fundador y director ejecutivo de Zhonghao Xinying, tuvo una conversación en profundidad con Xinying Xinying, compartiendo todos los pensamientos y opciones en el proceso empresarial, así como el análisis y juicio sobre el desarrollo tecnológico y las tendencias de implementación empresarial.

▲ Yang Gongyifan, fundador y director ejecutivo de Zhonghao Xinying

1. Más de 10 años de experiencia en investigación y desarrollo de chips, profundamente involucrados en la investigación y el desarrollo de Google TPU, regresaron a China para iniciar un negocio en 2018.

Los más de 10 años de experiencia de Yang Gongyifan en el campo de los chips de alta gama sentaron las bases para que encontrara la dirección empresarial adecuada.

Después de obtener una maestría en ciencias de la computación de la Universidad de Stanford, Yang Gongyifan participó y dirigió el diseño y la producción de 12 CPU de alto rendimiento de alto nivel, incluida SPARCT8/M8, en Oracle Corporation. Además, tiene experiencia en cintas exitosas. más de diez veces.

▲ Artículos relevantes publicados por Yang Gongyifan durante su estancia en Oracle (Fuente: IEEE Xplore)

Unirse a Google en 2017 plantó las semillas para que regresara a China para iniciar un negocio en el futuro.

Mientras estuvo en Google, Yang Gongyifan participó en el diseño y la I+D de TPU 2/3/4 como miembro del equipo central de I+D del chip. Mencionó que fueron los diez años de experiencia anteriores los que les permitieron realizar investigaciones basadas en la informática. necesidades de aplicaciones y modelos informáticos Después de la mejor optimización, se desarrolló con éxito TPU 2/3/4.

En junio de 2017, ocho coautores de Google publicaron una obra maestra llamada "La atención es todo lo que necesitas", que será un sistema revolucionario basado en TPU.Transformador La arquitectura se lleva al extremo, lo que marca el comienzo de que la arquitectura Transformer se vuelva popular en la investigación de modelos grandes. Al mismo tiempo, Yang Gongyifan cree que los modelos grandes se equiparán gradualmente con inteligencia humana y que el TPU tendrá un gran impacto en el desarrollo industrial. Cree firmemente que los modelos grandes reemplazarán a los humanos y se convertirán en el núcleo de la productividad social en 2025 y 2026.

▲ Arquitectura de Google TPU (Fuente: YouTube)

Yang Gongyifan cree que esta vez la transformación del campo de la informática mediante modelos grandes es el mayor cambio en la historia de la humanidad. Debido a que todos los cálculos anteriores se realizaban en un chip para completar una o varias aplicaciones, ahora es la primera vez que se utilizan miles de chips para completar una sola aplicación, lo que plantea grandes problemas para la implementación de toda la arquitectura informática. es oportunidad.

Lo que piensa es que es raro tener un desafío tan grande, un cambio tan grande y una gama tan grande de escenarios de aplicación, por lo que debe hacerlo. Con base en este entendimiento, regresó a Shenzhen a fines de 2018, formó un equipo para construir un chip de entrenamiento de IA de TPU controlable independientemente y producido en el país, y estableció oficialmente Zhonghao Xinying en 2020.

Esto también marcó el comienzo de su primer momento de logro empresarial.2019En 2016, vimos que el simulador se completó, ejecutó y funcionó bien, lo que demostró que el diseño de su chip era factible.

En los primeros días de iniciar un negocio, la idea de Yang Gong Yifan era formar primero un equipo que pudiera fabricar productos. Por lo tanto, el equipo inicial aterrizó en Shenzhen, estableció un equipo de diseño de chips y un equipo de verificación de prototipos, y completó el diseño modular del chip. Después de eso, Zhonghao Xinying aterrizó en Hangzhou en 2020. Con la promoción de productos, el ingreso de financiamiento y la producción en masa de chips, establecieron un equipo completo de cadena de suministro y un equipo de marketing. Actualmente, el tamaño del equipo ha llegado a más de 170 personas, de las cuales personal de I+D. representan el 10% del total. La proporción está por encima del 80%.

Pero la etapa inicial de iniciar un negocio no fue fácil. En ese momento, la mayoría de los actores nacionales, las instituciones de inversión y los clientes no reconocían las perspectivas futuras de desarrollo y aplicación de modelos grandes en la industria. Según el retiro de Yang Gongyifan, en los primeros días de su establecimiento, Zhonghao Xinying no tenía ningún ingreso. durante dos años, y no fue hasta 2021 que logró su primera operación que será oficialmente rentable en 2023. En 2023, los ingresos de la empresa alcanzarán los 485 millones de yuanes, con un beneficio neto atribuible a la empresa matriz de 81,33 millones de yuanes.

En la actualidad, Zhonghao Xinying ha completado 5 rondas de financiación y el monto de financiación divulgado incluye2022Año9completado en mesesALa ronda de financiación asciende a unos 100 millones de yuanes, encabezada por Saizhi Bole Investment, con la participación de Hangzhou High-tech Investment y otros;2023Completado en años consecutivos.Pre-ByPre-B+rondas de financiación, por valor de cientos de millones y decenas de millones de yuanes respectivamente.

En opinión de Yang Gongyifan, el reconocimiento de los inversores hacia ellos se divide en varias etapas: en la etapa inicial, miran al equipo, en el mediano plazo, se concentran en si sus productos satisfacen la demanda del mercado y, en la etapa posterior, se concentran. sobre si los productos tienen competitividad central y la nueva dirección de expansión de la industria. No importa desde la perspectiva del diseño del producto, la selección de la ruta técnica o la integridad del equipo, Zhonghao Xinying no se ha quedado atrás en cada paso.En la actualidad, Zhonghao Xinying se ha convertido en la única empresa del país que dominaTPUFormación y promoción integrada de la arquitectura.AIUna empresa con tecnología de núcleo de chip.

dos,El TPU se adapta naturalmente a modelos grandes,El rendimiento del chip de entrenamiento de IA es 1,5 veces mayor que el del A100

“Dejemos que la potencia informática se convierta en la fuerza impulsora del desarrollo humano”El diseño empresarial de Zhonghao Xinying se desarrolla según esta visión.

Yang Gongyifan explicó que lo primero que se debe hacer para lograr este objetivo es fabricar el chip primero, porque es la infraestructura más baja. Una vez completada la infraestructura subyacente, el chip se puede integrar en una cadena de suministro completa para garantizar que la infraestructura pueda funcionar. Suministro continuo de producción.

Por otro lado, existen socios ecológicos que implementan modelos industriales a nivel de algoritmo. El papel de Zhonghao Xinying en esto es realizar una autoinvestigación y capacitación previa de modelos grandes, y luego abrirlos a socios de la industria, como finanzas, educación y atención médica.

En la era de los grandes modelos,TPUyTransformadorLa arquitectura es naturalmente adaptable.

En comparación conUPCLa unidad de cálculo escalar en yGPULa unidad de cálculo vectorial enTPULas tareas computacionales se pueden completar utilizando unidades informáticas bidimensionales o incluso de dimensiones superiores.TPUEl diseño facilita la implementación de grupos de kilotarjetas, la conexión1024un chip se convierte32×32Una matriz bidimensional permite que cada chip alcance el 100% de simetría con cualquier chip de toda la red.

Agregó,TPU La arquitectura está optimizada para soluciones de aprendizaje profundo y también se puede utilizar para cálculos de aprendizaje profundo a gran escala, como Intelligent Computing Network y Wanka Internet.Yang Gong Yifan dijo, aunqueTPUEl rendimiento es relativamente pobre en términos de versatilidad, pero en términos deAIEn el escenario de aplicación, bajo el mismo proceso de producción y tecnología,TPULa actuación arquitectónica es tradicional.GPUde3-5veces.

establecido5 En 2018, Zhonghao Xinying logró la producción en masa e industrialización de chips en un instante.Este fue su segundo momento de logro, cuando el equipo de I+D se quedó despierto toda la noche.“encender”, el proceso de completar la verificación del producto aún está fresco en su memoria.

Comparado con NVIDIAA100, desarrollado por Zhonghao XinyingIA GPTPUchip de entrenamiento“momento”El rendimiento informático es su1.5veces, el consumo de energía se reduce al completar la misma cantidad de tareas de entrenamiento.30%, el costo unitario de potencia de cálculo es42%。

"Taizé"AIEl servidor está equipado con8 Un chip de entrenamiento de "momento" puede respaldar el entrenamiento y la inferencia de modelos grandes con más de 100 mil millones de parámetros.Yang Gong Yifan reveló que entre los productos entregados durante el período de capacitación actual, los clientes de Zhonghao Xinying completaronLlama 2Entrenamiento e inferencia de otros modelos sobre el cluster Kcal.

“momento”Con un Gundam único1024La capacidad de la interconexión de chip a chip de alta velocidad para construir clústeres informáticos inteligentes a gran escala“tainori”, el rendimiento del clúster del sistema es el tradicionalGPUDecenas de veces delAIRequisitos informáticos.

Zhonghao Xinying puede hacerTPU Otro punto clave del chip es que Yang Gongyifan dijo que no utilizan el empirismo al contratar ingenieros.Dijo que cuando trabajaron con ingenieros experimentados al principio del proceso de diseño, descubrieron que estos ingenieros no podían entender el proceso de diseño.TPUEs más probable que la innovación de concepto y diseño esté limitada por experiencias repetidas y sea incapaz de pensar de manera más directa para resolver problemas rápidamente y optimizar el rendimiento.

Ante la demanda de mayor potencia informática en la era de los modelos grandes, añadió que el clúster Wanka debe estar disponible yTPULa ventaja natural de la arquitectura en las capacidades de red determina que tiene más ventajas en la construcción de clústeres Wanka y un mejor rendimiento relativo.

3. Al ingresar a la vía de modelos grandes previos a la capacitación, el tamaño del mercado de arquitectura similar a TPU puede alcanzar el 80%

El año pasado, Zhonghao Xinying también presentó a los mejores talentos para formar un gran equipo de algoritmos modelo.

El rendimiento único de la arquitectura TPU puede aumentar la libertad del software utilizado en las aplicaciones empresariales y facilitar el diseño paralelo, logrando así la optimización del rendimiento y la construcción del sistema.

Para encontrar soluciones que satisfagan mejor las necesidades de las empresas, los fabricantes de chips pueden entrenar sus propios modelos para comprender mejor las características del modelo y los escenarios de aplicación, y aumentar la satisfacción del cliente y la lealtad a los chips. Los productos actuales de modelos grandes de uso general generalmente tienen fuertes capacidades "flexibles", como comprensión de texto, recuperación de información de Internet y diálogo de múltiples rondas. Sin embargo, cuando se enfrentan a escenarios de aplicaciones industriales altamente profesionales, a menudo es difícil comprender el conocimiento empresarial en subdivisiones. Al mismo tiempo, la lógica y la terminología profesional tienen poca precisión en los cálculos cuantitativos de los modelos grandes generales y las capacidades informáticas existentes son completamente incapaces de cumplir con los escenarios de aplicaciones industriales que requieren una alta precisión numérica, como la aviación civil y las finanzas.

Con base en esto, Zhonghao Xinying está construyendo un modelo grande básico con capacidades de producción "rígidas", y abre el código abierto del modelo grande básico para la cooperación de socios financieros, educativos, médicos y de otro tipo de la industria, lo que permite a los socios de la industria llevar a cabo la secundación del modelo basada en el La pila de software y los datos correspondientes, la capacitación, la anotación de datos, etc. permiten que el modelo posea reservas de conocimiento de la industria y se implemente gradualmente en escenarios subdivididos para reemplazar entornos de producción específicos.

Desde el año pasado, han estado estudiando cómo implementar la demostración. Después de ver la viabilidad, este año comenzaron gradualmente a realizar una capacitación previa de los modelos industriales.

Con un diseño comercial tan completo y un juicio sobre las tendencias de la industria, Yang Gongyifan cree que en la era de los modelos grandes, en los próximos 5 a 10 años, la participación de mercado de TPU y chips similares a TPU en el campo del hardware informático de IA alcanzará El 80%, y el 20% restante son GPU tradicionales.

También aclaró los objetivos de Zhonghao Xinying en cuanto a iteración y comercialización de productos. Se espera que los productos de chip de próxima generación desarrollados por Zhonghao Xinying se repitan para comparar el rendimiento de NVIDIA B200. En términos de comercialización, se espera profundizar la cooperación con una gama más amplia de clientes, como integradores, operadores y los principales fabricantes de Internet.

Conclusión: ha llegado la oportunidad para que el mercado de la arquitectura TPU explote

Desde su creación en 2018, Zhonghao Xinying ha sido testigo del desarrollo de chips de IA desde las primeras etapas de desarrollo del mercado hasta el período de oportunidad en el que los modelos grandes encendieron la demanda del mercado. Pero mirando hacia atrás, al comienzo del mercado de chips de IA, una startup tenía que enfrentar varios desafíos si quería ocupar gradualmente participación de mercado con la arquitectura TPU.

Hoy en día, los modelos grandes han provocado una mejora en la demanda de potencia informática, los chips de IA han entrado en una nueva era y han surgido las ventajas de la arquitectura TPU, lo que también ha adelantado las expectativas de Zhonghao Xinying sobre la oportunidad de explosión del mercado antes de lo previsto. Yang Gongyifan dijo que cree que los escenarios de aplicación de la IA superarán con creces cualquier escenario de uso informático anterior, y los recursos informáticos necesarios para los modelos de IA también superarán la imaginación de los recursos informáticos en la historia de la humanidad. La demanda del mercado aumentará rápidamente en el corto plazo.

En el futuro, espera que Zhonghao Xinying pueda convertirse en el líder de la industria de chips de IA de China, y TPU tiene más posibilidades de convertirse en algo similar a "x86" en esta pista. Ha comenzado un nuevo capítulo en la historia de los chips de IA de China...