noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

cerebras lanza la solución de inferencia de ia más rápida del mundo, 20 veces más rápida que la solución de nvidia

2024/8/28 9:51:23 fuente: it house autor: yuanyang editor: yuanyang

comentarios: 2

it house informó el 28 de agosto que cerebras systems anunció hoy el lanzamiento de cerebras inference, que según los funcionarios es la solución de inferencia de ia más rápida del mundo. la nueva solución proporciona 1800 tokens por segundo para llama 3.1 8b y 450 tokens por segundo para llama 3.1 70b, que es 20 veces más rápido que las soluciones de inferencia de ia basadas en gpu de nvidia disponibles en nubes de hiperescala como microsoft azure.

además de un rendimiento increíble, esta nueva solución de inferencia tiene un precio significativamente más bajo que las nubes de gpu populares, desde solo 10 centavos por millón de tokens, lo que ofrece un rendimiento 100 veces mejor para cargas de trabajo de ia con una buena relación calidad-precio.

este programa permitirá a los desarrolladores de aplicaciones de ia crear la próxima generación de aplicaciones de ia sin comprometer la velocidad ni el costo. esta solución utiliza el sistema cerebras cs-3 y su procesador de ia wafer scale engine 3 (wse-3). el ancho de banda de la memoria del cs-3 es 7000 veces mayor que el de la nvidia h100, lo que resuelve los desafíos técnicos del ancho de banda de la memoria de la ia generativa.

según it house, cerebras inference proporciona los siguientes tres niveles:

el nivel gratuito proporciona acceso gratuito a la api y límites de uso generosos para cualquiera que inicie sesión.

el nivel de desarrollador está diseñado para implementaciones flexibles sin servidor, proporcionando a los usuarios un punto final api a una fracción del costo de las alternativas en el mercado, con llama 3.1 con un precio de 10 centavos por millón de tokens para los modelos 8b y 70b, respectivamente.

el nivel empresarial proporciona modelos optimizados, acuerdos de nivel de servicio personalizados y soporte dedicado. las empresas pueden acceder a cerebras inference a través de una nube privada administrada por cerebras o en las instalaciones del cliente, lo que lo hace ideal para cargas de trabajo continuas.

el equipo de cerebras dijo: "con un rendimiento récord, precios líderes en la industria y acceso abierto a api, cerebras inference establece un nuevo estándar para el desarrollo e implementación de llm abiertos. como la única solución que puede proporcionar capacitación e inferencia de alta velocidad simultáneamente, cerebras opens posibilidades completamente nuevas para la ia”.

el campo de la ia está evolucionando rápidamente y, si bien nvidia domina actualmente el mercado de la ia, el surgimiento de empresas como cerebras y groq es una señal de que la dinámica de la industria puede cambiar. a medida que continúa aumentando la demanda de soluciones de inferencia de ia más rápidas y rentables, estos desafíos están cambiando el dominio de nvidia, especialmente en el área de inferencia.