noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

IT House informó el 23 de agosto que Nvidia publicó una publicación de blog el 21 de agosto, lanzando el modelo de inteligencia artificial en lenguaje pequeño Mistral-NeMo-Minitron 8B, que tiene las ventajas de alta precisión y alta eficiencia informática, y puede usarse en datos acelerados por GPU. centros, nube y ejecutar el modelo en la estación de trabajo.

NVIDIA y Mistral AI lanzaron el modelo Mistral NeMo 12B de código abierto el mes pasado. En base a esto, NVIDIA lanzó una vez más el modelo Mistral-NeMo-Minitron 8B más pequeño, con un total de 8 mil millones de parámetros, que se puede ejecutar en estaciones de trabajo equipadas con NVIDIA. Tarjetas gráficas RTX.

Nvidia declaró que obtuvo Mistral-NeMo-Minitron 8B mediante poda de ancho (poda de ancho) Mistral NeMo 12B y reentrenamiento ligero mediante destilación de conocimientos (destilación de conocimientos). Los resultados relevantes se publicaron en el artículo "Modelos de lenguaje compacto mediante poda y conocimiento". Destilación" medio.

La poda reduce una red neuronal al eliminar los pesos del modelo que contribuyen menos a la precisión. Durante el proceso de "destilación", el equipo volvió a entrenar el modelo podado en un pequeño conjunto de datos para mejorar significativamente la precisión que había sido reducida por el proceso de poda.

Por su tamaño, el Mistral-NeMo-Minitron 8B lidera por un amplio margen en nueve pruebas populares de modelos de lenguaje. Estos puntos de referencia cubren una variedad de tareas, incluida la comprensión del lenguaje, el razonamiento de sentido común, el razonamiento matemático, los resúmenes, la codificación y la capacidad de generar respuestas auténticas. IT Home adjunta los resultados de las pruebas relevantes de la siguiente manera: