noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

cosas inteligentes
AutorZeR0
Editor Mo Ying

Zhidongxi informó el 24 de julio que NVIDIA anunció el lanzamiento del nuevo servicio NVIDIA AI Foundry y el microservicio de inferencia NVIDIA NIM. Junto con la serie de modelos de código abierto Meta Llama 3.1 recientemente lanzada, brindará un fuerte soporte para la IA generativa para empresas globales.

El modelo de lenguaje grande Llama 3.1 tiene tres tamaños de parámetros: 8B, 70B y 405B. Los modelos están entrenados en más de 16,000 GPU NVIDIA Tensor Core y están optimizados para software y computación acelerada de NVIDIA, ya sea en el centro de datos, en la nube y en estaciones de trabajo locales con GPU NVIDIA RTX o PC con GPU GeForce RTX.

Así como TSMC es una fundición para empresas globales de chips, NVIDIA también ha creado una fundición de IA a nivel empresarial, NVIDIA AI Foundry.

El fundador y director ejecutivo de NVIDIA, Jensen Huang, dijo: "El modelo de código abierto Llama 3.1 de Meta marca un momento crítico para que las empresas globales adopten la IA generativa. Llama 3.1 desencadenará una ola de empresas e industrias que crearán aplicaciones avanzadas de IA generativa. NVIDIA AI Foundry Llama 3.1 tiene se ha integrado durante todo el proceso y puede ayudar a las empresas a construir e implementar supermodelos Llama personalizados".

Impulsado por la plataforma NVIDIA DGX Cloud AI y codiseñado por NVIDIA con las nubes públicas líderes del mundo, NVIDIA AI Foundry proporciona un servicio de extremo a extremo que se puede utilizar para crear rápidamente supermodelos personalizados, con el objetivo de proporcionar a las empresas informática masiva. recursos, siempre que los recursos informáticos se puedan ampliar fácilmente a medida que cambien las necesidades de la IA.

"Con NVIDIA AI Foundry, las empresas pueden crear y personalizar fácilmente los servicios de IA más avanzados que deseen e implementarlos a través de NVIDIA NIM", dijo el fundador y director ejecutivo de Meta, Mark Zuckerberg.

Las empresas que necesitan más datos de entrenamiento para crear modelos de dominio específico pueden usar sus propios datos, así como los datos sintéticos generados por los modelos Llama 3.1 405B y NVIDIA Nemotron Reward para entrenar estos súper modelos y mejorar la precisión. Los clientes con sus propios datos de entrenamiento pueden usar NVIDIA NeMo para personalizar los modelos Llama 3.1, mejorando aún más la precisión del modelo a través del entrenamiento previo adaptativo de dominio (DAPT).

NVIDIA y Meta también están trabajando juntos para proporcionar un método de destilación de Llama 3.1 para que los desarrolladores creen modelos Llama 3.1 personalizados más pequeños para aplicaciones de IA generativa. Esto permite a las empresas ejecutar aplicaciones de IA impulsadas por Llama en infraestructuras más aceleradas, como estaciones de trabajo y computadoras portátiles con IA.

Una vez que se crea un modelo personalizado, las empresas pueden crear microservicios de inferencia NIM de NVIDIA para utilizar las mejores operaciones de aprendizaje automático (MLOps) e inteligencia artificial de su clase en su plataforma de nube preferida y sistemas certificados por NVIDIA de fabricantes de servidores globales. (AIOps) ejecutan estos modelos en producción.

Los microservicios NIM ayudan a implementar modelos Llama 3.1 en producción con un rendimiento hasta 2,5 veces mayor que ejecutar inferencia sin NIM.

Obtenga más información sobre los microservicios de inferencia NIM de NVIDIA para los modelos Llama 3.1 en ai.nvidia.com para acelerar la implementación de los modelos Llama 3.1 en IA de nivel de producción.

La combinación de los microservicios NIM Llama 3.1 con los nuevos microservicios NIM NVIDIA NeMo Retriever puede crear flujos de trabajo de recuperación avanzados para copilotos, asistentes y avatares humanos digitales de IA.

Al utilizar el nuevo microservicio de inferencia NIM NVIDIA NeMo Retriever para implementar Retrieval Enhanced Generation (RAG), las empresas pueden implementar supermodelos Llama personalizados y microservicios Llama NIM en producción para mejorar la precisión de la respuesta.

Cuando se combina con el microservicio de inferencia NIM de NVIDIA para Llama 3.1 405B, el microservicio NIM NeMo Retriever ofrece una precisión de recuperación extremadamente alta para responder preguntas de texto abierto y comercial en flujos de trabajo RAG.

NVIDIA AI Foundry combina el software, la infraestructura y la experiencia de NVIDIA con modelos de comunidad abierta, tecnología y soporte del ecosistema de IA de NVIDIA. Los expertos de NVIDIA AI Enterprise y los socios integradores de sistemas globales trabajan con los clientes de AI Foundry para acelerar todo el proceso, desde el desarrollo hasta la implementación.

La firma de servicios profesionales Accenture es la primera en utilizar NVIDIA AI Foundry para utilizar el marco Accenture AI Refinery para crear modelos Llama 3.1 personalizados para sí misma y para los clientes que desean que las aplicaciones generativas de IA que implementan reflejen su cultura, idioma e industria.

Empresas de salud, energía, servicios financieros, comercio minorista, transporte, telecomunicaciones y otras industrias ya están utilizando los microservicios NVIDIA NIM para Llama. Las primeras empresas en utilizar los nuevos microservicios NIM para Llama 3.1 incluyen Aramco, AT&T, Uber, etc.

Cientos de socios de NVIDIA NIM que brindan plataformas empresariales, de datos e infraestructura ahora pueden integrar estos nuevos microservicios en sus soluciones de IA, impulsando la IA generativa para la comunidad NVIDIA de más de 5 millones de desarrolladores y 19,000 nuevas empresas.

El soporte de producción para los microservicios Llama 3.1 NIM y NeMo Retriever NIM está disponible a través de NVIDIA AI Enterprise. Los miembros del Programa de Desarrolladores de NVIDIA pronto tendrán acceso gratuito a los microservicios NIM para realizar investigaciones, desarrollo y pruebas en su infraestructura preferida.