notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

coisas inteligentes
AutorZeR0
Editor Mo Ying

Zhidongxi informou em 24 de julho que a NVIDIA anunciou o lançamento do novo serviço NVIDIA AI Foundry e do microsserviço de inferência NVIDIA NIM. Junto com a recém-lançada série Meta Llama 3.1 de modelos de código aberto, ele fornecerá forte suporte para IA generativa para empresas globais.

O modelo de linguagem grande Llama 3.1 tem três tamanhos de parâmetros: 8B, 70B e 405B. Os modelos são treinados em mais de 16.000 GPUs NVIDIA Tensor Core e otimizados para computação e software acelerados pela NVIDIA, seja no data center, na nuvem e em estações de trabalho locais com GPUs NVIDIA RTX ou PCs com GPUs GeForce RTX.

Assim como a TSMC é uma fundição para empresas globais de chips, a NVIDIA também construiu uma fundição de IA de nível empresarial, a NVIDIA AI Foundry.

O fundador e CEO da NVIDIA, Jensen Huang, disse: “O modelo de código aberto Llama 3.1 da Meta marca um momento crítico para as empresas globais adotarem IA generativa. foi integrado em todo o processo e pode ajudar as empresas a construir e implantar supermodelos Llama personalizados.”

Alimentado pela plataforma NVIDIA DGX Cloud AI e projetado em conjunto pela NVIDIA com as principais nuvens públicas do mundo, o NVIDIA AI Foundry fornece um serviço ponta a ponta que pode ser usado para criar rapidamente supermodelos personalizados, com o objetivo de fornecer às empresas recursos de computação massivos. recursos, desde que os recursos de computação possam ser facilmente expandidos à medida que as necessidades da IA ​​mudam.

“Com o NVIDIA AI Foundry, as empresas podem criar e personalizar facilmente os serviços de IA mais avançados que desejarem e implantá-los por meio do NVIDIA NIM”, disse o fundador e CEO da Meta, Mark Zuckerberg.

As empresas que precisam de mais dados de treinamento para criar modelos específicos de domínio podem usar seus próprios dados, bem como dados sintéticos gerados pelos modelos Llama 3.1 405B e NVIDIA Nemotron Reward para treinar esses supermodelos e melhorar a precisão. Os clientes com seus próprios dados de treinamento podem usar o NVIDIA NeMo para personalizar os modelos Llama 3.1, melhorando ainda mais a precisão do modelo por meio do Domain Adaptive Pre-training (DAPT).

NVIDIA e Meta também estão trabalhando juntas para fornecer um método de destilação para o Llama 3.1 para que os desenvolvedores criem modelos menores e personalizados do Llama 3.1 para aplicativos generativos de IA. Isso permite que as empresas executem aplicativos de IA com tecnologia Llama em infraestruturas mais aceleradas, como estações de trabalho e laptops de IA.

Depois que um modelo personalizado é criado, as empresas podem criar microsserviços de inferência NVIDIA NIM para usar suas melhores operações de aprendizado de máquina (MLOps) e inteligência artificial em sua plataforma de nuvem preferida e sistemas certificados pela NVIDIA de fabricantes globais de servidores inteligentes. (AIOps) executam esses modelos em produção.

Os microsserviços NIM ajudam a implantar modelos Llama 3.1 em produção com rendimento até 2,5x maior do que executar inferência sem NIM.

Saiba mais sobre os microsserviços de inferência NVIDIA NIM para modelos Llama 3.1 em ai.nvidia.com para acelerar a implantação de modelos Llama 3.1 para IA de nível de produção.

A combinação dos microsserviços Llama 3.1 NIM com os novos microsserviços NVIDIA NeMo Retriever NIM pode criar fluxos de trabalho de recuperação avançados para copilotos de IA, assistentes e avatares humanos digitais.

Ao usar o novo microsserviço de inferência NVIDIA NeMo Retriever NIM para implementar Retrieval Enhanced Generation (RAG), as empresas podem implantar supermodelos Llama personalizados e microsserviços Llama NIM na produção para melhorar a precisão da resposta.

Quando combinado com o microsserviço de inferência NVIDIA NIM para Llama 3.1 405B, o microsserviço NeMo Retriever NIM traz precisão de recuperação extremamente alta para respostas a perguntas de texto aberto e comercial em fluxos de trabalho RAG.

NVIDIA AI Foundry combina software, infraestrutura e experiência da NVIDIA com modelos de comunidade aberta, tecnologia e suporte do ecossistema de IA da NVIDIA. Os especialistas em AI Enterprise da NVIDIA e parceiros integradores de sistemas globais trabalham com os clientes da AI Foundry para acelerar todo o processo, desde o desenvolvimento até a implantação.

A empresa de serviços profissionais Accenture é a primeira a usar o NVIDIA AI Foundry para usar a estrutura Accenture AI Refinery para criar modelos Llama 3.1 personalizados para si e para clientes que desejam que os aplicativos generativos de IA que implantam reflitam sua cultura, idioma e setor.

Empresas dos setores de saúde, energia, serviços financeiros, varejo, transporte, telecomunicações e outros setores já estão usando microsserviços NVIDIA NIM para Llama. As primeiras empresas a usar os novos microsserviços NIM para Llama 3.1 incluem Aramco, AT&T, Uber, etc.

Centenas de parceiros NVIDIA NIM que fornecem plataformas empresariais, de dados e de infraestrutura agora são capazes de integrar esses novos microsserviços em suas soluções de IA, potencializando a IA generativa para a comunidade NVIDIA de mais de 5 milhões de desenvolvedores e 19.000 startups que fornecem assistência.

O suporte de produção para microsserviços Llama 3.1 NIM e NeMo Retriever NIM está disponível por meio do NVIDIA AI Enterprise. Os membros do NVIDIA Developer Program em breve terão acesso gratuito aos microsserviços NIM para realizar pesquisas, desenvolvimento e testes em sua infraestrutura preferida.