notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Autor deste artigo: Li Dan

Fonte: IA difícil

Na segunda-feira, 29 de julho, horário do leste dos EUA, a NVIDIA revelou novas ferramentas na SIGGRAPH 2024, a conferência e exposição anual de computação gráfica e tecnologia interativa realizada em Denver, EUA.

O CEO da Nvidia, Huang Renxun, revelou no SIGGRAPH 2024 que esta semana a Nvidia enviará amostras da arquitetura Blackwell, que é a nova arquitetura de chip que estreia este ano. Ao mesmo tempo, a Nvidia anunciou uma série de atualizações de software, envolvendo principalmente o microsserviço de inferência da Nvidia (NIM), um microsserviço nativo da nuvem usado para otimizar a inferência de inteligência artificial (IA), para promover a implantação em larga escala de modelos de IA pelas empresas.

Quando a NVIDIA lançou o NIM em março deste ano, ela anunciou que o NIM fornece microsserviços de inferência otimizados projetados para reduzir o tempo de lançamento no mercado e simplificar a implantação de modelos generativos de IA em qualquer lugar na nuvem, data centers e estações de trabalho aceleradas por GPU. O NIM oferece suporte a casos de uso de IA em vários domínios, incluindo modelos de linguagem grande (LLM), modelos de linguagem visual (VLM) e modelos para fala, imagem, vídeo, 3D, desenvolvimento de medicamentos, imagens médicas e muito mais.

Os desenvolvedores podem testar novos modelos generativos de IA usando a API de nuvem hospedada da NVIDIA ou hospedar o modelo por conta própria baixando o NIM e implantando rapidamente usando o Kubernetes nos principais provedores de nuvem ou no local para reduzir o tempo, a complexidade e o custo de desenvolvimento. Os microsserviços NIM simplificam o processo de implantação do modelo de IA, empacotando algoritmos, otimizações de sistema e tempo de execução e adicionando APIs padrão do setor. Isso permite que os desenvolvedores integrem o NIM em seus aplicativos e infraestrutura existentes sem ampla personalização ou conhecimento especializado.

A atualização anunciada pela NVIDIA na segunda-feira expande a biblioteca de microsserviços de inferência NIM para cobrir ambientes do mundo físico, modelagem visual avançada e vários aplicativos verticais. A NVIDIA forneceu cerca de 100 microsserviços de inferência NIM em versões prévias e agora está lançando a versão completa. Por exemplo, como parte do novo NIM da NVIDIA, a API de geração de imagens 4K da empresa de mídia visual Getty Images Holdings e o gerador de imagens 3D da Shutterstock Inc., fornecedora de conteúdo digital como imagens, filmes e música, serão lançados em breve. . Ambos usam Nvidia Edify da Nvidia, uma arquitetura multimodal para IA gerada por visão.

A NVIDIA anunciou no mesmo dia que fez parceria com o conjunto de ferramentas e plataforma de processamento de linguagem natural (PNL) Hugging Face para lançar inferência como um serviço para ajudar os desenvolvedores a criar protótipos e implantar rapidamente em produção usando modelos de IA de código aberto hospedados no Hugging Face Hub. Os comentários disseram que esta cooperação simplificará a implantação de modelos de IA para desenvolvedores.

fVDB aproveita dados 3D do mundo real para criar inteligência espacial

Entre eles, a NVIDIA lançou o fVDB, que usa dados 3D do mundo real para criar inteligência espacial. A Nvidia afirma que o modelo de IA de material generativo pode compreender e realizar operações de habilidades motoras finas ou grossas no mundo material. Compreender e navegar nas três dimensões do mundo físico requer inteligência espacial. Para fornecer a esse tipo de IA uma estrutura poderosa e coerente que possa lidar com uma escala realista, a NVIDIA criou o fVDB, uma estrutura de aprendizagem profunda projetada para inteligência espacial esparsa, em grande escala e de alto desempenho.

O fVDB é baseado no OpenVDB, uma estrutura e biblioteca padrão do setor para simular e renderizar dados volumétricos esparsos, como água, fogo, fumaça e nuvens. O fVDB fornece quatro vezes a escala espacial, 3,5 vezes o desempenho das estruturas anteriores e acesso a enormes conjuntos de dados do mundo real. Ele simplifica o processo combinando funcionalidades que anteriormente exigiam várias bibliotecas de aprendizado profundo.

Estrutura modular de código aberto Isaac Lab fornece simulação para acelerar o aprendizado do robô

A NVIDIA também lançou o Isaac Lab, uma estrutura modular de código aberto para aprendizagem de robôs que pode resolver as limitações dos métodos tradicionais de treinamento em habilidades de aprendizagem de robôs.

O Isaac Lab fornece simulações modulares de alta fidelidade para diferentes ambientes de treinamento, fornecendo recursos de IA do mundo físico e simulações do mundo físico baseadas em GPU.

O Isaac Lab oferece suporte ao aprendizado por imitação (imitando humanos) e ao aprendizado por reforço (aprendizado por tentativa e erro), fornecendo métodos de treinamento flexíveis para qualquer implementação de robô. Ele fornece um ambiente fácil de usar para cenários de treinamento e ajuda os fabricantes de robôs a adicionar ou atualizar habilidades de robôs com base nas mudanças nas necessidades de negócios.

Use microsserviços NVIDIA NIM e VIA para criar um agente visual de IA baseado em VLM

A NVIDIA adaptou o NIM para IA no mundo físico, suportando fala e tradução, visão e animação e comportamento realistas. NVIDIA lança microsserviços VIA, agora disponíveis para download na visualização do desenvolvedor.

Os microsserviços VIA podem ser facilmente integrados ao NIM, e os usuários podem usar com flexibilidade qualquer modelo LLM ou VLM na API de visualização de modelo da NVIDIA e no diretório de API de microsserviços NIM para download. Os microsserviços VIA, uma extensão dos microsserviços Metropolis da NVIDIA, são blocos de construção nativos da nuvem que aceleram o desenvolvimento de agentes visuais de IA orientados por VLM e NIM, sejam implantados na borda ou na nuvem.

Com a ajuda de IA generativa, microsserviços NIM e modelos básicos, os usuários agora podem usar menos modelos para criar aplicativos com amplo reconhecimento e rico entendimento contextual. O VLM oferece suporte a agentes visuais de IA que podem compreender dicas de linguagem natural e realizar respostas visuais a perguntas. Os agentes de IA visual usam recursos de visão computacional para perceber e interagir com o mundo físico e realizar tarefas de raciocínio.

Esses agentes podem desbloquear totalmente as possibilidades de aplicativos em vários setores. Eles podem simplificar significativamente o fluxo de trabalho de desenvolvimento de aplicativos e fornecer novos recursos de percepção transformadores, como resumo de imagens ou vídeos, perguntas e respostas visuais interativas e alertas visuais. Esses agentes visuais de IA serão implantados em fábricas, armazéns, lojas de varejo, aeroportos, cruzamentos de tráfego e outros locais, e ajudarão as equipes de operações a tomar melhores decisões, aproveitando insights mais ricos gerados a partir de interações naturais.

Omniverse Replicator ajuda a resolver problemas de escassez de dados que limitam o treinamento de modelos

A NVIDIA apresentou como usar microsserviços NIM para construir um pipeline personalizado de geração de dados sintéticos (SDG) para USD, que usa o Omniverse Replicator da NVIDIA. Omniverse Replicator é um SDK baseado em Universal Scene Description (OpenUSD) e NVIDIA RTX.

Os desenvolvedores podem usar microsserviços NIM e Omniverse Replicator, entre outros, para construir pipelines de ODS que suportam IA generativa, resolvendo a escassez de dados do mundo real que muitas vezes limita o treinamento de modelos.

Rev Lebaredian, vice-presidente de Omniverse e Tecnologias de Simulação da NVIDIA disse:

“Construímos o primeiro modelo generativo de IA do mundo que pode compreender linguagem, geometria, materiais, física e espaço com base no OpenUSD.”

Lebaredian disse que desde 2016, a NVIDIA tem investido no OpenUSD para permitir que empresas industriais e desenvolvedores de IA de materiais desenvolvam modelos de alto desempenho com mais facilidade e rapidez.

A NVIDIA também está trabalhando com a Apple, cofundadora da OpenUSD Alliance, para construir um fluxo de pipeline de renderização híbrido da Graphics Delivery Network da NVIDIA, uma rede de data centers prontos para gráficos, até o Apple Vision Pro da Apple.