한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Texto/Tecnologia Tencent Editor Li Haidan/Guo Xiaojing

Em 30 de julho, horário de Pequim, a NVIDIA (também conhecida como NVIDIA) demonstrou muitos de seus mais recentes desenvolvimentos nas áreas de renderização, simulação e IA generativa na SIGGRAPH 2024, uma importante conferência de computação gráfica realizada em Denver, EUA.

No SIGGRAPH do ano passado, a NVIDIA lançou as placas gráficas GH200, L40S e ChatUSD. O protagonista deste ano é o novo trunfo da NVIDIA na era da IA ​​generativa——Nova atualização "Nvidia NIM"e aplicar IA generativa ao USD (descrição de cena universal) por meio do NIM, ampliando as possibilidades da IA ​​no mundo 3D.

Atualização Nvidia NIM: uma bênção e um desafio

A Nvidia anunciou que a Nvidia NIM alcança maior otimização e padroniza a implantação complexa de modelos de IA. NIM é uma parte fundamental do layout de IA da NVIDIA. Huang Renxun elogiou repetidamente a inovação trazida pelo NIM, chamando-a de "AI-in-a-Box, essencialmente é inteligência artificial em uma caixa。”

Esta atualização sem dúvida consolida a posição de liderança da Nvidia no campo da IA ​​e torna-se uma parte importante do seu fosso tecnológico.

CUDA há muito é considerado um fator chave na liderança da Nvidia no campo de GPU. Com o suporte do CUDA, a GPU evoluiu de um único processador gráfico para um dispositivo de computação paralela de uso geral, tornando possível o desenvolvimento de IA. No entanto, embora o ecossistema de software da NVIDIA seja muito rico, estes sistemas fragmentados ainda são demasiado complexos e difíceis de dominar para as indústrias tradicionais que carecem de capacidades básicas de desenvolvimento de IA.

Para resolver este problema, em março deste ano, a Nvidia lançou microsserviços nativos da nuvem NIM (Nvidia Inference Microservices) na conferência GTC, integrando todos os softwares desenvolvidos nos últimos anos para simplificar e acelerar a implantação de aplicativos de IA. O NIM pode usar modelos como “contêineres” otimizados que podem ser implantados na nuvem, data center ou estação de trabalho, permitindo que os desenvolvedores concluam o trabalho em minutos, como construir facilmente aplicativos generativos de IA para copilotos, chatbots, etc.

Até agora, o ecossistema NIM da Nvidia forneceu uma série de modelos de IA pré-treinados.Nvidia anunciou, ajudando os desenvolvedores a acelerar o desenvolvimento e a implantação de aplicativos em diversas áreas e focando em diferentes áreas (como compreensão,homem digital, desenvolvimento 3D, robótica e biologia digital) modelos específicos de IA disponíveis:

Na direção da compreensão, o NIM pode usar Llama 3.1 e NeMo Retriever para melhorar as capacidades de processamento de dados de texto na direção de humanos digitais, fornece modelos como Parakeet ASR e FastPitch HiFiGAN, que suportam síntese de fala de alta fidelidade e automática; reconhecimento de fala para construir assistentes virtuais e humanos digitais. Fornece ferramentas poderosas;

Em termos de desenvolvimento 3D, modelos como USD Code e USD Search simplificam a criação e operação de cenas 3D, ajudando os desenvolvedores a construir gêmeos digitais e mundos virtuais com mais eficiência;

Na direção da incorporação do robô, a NVIDIA lançou os modelos MimicGen e Robocasa. Acelere o desenvolvimento e a aplicação da robótica gerando dados de movimento sintéticos e ambientes de simulação. O MimicGen NIM pode gerar dados de movimento sintéticos com base em dados de operação remota registrados por dispositivos de computação espacial, como o Apple Vision Pro. Robocasa NIM gera tarefas robóticas e ambientes prontos para simulação em OpenUSD, uma estrutura universal para desenvolvimento e colaboração no mundo 3D.

Modelos como DiffDock e ESMFold no campo da biologia digital fornecem soluções avançadas na descoberta de medicamentos e previsão de dobramento de proteínas, promovendo o progresso da pesquisa biomédica e assim por diante.

Além disso, a Nvidia anunciou que a plataforma de inferência como serviço Hugging Face também é desenvolvida pela Nvidia NIM e roda na nuvem.

Ao integrar estes modelos versáteis, o ecossistema da Nvidia não só melhora a eficiência do desenvolvimento de IA, mas também fornece ferramentas e soluções inovadoras. No entanto, embora as muitas atualizações do Nvidia NIM sejam de fato uma “boa notícia” para a indústria. Mas, por outro lado, também traz muitos desafios aos programadores.

Nvidia NIM simplifica muito o processo de desenvolvimento e implantação de modelos de IA, fornecendo modelos de IA pré-treinados e APIs padronizadas. Isso é realmente um grande benefício para os desenvolvedores, mas também significará oportunidades de emprego para programadores comuns no futuro? ?Afinal, as empresas podem usar menos pessoal técnico para concluir o mesmo trabalho, porque essas tarefas foram concluídas antecipadamente pelo NIM, e os programadores comuns podem não precisar mais realizar trabalhos complexos de treinamento e ajuste de modelos.

Ensine a IA a pensar em 3D e a construir um mundo físico virtual

A NVIDIA também demonstrou a aplicação de IA generativa nas plataformas abertas USD e Omniverse na conferência SIGGRAPH.

A Nvidia anunciou que construiu o primeiro modelo generativo de IA do mundo que pode entender a linguagem OpenUSD (Universal Scene Description), geometria, materiais, física e espaço, e empacotou esses modelos como microsserviços Nvidia NIM.Atualmente, existem três NIMs disponíveis para visualização no catálogo da API da Nvidia: USD Code, que responde a perguntas abertas de conhecimento em USD e gera código aberto em USD Python USD Search, que permite aos desenvolvedores pesquisar o vasto USD 3D aberto usando linguagem natural ou entrada de imagem; e banco de dados de imagens; USD Validate, que verifica a compatibilidade dos arquivos carregados com versões abertas do USD e gera imagens path-traced totalmente renderizadas em RTX usando a API Omniverse Cloud.

A Nvidia disse que, com o aprimoramento e a acessibilidade do OpenUSD pelos microsserviços Nvidia NIM, todas as esferas da vida podem construir mundos virtuais e gêmeos digitais baseados na física no futuro. Com a nova IA generativa baseada em USD aberto e estruturas de desenvolvimento acelerado da Nvidia construídas na plataforma Nvidia Omniverse, mais indústrias agora podem desenvolver aplicativos para visualizar projetos industriais e de engenharia, bem como para ambientes de simulação para construir a próxima onda de IA física e robôs . Além disso, um novo conector USD conecta formatos de dados de robótica e simulação industrial e ferramentas de desenvolvedor, permitindo aos usuários transmitir conjuntos de dados de rastreamento de raio totalmente Nvidia RTX em grande escala para o Apple Vision Pro.

Em suma, a introdução do USD através da Nvidia NIM, que nos permite compreender melhor o mundo físico e construir mundos virtuais através de grandes modelos, é um activo muito valioso.ativos digitais . Por exemplo, em 2019, a Catedral de Notre Dame em Paris, França, sofreu um grave incêndio e grandes áreas da igreja foram destruídas. Felizmente, os designers de jogos da Ubisoft visitaram este edifício inúmeras vezes, estudaram sua estrutura, concluíram a restauração digital de Notre Dame e recriaram Notre Dame no jogo 3A "Assassin's Creed: Unity". Todos os detalhes também trouxeram grande ajuda para a restauração de Notre Dama de Paris. Naquela época, designers e historiadores demoravam dois anos para reproduzir, mas com a introdução dessa tecnologia, podemos acelerar a reprodução de cópias digitais em grande escala no futuro e usar IA para compreender e reproduzir a física de uma forma mais refinada. mundo de maneira.

Por outro exemplo, os designers constroem cenas tridimensionais básicas no Omniverse e usam essas cenas para ajustar a IA generativa para alcançar um processo de criação de conteúdo controlável e colaborativo. Por exemplo, a WPP e a The Coca-Cola Company foram as primeiras a adotar este fluxo de trabalho para expandir as suas campanhas publicitárias globais.

A Nvidia também anunciou o próximo lançamento de vários novos microsserviços NIM, incluindo USD Layout, USD Smart Material e FDB Mesh Generation, para aprimorar ainda mais os recursos e a eficiência dos aplicativos dos desenvolvedores na plataforma aberta do USD.

Desta vez, a NVIDIA Research participou da conferência com mais de 20 artigos, compartilhando resultados inovadores relacionados à promoção do desenvolvimento de geradores de dados sintéticos e ferramentas de renderização inversa, dois dos quais ganharam o prêmio Technical Best Paper. Pesquisa apresentada este ano mostra queA IA torna os recursos de simulação ainda melhores, melhorando a qualidade da imagem e desbloqueando novas formas de representação 3D ;Além disso, geradores de dados sintéticos aprimorados e mais melhoram o nível de IA. Esses estudos mostram os mais recentes avanços e inovações da Nvidia em IA e simulação.

A Nvidia diz que designers e artistas agora têm novas maneiras de melhorar sua produtividade usando IA generativa treinada em dados autorizados. Por exemplo, a Shutterstock (fornecedora americana de imagens) lançou uma versão beta comercial de seu serviço 3D generativo. Ele permite que os criadores criem rapidamente protótipos de ativos 3D e gerem fundos 360 HDRi para iluminar cenas usando apenas prompts de texto ou imagem; e a Getty Images (empresa de troca de fotos dos EUA) acelerou seu serviço generativo de IA para tornar a geração de imagens mais rápida. Baseados na Nvidia Edify, a arquitetura de IA generativa multimodal, esses serviços dobram a velocidade com novos modelos, melhoram a qualidade da imagem e a precisão imediata e permitem que os usuários controlem as configurações da câmera, como profundidade de campo ou foco. Os usuários podem gerar quatro imagens em cerca de seis segundos e aumentá-las para resolução 4K.

Conclusão

Em todas as ocasiões importantes em que Huang aparece, ele sempre usa uma jaqueta de couro e descreve ao mundo o futuro emocionante trazido pela IA.

Também estamos vivenciando o crescimento da NVIDIA, testemunhando a NVIDIA passo a passo de uma gigante de GPU para jogos a uma overlord de chip de IA e, em seguida, a um layout full-stack de software e hardware de IA vertical e horizontal. A NVIDIA é cheia de ambição e itera rapidamente. na vanguarda da onda de tecnologia de IA.

Da GPU de sombreamento programável, computação acelerada CUDA, ao lançamento do Nvidia Omniverse e microsserviços generativos AI NIM, à promoção do desenvolvimento de modelagem 3D, simulação de robôs e tecnologia de gêmeo digital, isso também significa que uma nova rodada de inovação na IA a indústria está chegando.

No entanto, à medida que as grandes empresas têm mais recursos, incluindo capital, tecnologia e mão-de-obra, são capazes de adoptar e implementar tecnologias avançadas como a Nvidia NIM mais rapidamente. Devido aos recursos limitados, as pequenas e médias empresas podem ter dificuldade em acompanhar o ritmo do desenvolvimento tecnológico. Juntamente com as diferenças nos níveis técnicos dos talentos, conduzirá a mais desigualdade tecnológica no futuro?

A IA ideal da humanidade é ajudar os humanos a libertarem as suas mãos e trabalho e trazerem um mundo com maior produtividade. Mas quando a produtividade e os meios de produção são controlados por um pequeno número de pessoas, irá desencadear uma crise mais profunda? Todas essas são questões nas quais precisamos pensar.