minhas informações de contato
Correspondência[email protected]
2024-07-30
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Texto/Tecnologia Tencent Li Haidan
Em 30 de julho, horário de Pequim, a NVIDIA (também conhecida como NVIDIA) demonstrou muitos de seus mais recentes desenvolvimentos nas áreas de renderização, simulação e IA generativa na SIGGRAPH 2024, uma importante conferência de computação gráfica realizada em Denver, EUA.
No SIGGRAPH do ano passado, a NVIDIA lançou as placas gráficas GH200, L40S e ChatUSD. O protagonista deste ano é o novo trunfo da NVIDIA na era da IA generativa——Nova atualização "Nvidia NIMS"e aplicar IA generativa ao USD (descrição de cena universal) por meio do NIM, ampliando as possibilidades da IA no mundo 3D.
A Nvidia anunciou que o Nvidia NIMS alcança maior otimização e padroniza a implantação complexa de modelos de IA. NIMS é uma parte fundamental do layout de IA da NVIDIA. Huang Renxun elogiou repetidamente a inovação trazida pelo NIM, chamando-a de "AI-in-a-Box, essencialmente é inteligência artificial em uma caixa。”
Esta atualização sem dúvida consolida a posição de liderança da Nvidia no campo da IA e torna-se uma parte importante do seu fosso tecnológico.
CUDA há muito é considerado um fator chave na liderança da Nvidia no campo de GPU. Com o suporte do CUDA, a GPU evoluiu de um único processador gráfico para um dispositivo de computação paralela de uso geral, tornando possível o desenvolvimento de IA. No entanto, embora o ecossistema de software da Nvidia seja muito rico, estes sistemas fragmentados ainda são demasiado complexos e difíceis de dominar para as indústrias tradicionais que carecem de capacidades básicas de desenvolvimento de IA.
Para resolver este problema, em março deste ano, a Nvidia lançou microsserviços nativos da nuvem NIM (Nvidia Inference Microservices) na conferência GTC, integrando todos os softwares desenvolvidos nos últimos anos para simplificar e acelerar a implantação de aplicativos de IA. O NIM pode usar modelos como “contêineres” otimizados que podem ser implantados na nuvem, data center ou estação de trabalho, permitindo que os desenvolvedores concluam o trabalho em minutos, como construir facilmente aplicativos generativos de IA para copilotos, chatbots, etc.
Até agora, o ecossistema NIM da Nvidia forneceu uma série de modelos de IA pré-treinados.Nvidia anunciou, ajudando os desenvolvedores a acelerar o desenvolvimento e a implantação de aplicativos em diversas áreas e focando em diferentes áreas (como compreensão,homem digital, desenvolvimento 3D, robótica e biologia digital) modelos específicos de IA disponíveis:
Na direção da compreensão, o NIM pode usar Llama 3.1 e NeMo Retriever para melhorar as capacidades de processamento de dados de texto na direção de humanos digitais, fornece modelos como Parakeet ASR e FastPitch HiFiGAN, que suportam síntese de fala de alta fidelidade e automática; reconhecimento de fala para construir assistentes virtuais e humanos digitais. Fornece ferramentas poderosas;
Em termos de desenvolvimento 3D, modelos como USD Code e USD Search simplificam a criação e operação de cenas 3D, ajudando os desenvolvedores a construir gêmeos digitais e mundos virtuais de forma mais eficiente;
Na direção da incorporação do robô, a NVIDIA lançou os modelos MimicGen e Robocasa. Acelere o desenvolvimento e a aplicação da robótica gerando dados de movimento sintéticos e ambientes de simulação. O MimicGen NIM pode gerar dados de movimento sintéticos com base em dados de operação remota registrados por dispositivos de computação espacial, como o Apple Vision Pro. Robocasa NIM gera tarefas robóticas e ambientes prontos para simulação em OpenUSD, uma estrutura universal para desenvolvimento e colaboração no mundo 3D.
Modelos como DiffDock e ESMFold no campo da biologia digital fornecem soluções avançadas na descoberta de medicamentos e previsão de dobramento de proteínas, promovendo o progresso da pesquisa biomédica e assim por diante.
Além disso, a Nvidia anunciou que a plataforma de inferência como serviço Hugging Face também é desenvolvida pela Nvidia NIM e roda na nuvem.
Ao integrar estes modelos versáteis, o ecossistema da Nvidia não só melhora a eficiência do desenvolvimento de IA, mas também fornece ferramentas e soluções inovadoras. No entanto, embora as muitas atualizações do Nvidia NIM sejam de fato uma “boa notícia” para a indústria. Mas, por outro lado, também traz muitos desafios aos programadores.
Nvidia NIM simplifica muito o processo de desenvolvimento e implantação de modelos de IA, fornecendo modelos de IA pré-treinados e APIs padronizadas. Isso é realmente um grande benefício para os desenvolvedores, mas também significará oportunidades de emprego para programadores comuns no futuro? ?Afinal, as empresas podem usar menos pessoal técnico para concluir o mesmo trabalho, porque essas tarefas foram concluídas antecipadamente pelo NIM, e os programadores comuns podem não precisar mais realizar trabalhos complexos de treinamento e ajuste de modelos.
A NVIDIA também demonstrou a aplicação de IA generativa nas plataformas abertas USD e Omniverse na conferência SIGGRAPH.
A Nvidia anunciou que construiu o primeiro modelo generativo de IA do mundo que pode entender a linguagem OpenUSD (Universal Scene Description), geometria, materiais, física e espaço, e empacotou esses modelos como microsserviços Nvidia NIM.Atualmente, existem três NIMs disponíveis para visualização no catálogo da API da Nvidia: USD Code, que responde a perguntas abertas de conhecimento sobre USD e gera código aberto USD Python USD Search, que permite aos desenvolvedores pesquisar o vasto USD 3D aberto usando linguagem natural ou entrada de imagem; e banco de dados de imagens; USD Validate, que verifica a compatibilidade dos arquivos carregados com versões abertas do USD e gera imagens path-traced totalmente renderizadas em RTX usando a API Omniverse Cloud.
A Nvidia disse que, com o aprimoramento e a acessibilidade do OpenUSD pelos microsserviços Nvidia NIM, todas as esferas da vida podem construir mundos virtuais e gêmeos digitais baseados na física no futuro. Com a nova IA generativa baseada em USD aberto e estruturas de desenvolvimento acelerado da Nvidia construídas na plataforma Nvidia Omniverse, mais indústrias podem agora desenvolver aplicativos para visualizar projetos industriais e de engenharia, bem como para ambientes de simulação para construir a próxima onda de IA física e robôs . Além disso, um novo conector USD conecta formatos de dados de robótica e simulação industrial e ferramentas de desenvolvedor, permitindo aos usuários transmitir conjuntos de dados de rastreamento de raio totalmente Nvidia RTX em grande escala para o Apple Vision Pro.
Resumindo, introduzir o USD através da Nvidia NIM para compreender melhor o mundo físico e construir mundos virtuais através de grandes modelos é um ativo muito valioso.ativos digitais . Por exemplo, em 2019, a Catedral de Notre Dame em Paris, França, sofreu um grave incêndio e grandes áreas da igreja foram destruídas. Felizmente, os designers de jogos da Ubisoft visitaram este edifício inúmeras vezes, estudaram sua estrutura, concluíram a restauração digital de Notre Dame e recriaram Notre Dame no jogo 3A "Assassin's Creed: Unity". Todos os detalhes também trouxeram grande ajuda para a restauração de Notre Dama de Paris. Naquela época, designers e historiadores demoravam dois anos para reproduzir, mas com a introdução dessa tecnologia, podemos acelerar a reprodução de cópias digitais em grande escala no futuro e usar IA para compreender e reproduzir a física de uma forma mais refinada. mundo de maneira.
Por outro exemplo, os designers constroem cenas tridimensionais básicas no Omniverse e usam essas cenas para ajustar a IA generativa para alcançar um processo de criação de conteúdo controlável e colaborativo. Por exemplo, a WPP e a The Coca-Cola Company foram as primeiras a adotar este fluxo de trabalho para expandir as suas campanhas publicitárias globais.
A Nvidia também anunciou o próximo lançamento de vários novos microsserviços NIM, incluindo USD Layout, USD Smart Material e FDB Mesh Generation, para aprimorar ainda mais os recursos e a eficiência dos aplicativos dos desenvolvedores na plataforma aberta do USD.
Desta vez, a NVIDIA Research participou da conferência com mais de 20 artigos, compartilhando resultados inovadores relacionados à promoção do desenvolvimento de geradores de dados sintéticos e ferramentas de renderização inversa, dois dos quais ganharam o prêmio de melhor artigo técnico. Pesquisa apresentada este ano mostra queA IA torna os recursos de simulação ainda melhores, melhorando a qualidade da imagem e desbloqueando novas formas de representação 3D ;Além disso, geradores de dados sintéticos aprimorados e mais melhoram o nível de IA. Esses estudos mostram os mais recentes avanços e inovações da Nvidia em IA e simulação.
A Nvidia diz que designers e artistas agora têm novas maneiras de melhorar sua produtividade usando IA generativa treinada em dados autorizados. Por exemplo, a Shutterstock (fornecedora americana de imagens) lançou uma versão beta comercial de seu serviço 3D generativo. Ele permite que os criadores criem rapidamente protótipos de ativos 3D e gerem fundos 360 HDRi para iluminar cenas usando apenas prompts de texto ou imagem; e a Getty Images (empresa de troca de fotos dos EUA) acelerou seu serviço generativo de IA para tornar a geração de imagens mais rápida. Esses serviços são baseados na Nvidia Edify, a arquitetura de IA generativa multimodal, com novos modelos que são duas vezes mais rápidos, melhoram a qualidade da imagem e a precisão imediata, e permitem aos usuários controlar as configurações da câmera, como profundidade de campo ou foco. Os usuários podem gerar quatro imagens em cerca de seis segundos e aumentá-las para resolução 4K.
Em todas as ocasiões importantes em que Huang aparece, ele sempre usa uma jaqueta de couro e descreve ao mundo o futuro emocionante trazido pela IA.
Também estamos vivenciando o crescimento da NVIDIA, testemunhando a NVIDIA passo a passo de uma gigante de GPU para jogos a uma overlord de chip de IA e, em seguida, a um layout full-stack de software e hardware de IA vertical e horizontal. A NVIDIA está cheia de ambição e itera rapidamente. na vanguarda da onda de tecnologia de IA.
Da GPU de sombreamento programável, computação acelerada CUDA, ao lançamento do Nvidia Omniverse e microsserviços generativos AI NIM, à promoção do desenvolvimento de modelagem 3D, simulação de robôs e tecnologia de gêmeo digital, isso também significa que uma nova rodada de inovação na IA a indústria está chegando.
No entanto, como as grandes empresas têm mais recursos, incluindo capital, tecnologia e mão de obra, elas são capazes de adotar e implementar tecnologias avançadas como Nvidia NIMS mais rapidamente. Devido aos recursos limitados, as pequenas e médias empresas podem ter dificuldade em acompanhar o ritmo do desenvolvimento tecnológico. Juntamente com as diferenças nos níveis técnicos dos talentos, levará a mais desigualdade tecnológica no futuro?
A IA ideal da humanidade é ajudar os humanos a libertarem as suas mãos e trabalho e trazerem um mundo com maior produtividade. Mas quando a produtividade e os meios de produção são controlados por um pequeno número de pessoas, irá desencadear uma crise mais profunda? Todas essas são questões nas quais precisamos pensar.