notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

profeta do pato do encanamento de spring river. as ações atuais da nvidia estão revelando algumas novas tendências.

texto | zhou luping e zhao yanqiu

editor | niu hui

não muito tempo atrás, a nvidia lançou um serviço generativo de ia para modelagem 3d, que atraiu ampla atenção na indústria. se dissermos que a ia generativa anterior tratava mais de gerar conteúdo no mundo bidimensional, como texto, imagens e vídeos. bem, desta vez a nvidia está usando ia generativa para ajudar as empresas a construir ativos 3d, acelerar o desenvolvimento de gêmeos digitais e indústrias de simulação, e também acelerar a aplicação de ia no mundo físico.

01

“cuda nativo” visa a indústria

profeta do pato do encanamento de spring river. como líder mundial em computação acelerada, as ações da nvidia estão revelando algumas novas tendências.

o fundador e ceo da nvidia, jensen huang, em duas conversas na siggraph em 2024, concentrou seus insights mais recentes sobre ia em como a ia generativa e a computação acelerada podem mudar setores como o de manufatura por meio da visualização. a nvidia também lançou um novo conjunto de microsserviços nim durante a conferência.

a conferência siggraph é o local para discutir as últimas inovações em computação gráfica. a nvidia lançou modelos generativos de ia e microsserviços nim adequados para openusd, geometria, física, materiais, etc. openusd é um software de código aberto para troca interna de dados em cenas 3d e gradualmente se tornou um padrão em muitos setores, como visão 3d, arquitetura, design e fabricação.

com esses modelos e serviços, os desenvolvedores podem acelerar o desenvolvimento de aplicações nas indústrias de manufatura, automotiva, robótica e outras indústrias.

em duas conversas ao ar livre, huang discutiu a importância de construir gêmeos digitais e mundos virtuais. ele disse que a indústria está melhorando a eficiência e reduzindo custos através da construção de gêmeos digitais em grande escala na escala das cidades. “por exemplo, a ia pode ser treinada neste mundo virtual antes de ser implantada em robôs humanóides da próxima geração.”

porque é que jensen huang se concentra na visualização industrial, nos mundos virtuais ou nos gémeos digitais? por que a nvidia lançou um novo microsserviço nim no ecossistema cuda neste momento?

foto do site oficial da nvidia

como disse rev lebaredian, vice-presidente de omniverse e tecnologia de simulação da nvidia - a onda de ia generativa na indústria pesada chegou. a digital intelligence frontier também aprendeu que a ia generativa está migrando de alguns cenários simples para links de produção complexos. a ecologia tecnológica acima mencionada pode acelerar este processo.

“até recentemente, os principais usuários do mundo digital eram as indústrias criativas; agora, com os recursos aprimorados e a acessibilidade que os microsserviços nvidia nim trazem para o openusd, as indústrias podem criar mundos virtuais e gêmeos digitais baseados na física para isso. do boom da tecnologia de ia", disse rev lebaredian.

na indústria automotiva, as montadoras nacionais são gêmeos digitais “rolantes”. "a tesla está prestes a lançar a versão fsd 12.5 recentemente e também está promovendo ativamente a implementação do fsd na china." uma pessoa de inteligência artificial de uma grande empresa automobilística chinesa disse à digital intelligence frontier: "a tesla considera a simulação um objetivo estratégico, e nós estamos". também construa um metaverso e resolva o problema de circuito fechado de dados de direção autônoma “anteriormente, era difícil e caro para as montadoras coletar dados de “sonda fantasma”. agora, as montadoras podem resolver o treinamento de cenários de cauda longa no ambiente de simulação do metaverso.

na indústria de robôs, uma empresa de robôs de inspeção de energia está treinando ia por meio de um ambiente de simulação para que o robô possa perceber o ambiente complexo e o espaço físico da usina em tempo real, planejar sua rota de movimento e visualizar milhares de metros em diferentes dispositivos ao longo do caminho.

o projeto arquitetônico é uma tarefa complexa e demorada, e os modelos 3d no projeto arquitetônico são um produto essencial. para algumas formas geométricas complexas e estruturas com formatos especiais, a reconstrução de modelos 3d é mais difícil. agora, algumas empresas de design estão trabalhando com empresas de ia para tentar gerar modelos apenas com algumas imagens, esboços e texto. diferentes materiais também podem ser fornecidos ao projeto arquitetônico para melhorá-lo.

na indústria siderúrgica, a análise metalográfica é um método de observar defeitos e estruturas dentro de fatias de material através de um microscópio para compreender o desempenho geral do material de base. o trabalho manual tradicional é menos eficiente e depende muito da experiência humana. agora, um apelo comum de muitas empresas siderúrgicas é usar a base de conhecimento anterior para conduzir uma análise abrangente de materiais por meio do treinamento de ia profissional.

por meio dos novos microsserviços nim, a nvidia permite que as empresas de aplicativos chamem serviços diretamente, sem começar do zero, e depois os combinem com seus próprios dados para implementar rapidamente um aplicativo. portanto, algumas empresas descrevem isso como “nativo cuda”.

com a implementação da ia ​​generativa de alguns cenários extremos até cenários mais profundos, huang renxun disse: “todos terão um assistente de ia”. ao mesmo tempo, a integração da ia ​​e da tecnologia de imagem está a aprofundar-se: “quase todas as indústrias serão afectadas por esta tecnologia, seja a computação científica para prever melhor o tempo com menos energia, ou o trabalho com criadores para gerar imagens, ou criar imagens virtuais. cenas para visualização industrial", disse huang. "a ia generativa também revolucionará o campo dos carros robóticos autônomos."

02

que imaginação o novo microsserviço nim traz?

por trás das aplicações industriais mencionadas acima, todas elas contam com a aplicação de modelagem 3d e tecnologia de simulação.

a construção de conteúdos e cenas 3d sempre foi uma dor de cabeça no passado. envolve cadeias e processos complexos, como modelagem, coloração, animação, iluminação, renderização, etc.

nas últimas décadas, estúdios de animação, efeitos visuais e jogos têm tentado melhorar a interoperabilidade entre as diversas ferramentas em seus pipelines, mas com sucesso limitado. mover dados de um local para outro é complicado, por isso o estúdio criou fluxos de trabalho complexos para gerenciar a interoperabilidade dos dados.

além disso, além da separação de sistemas e ferramentas, o processo tradicional de produção 3d é uma colaboração linear, envolvendo conversão e modificação de formato por vários departamentos e pessoal, o que é demorado e trabalhoso.

openusd é uma estrutura universal de troca de dados 3d de código aberto. foi criada em 2023 sob a liderança da nvidia, pixar, apple e outros fabricantes. ela pode construir mundos virtuais por meio da interoperabilidade entre ferramentas de software e tipos de dados e possui interoperabilidade e compatibilidade extremamente altas. ele resolve muitos desafios de fluxo de trabalho e complexidade ao criar cenas 3d.

openusd também é a base da plataforma nvidia omniverse. em conversa com um redator sênior da revista wired, huang renxun disse certa vez: openusd é o primeiro formato a integrar a expressão multimodal de quase todas as ferramentas. idealmente, com o tempo, é possível incluir quase qualquer formato, permitindo que todos colaborem e fazendo com que o conteúdo dure para sempre. a ia generativa certamente ajudará o omniverse a produzir melhores resultados de simulação.

o microsserviço nim lançado pela nvidia desta vez para o desenvolvimento do openusd também é o primeiro modelo generativo de ia do mundo para o desenvolvimento do openusd. ele integra recursos generativos de ia ao fluxo de trabalho do usd na forma de microsserviços nim, reduzindo significativamente o limite para os usuários usarem o openusd. ao mesmo tempo, a nvidia também lançou uma série de novos conectores usd adequados para formatos de dados de robôs e streaming do apple vision pro.

foto do site oficial da nvidia

atualmente, existem três microsserviços nim que foram lançados: um é o microsserviço usd code nim, que pode responder a perguntas de senso comum do openusd e gerar automaticamente código python com base em prompts de texto.

o segundo é o microsserviço usd search nim, que permite aos desenvolvedores usar linguagem natural ou entrada de imagem para pesquisar em enormes bancos de dados openusd, 3d e de imagens, melhorando significativamente a velocidade de recuperação de processos empresariais e processamento de materiais.

o terceiro é o microsserviço usd validate nim, que pode verificar a compatibilidade dos arquivos carregados com a versão de lançamento do openusd e gerar imagens de rastreamento de caminho de renderização rtx totalmente conduzidas pela api nvidia omniverse cloud.

além dos microsserviços nim nativos fornecidos pela nvidia, os parceiros do ecossistema também estão criando vários modelos populares de ia baseados nesses microsserviços para fornecer aos usuários otimização de inferência.

a shutterstock, uma plataforma de conteúdo criativo de renome mundial, lançou um novo serviço de conversão de texto para 3d baseado na versão mais recente do modelo de geração visual edify da nvidia, incluindo a criação de protótipos 3d ou o preenchimento de ambientes virtuais.

por exemplo, criar iluminação refletiva com precisão para cenas virtuais é uma tarefa complexa. no passado, os criadores precisavam operar equipamentos caros de câmera de 360 ​​graus, ir ao local de filmagem para criar o plano de fundo do zero ou pesquisar conteúdo semelhante em um enorme banco de dados.

mas agora, através de serviços de geração 3d, os usuários só precisam descrever o ambiente específico que precisam com texto ou imagens, e podem obter imagens panorâmicas de alta faixa dinâmica (360 hdri) com resolução máxima de 16k. além disso, essas cenas e componentes podem ser trocados rapidamente, como fazer um carro esporte aparecer no deserto, em uma praia tropical ou em uma estrada sinuosa na montanha.

além de criar iluminação, os criadores também podem adicionar rapidamente vários materiais de renderização, como concreto, madeira ou couro, para construir seus próprios recursos 3d. além disso, os ativos 3d gerados com a ajuda da ia ​​também podem ser editados a qualquer momento e fornecidos em vários formatos de arquivo populares.

o modelo edify ai da nvidia também está ajudando a getty images a permitir que os artistas controlem a composição e o estilo das imagens à vontade. como flutuar uma bola de praia vermelha sobre uma foto perfeita de um recife de coral. além disso, os criadores também podem usar dados corporativos para ajustar o modelo básico e gerar imagens que se ajustem ao estilo criativo de uma marca específica.

esses microsserviços e ferramentas de modelo estão acelerando enormemente a criação de ativos 3d pelas marcas e tornarão o desenvolvimento de gêmeos digitais mais popular e conveniente.

03

as empresas pioneiras começaram a tentar

à medida que o conteúdo 3d e a criação de ativos se tornam mais convenientes e precisos, indústrias como a indústria, a condução autónoma, a engenharia e a robótica estão a desfrutar dos dividendos tecnológicos trazidos pela ia generativa. especialmente nas indústrias criativas de manufatura e publicidade, um grupo de pioneiros está acelerando ativamente a aplicação de gêmeos digitais e simulação por meio da plataforma nvidia omniverse.

a coca-cola é a primeira marca a usar ia generativa fornecida pelos microsserviços omniverse e nim em cenários de marketing. em um vídeo de demonstração, basta digitar “construa para mim uma mesa com tacos e salsa à luz da manhã” no sistema em linguagem natural.

em breve, o microsserviço usd search nim pode procurar os ativos 3d correspondentes na enorme biblioteca de ativos 3d e chamá-los rapidamente por meio da api. o usd code nim pode combinar esses modelos em cenas e os desenvolvedores podem obtê-los inserindo prompts. o código usado para criar novos mundos 3d aumenta muito suas capacidades criativas. através da ia ​​generativa, a coca-cola pode personalizar uma imagem personalizada em mais de 100 mercados em todo o mundo para alcançar um marketing localizado.

foto do site oficial da nvidia

como provedor de serviços de publicidade por trás da coca-cola, a wpp lançou especialmente um sistema operacional de marketing inteligente. o sistema aproveita a plataforma de desenvolvimento omniverse e openusd para agilizar e automatizar a criação de textos, imagens e vídeos multilíngues, simplificando o processo de criação de conteúdo para anunciantes e profissionais de marketing. ao atender os clientes por meio de ia generativa, a wpp transforma ideias malucas em realidade.

como disse o diretor de tecnologia da wpp: “a beleza dessas inovações é que elas são altamente compatíveis com a maneira como trabalhamos e aproveitam ao máximo os padrões abertos. isso não apenas acelera o trabalho futuro, mas também nos permite continuar a desenvolver. e expandir nossos investimentos anteriores em padrões como openusd. ao usar microsserviços nvidia nim com nvidia omniverse, podemos lançar novas ferramentas de produção inovadoras mais rápido do que nunca com empresas como a the coca-cola company.”

como maior oem de eletrônicos de consumo do mundo, a foxconn construiu uma fábrica virtual digital para uma nova fábrica no méxico. os engenheiros podem definir processos e treinar robôs no ambiente virtual, melhorando assim o nível de automação da fábrica, a eficiência da produção e economizando tempo e custos. e energia.

a foxconn também usou a plataforma omniverse nos bastidores para construir seu gêmeo digital, integrando todos os elementos cad 3d na mesma fábrica virtual e treinando os robôs usando nvidia isaac sim, uma plataforma escalonável de simulação de robôs desenvolvida em omniverse e openusd. e apresentação visual realista para seu gêmeo digital.

além da foxconn, empresas de fabricação de eletrônicos, incluindo delta electronics, mediatek e pegatron, estão usando nvidia ai e omniverse para construir gêmeos digitais de fábrica.

o modelo mpv da xpeng motors, xpeng x9, usou a plataforma omniverse no processo de design. ao introduzir o fluxo de trabalho de desenvolvimento de modelo no mundo virtual, a xpeng motors pode evitar os gargalos dos fluxos de trabalho tradicionais ao projetar novos carros.

por exemplo, por um lado, a plataforma omniverse tem forte interoperabilidade, de modo que os arquivos e dados utilizados para modelagem industrial, renderização e efeitos especiais 3d não precisam mais de conversões complicadas, acelerando a comunicação e a colaboração entre as equipes de design da xpeng motors; por outro lado, a xpeng motors usa as funções de renderização em tempo real e traçado de raio do omniverse para obter visualização instantânea da cor do carro e das mudanças no interior, tornando o efeito virtual mais realista, ajudando a atender às necessidades do usuário e, assim, melhorando a experiência do produto .

nos últimos dois anos, a explosão da ia ​​generativa atraiu mais atenção do mundo exterior para algumas aplicações na área de toc e escritório colaborativo, mas agora, o mundo físico também dará início a uma nova onda de explosões e oportunidades.