한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Texto/Tecnología Tencent Li Haidan

El 30 de julio, hora de Beijing, NVIDIA (también conocida como NVIDIA) demostró muchos de sus últimos desarrollos en los campos de renderizado, simulación e IA generativa en SIGGRAPH 2024, una importante conferencia de gráficos por computadora celebrada en Denver, EE. UU.

En SIGGRAPH del año pasado, NVIDIA lanzó las tarjetas gráficas GH200, L40S y ChatUSD. El protagonista de este año es la nueva carta de triunfo de NVIDIA en la era de la IA generativa——Nueva actualización "Nvidia NIMS"y aplicar IA generativa a USD (descripción de escena universal) a través de NIM, ampliando las posibilidades de la IA en el mundo 3D.

Actualización de Nvidia NIMS: una bendición y un desafío

Nvidia anunció que Nvidia NIMS logra una mayor optimización y estandariza la compleja implementación de modelos de IA. NIMS es una parte clave del diseño de IA de NVIDIA. Huang Renxun ha elogiado repetidamente la innovación aportada por NIM, calificándola de "AI-in-a-Box, esencialmente es inteligencia artificial en una caja。”

Sin duda, esta actualización consolida la posición de liderazgo de Nvidia en el campo de la IA y se convierte en una parte importante de su foso tecnológico.

CUDA se ha considerado durante mucho tiempo un factor clave en el liderazgo de Nvidia en el campo de las GPU. Con el apoyo de CUDA, la GPU ha pasado de ser un único procesador de gráficos a un dispositivo informático paralelo de uso general, lo que hace posible el desarrollo de la IA. Sin embargo, aunque el ecosistema de software de Nvidia es muy rico, estos sistemas fragmentados siguen siendo demasiado complejos y difíciles de dominar para las industrias tradicionales que carecen de capacidades básicas de desarrollo de IA.

Para resolver este problema, en marzo de este año, Nvidia lanzó los microservicios nativos de la nube NIM (Nvidia Inference Microservices) en la conferencia GTC, integrando todo el software desarrollado en los últimos años para simplificar y acelerar la implementación de aplicaciones de IA. NIM puede utilizar modelos como "contenedores" optimizados que se pueden implementar en la nube, el centro de datos o la estación de trabajo, lo que permite a los desarrolladores completar el trabajo en minutos, como crear fácilmente aplicaciones de IA generativa para copilotos, chatbots, etc.

Hasta ahora, el ecosistema NIM de Nvidia ha proporcionado una serie de modelos de IA previamente entrenados.Nvidia anunció, ayudando a los desarrolladores a acelerar el desarrollo y la implementación de aplicaciones en múltiples áreas y centrándose en diferentes áreas (como comprensión,hombre digital, desarrollo 3D, robótica y biología digital) modelos específicos de IA disponibles:

En la dirección de la comprensión, NIM puede utilizar Llama 3.1 y NeMo Retriever para mejorar las capacidades de procesamiento de datos de texto; en la dirección de los humanos digitales, proporciona modelos como Parakeet ASR y FastPitch HiFiGAN, que admiten síntesis de voz de alta fidelidad y automática. reconocimiento de voz para construir asistentes virtuales y humanos digitales Proporciona herramientas poderosas;

En términos de desarrollo 3D, modelos como USD Code y USD Search simplifican la creación y operación de escenas 3D, ayudando a los desarrolladores a construir gemelos digitales y mundos virtuales de manera más eficiente;

En el ámbito de la encarnación de robots, NVIDIA ha lanzado los modelos MimicGen y Robocasa. Acelere el desarrollo y la aplicación de la robótica generando datos de movimiento sintéticos y entornos de simulación. MimicGen NIM puede generar datos de movimiento sintéticos basados ​​en datos de operación remota registrados por dispositivos de computación espacial como Apple Vision Pro. Robocasa NIM genera tareas robóticas y entornos listos para simulación en OpenUSD, un marco universal para el desarrollo y la colaboración en el mundo 3D.

Modelos como DiffDock y ESMFold en el campo de la biología digital brindan soluciones avanzadas en el descubrimiento de fármacos y la predicción del plegamiento de proteínas, promoviendo el progreso de la investigación biomédica, etc.

Además, Nvidia anunció que la plataforma de inferencia como servicio Hugging Face también funciona con Nvidia NIM y se ejecuta en la nube.

Al integrar estos modelos versátiles, el ecosistema de Nvidia no solo mejora la eficiencia del desarrollo de la IA, sino que también proporciona herramientas y soluciones innovadoras. Sin embargo, aunque las numerosas actualizaciones de Nvidia NIM son de hecho una "buena noticia" para la industria. Pero, por otro lado, también plantea muchos desafíos a los programadores.

Nvidia NIM simplifica enormemente el proceso de desarrollo e implementación de modelos de IA al proporcionar modelos de IA previamente entrenados y API estandarizadas. Esto es de hecho una gran ayuda para los desarrolladores, pero ¿también significará oportunidades de empleo para los programadores comunes en el futuro? ?Después de todo, las empresas pueden utilizar menos personal técnico para completar el mismo trabajo, porque NIM ha completado estas tareas con anticipación y es posible que los programadores comunes ya no necesiten realizar trabajos complejos de capacitación y ajuste de modelos.

Enseñe a la IA a pensar en 3D y construir un mundo físico virtual

NVIDIA también demostró la aplicación de IA generativa en las plataformas abiertas USD y Omniverse en la conferencia SIGGRAPH.

Nvidia anunció que ha construido el primer modelo de IA generativa del mundo que puede comprender el lenguaje, la geometría, los materiales, la física y el espacio OpenUSD (Descripción de escena universal), y ha empaquetado estos modelos como microservicios NIM de Nvidia.Actualmente, hay tres NIM disponibles para vista previa en el catálogo de API de Nvidia: USD Code, que responde preguntas de conocimiento abierto de USD y genera código USD Python abierto, que permite a los desarrolladores buscar en el vasto USD 3D abierto utilizando lenguaje natural o entrada de imágenes; y base de datos de imágenes USD Validate, que verifica la compatibilidad de los archivos cargados con versiones abiertas de USD y genera imágenes con seguimiento de ruta totalmente renderizadas mediante RTX utilizando la API de Omniverse Cloud;

Nvidia dijo que con la mejora y accesibilidad de OpenUSD mediante los microservicios NIM de Nvidia, todos los ámbitos de la vida pueden construir mundos virtuales basados ​​en la física y gemelos digitales en el futuro. Con la nueva IA generativa basada en USD abiertos y marcos de desarrollo acelerados de Nvidia construidos en la plataforma Nvidia Omniverse, ahora más industrias pueden desarrollar aplicaciones para visualizar proyectos de ingeniería y diseño industrial, así como entornos de simulación para construir la próxima ola de IA física y robots. . Además, un nuevo conector USD conecta formatos de datos de simulación industrial y robótica y herramientas de desarrollo, lo que permite a los usuarios transmitir conjuntos de datos a gran escala, totalmente con trazado de rayos Nvidia RTX, a Apple Vision Pro.

En resumen, introducir USD a través de Nvidia NIM para comprender mejor el mundo físico y construir mundos virtuales a través de modelos grandes es un activo muy valioso.recursos digitales . Por ejemplo, en 2019, la Catedral de Notre Dame en París, Francia, sufrió un grave incendio y grandes áreas de la iglesia quedaron destruidas. Afortunadamente, los diseñadores de juegos de Ubisoft visitaron este edificio innumerables veces, estudiaron su estructura, completaron la restauración digital de Notre Dame y recrearon Notre Dame en el juego 3A "Assassin's Creed: Unity". Todos los detalles también fueron de gran ayuda para la restauración de Notre. Dama de París. En aquel momento, los diseñadores e historiadores tardaban dos años en reproducirlo, pero con la introducción de esta tecnología, podremos acelerar la reproducción de copias digitales a gran escala en el futuro y utilizar la IA para comprender y reproducir la física de una manera más refinada. manera.

Para otro ejemplo, los diseñadores construyen escenas tridimensionales básicas en Omniverse y usan estas escenas para ajustar la IA generativa para lograr un proceso de creación de contenido colaborativo y controlable. Por ejemplo, WPP y The Coca-Cola Company fueron los primeros en adoptar este flujo de trabajo para expandir sus campañas publicitarias globales.

Nvidia también anunció el próximo lanzamiento de varios microservicios NIM nuevos, incluidos USD Layout, USD Smart Material y FDB Mesh Generation, para mejorar aún más las capacidades y la eficiencia de las aplicaciones de los desarrolladores en la plataforma abierta USD.

Esta vez NVIDIA Research participó en la conferencia con más de 20 artículos, compartiendo resultados innovadores relacionados con la promoción del desarrollo de generadores de datos sintéticos y herramientas de renderizado inverso, dos de los cuales ganaron el premio al mejor artículo técnico. La investigación presentada este año muestra queLa IA mejora aún más las capacidades de simulación al mejorar la calidad de la imagen y desbloquear nuevas formas de representación 3D. ;Además, los generadores de datos sintéticos mejorados y más mejoran el nivel de IA. Estos estudios muestran los últimos avances e innovaciones de Nvidia en inteligencia artificial y simulación.

Nvidia dice que los diseñadores y artistas ahora tienen nuevas formas de mejorar su productividad mediante el uso de IA generativa entrenada con datos autorizados. Por ejemplo, Shutterstock (proveedor de imágenes estadounidense) lanzó una versión beta comercial de su servicio generativo 3D. Permite a los creadores crear rápidamente prototipos de activos 3D y generar fondos 360 ​​HDRi para iluminar escenas usando solo mensajes de texto o imágenes y Getty Images (compañía estadounidense de intercambio de fotografías) aceleró su servicio de inteligencia artificial generativa para duplicar la velocidad de generación de imágenes para mejorar la calidad de salida. Estos servicios se basan en Nvidia Edify, la arquitectura de IA generativa multimodal, con nuevos modelos que son dos veces más rápidos, mejoran la calidad de la imagen y la precisión de los mensajes, y permiten a los usuarios controlar la configuración de la cámara, como la profundidad de campo o el enfoque. Los usuarios pueden generar cuatro imágenes en aproximadamente seis segundos y ampliarlas a una resolución de 4K.

Conclusión

En cada ocasión importante en la que aparece Huang, siempre viste una chaqueta de cuero y describe al mundo el emocionante futuro que trae consigo la IA.

También estamos experimentando el crecimiento de NVIDIA, siendo testigos del paso a paso de NVIDIA desde un gigante de GPU para juegos hasta un señor supremo de los chips de IA, y luego a un diseño de pila completa de software y hardware de IA vertical y horizontal. NVIDIA está llena de ambición y itera rápidamente. a la vanguardia de la ola de tecnología de IA.

Desde GPU de sombreado programable, computación acelerada CUDA, hasta el lanzamiento de Nvidia Omniverse y microservicios NIM de IA generativa, pasando por la promoción del desarrollo del modelado 3D, la simulación de robots y la tecnología de gemelos digitales, también significa que una nueva ronda de innovación en la IA La industria está por llegar.

Sin embargo, a medida que las grandes empresas tienen más recursos, incluidos capital, tecnología y mano de obra, pueden adoptar e implementar tecnologías avanzadas como Nvidia NIMS más rápidamente. Debido a la limitación de recursos, las pequeñas y medianas empresas pueden tener dificultades para seguir el ritmo del desarrollo tecnológico. Sumado a las diferencias en los niveles técnicos de los talentos, ¿conducirá esto a una mayor desigualdad tecnológica en el futuro?

La IA ideal de la humanidad es ayudar a los humanos a liberar sus manos y su trabajo y crear un mundo con mayor productividad. Pero cuando la productividad y los medios de producción estén controlados por un pequeño número de personas, ¿se desencadenará una crisis más profunda? Todas estas son preguntas en las que debemos pensar.