noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Autor de este artículo: Li Dan

Fuente: IA dura

El lunes 29 de julio, hora del este, NVIDIA presentó nuevas herramientas en SIGGRAPH 2024, la conferencia y exposición anual de gráficos por computadora y tecnología interactiva que se lleva a cabo en Denver, EE. UU.

El director ejecutivo de NVIDIA, Huang Renxun, reveló en SIGGRAPH 2024 que NVIDIA enviará muestras de la arquitectura Blackwell esta semana, que es la nueva arquitectura de chip que debutará este año. Al mismo tiempo, Nvidia anunció una serie de actualizaciones de software, principalmente relacionadas con el microservicio de inferencia (NIM) de Nvidia, un microservicio nativo de la nube utilizado para optimizar la inferencia de inteligencia artificial (IA), para promover la implementación a gran escala de modelos de IA por parte de las empresas.

Cuando NVIDIA lanzó NIM en marzo de este año, presentó que NIM proporciona microservicios de inferencia optimizados diseñados para acortar el tiempo de comercialización y simplificar la implementación de modelos de IA generativa en cualquier lugar de la nube, centros de datos y estaciones de trabajo aceleradas por GPU. NIM admite casos de uso de IA en múltiples dominios, incluidos modelos de lenguaje grande (LLM), modelos de lenguaje visual (VLM) y modelos para voz, imagen, video, 3D, desarrollo de fármacos, imágenes médicas y más.

Los desarrolladores pueden probar nuevos modelos de IA generativa utilizando la API alojada en la nube de NVIDIA, o alojar el modelo ellos mismos descargando NIM e implementándolo rápidamente usando Kubernetes en los principales proveedores de nube o en las instalaciones para reducir el tiempo, la complejidad y el costo de desarrollo. Los microservicios NIM simplifican el proceso de implementación del modelo de IA al empaquetar algoritmos, optimizaciones del sistema y del tiempo de ejecución y agregar API estándar de la industria. Esto permite a los desarrolladores integrar NIM en sus aplicaciones e infraestructura existentes sin una gran personalización o experiencia.

La actualización anunciada por NVIDIA el lunes amplía la biblioteca de microservicios de inferencia NIM para cubrir entornos del mundo físico, modelado visual avanzado y diversas aplicaciones verticales. NVIDIA ha proporcionado alrededor de 100 microservicios de inferencia NIM en versiones preliminares y ahora está lanzando la versión completa. Por ejemplo, como parte del nuevo NIM de NVIDIA, pronto se lanzarán la API de generación de imágenes 4K de la empresa de medios visuales Getty Images Holdings y el generador de imágenes 3D de Shutterstock Inc., un proveedor de contenido digital como imágenes, películas y música. . Ambos utilizan Nvidia Edify de Nvidia, una arquitectura multimodal para IA generada por visión.

Nvidia anunció el mismo día que se ha asociado con la plataforma y el conjunto de herramientas de procesamiento del lenguaje natural (NLP) Hugging Face para lanzar la inferencia como un servicio para ayudar a los desarrolladores a crear prototipos e implementarlos en producción utilizando modelos de inteligencia artificial de código abierto alojados en Hugging Face Hub. Los comentarios dijeron que esta cooperación simplificará la implementación de modelos de IA para los desarrolladores.

fVDB aprovecha datos 3D del mundo real para crear inteligencia espacial

Entre ellos, NVIDIA lanzó fVDB, que utiliza datos 3D del mundo real para crear inteligencia espacial. Nvidia afirma que el modelo de IA material generativo puede comprender y realizar operaciones de motricidad fina o gruesa en el mundo material. Comprender y navegar por las tres dimensiones del mundo físico requiere inteligencia espacial. Para proporcionar a este tipo de IA un marco potente y coherente que pueda manejar una escala realista, NVIDIA creó fVDB, un marco de aprendizaje profundo diseñado para inteligencia espacial escasa, de gran escala y de alto rendimiento.

fVDB se basa en OpenVDB, una estructura y biblioteca estándar de la industria para simular y representar datos volumétricos dispersos como agua, fuego, humo y nubes. fVDB proporciona cuatro veces la escala espacial, 3,5 veces el rendimiento de los marcos anteriores y acceso a conjuntos masivos de datos del mundo real. Simplifica el proceso al combinar funcionalidades que anteriormente requerían múltiples bibliotecas de aprendizaje profundo.

El marco modular de código abierto Isaac Lab proporciona simulación para acelerar el aprendizaje de los robots

NVIDIA también lanzó Isaac Lab, un marco modular de código abierto para el aprendizaje de robots que puede resolver las limitaciones de los métodos tradicionales de capacitación en habilidades de aprendizaje de robots.

Isaac Lab proporciona simulaciones modulares de alta fidelidad para diferentes entornos de entrenamiento, brindando capacidades de inteligencia artificial del mundo físico y simulaciones del mundo físico impulsadas por GPU.

Isaac Lab admite el aprendizaje por imitación (imitación de humanos) y el aprendizaje por refuerzo (aprendizaje mediante prueba y error), proporcionando métodos de capacitación flexibles para cualquier implementación de robot. Proporciona un entorno fácil de usar para escenarios de capacitación y ayuda a los fabricantes de robots a agregar o actualizar habilidades de robots en función de las necesidades comerciales cambiantes.

Utilice los microservicios NVIDIA NIM y VIA para crear un agente visual de IA basado en VLM

NVIDIA ha adaptado NIM para la IA en el mundo físico, admitiendo voz y traducción, visión y animación y comportamiento realistas. NVIDIA lanza los microservicios VIA, ahora disponibles para descargar en la vista previa para desarrolladores.

Los microservicios VIA se pueden integrar fácilmente con NIM, y los usuarios pueden usar de manera flexible cualquier modelo LLM o VLM en la API de vista previa del modelo de NVIDIA y el directorio API de microservicios NIM descargable. Los microservicios VIA, una extensión de los microservicios Metropolis de NVIDIA, son bloques de construcción nativos de la nube que aceleran el desarrollo de agentes visuales de IA impulsados ​​por VLM y NIM, ya sea implementados en el borde o en la nube.

Con la ayuda de la IA generativa, los microservicios NIM y los modelos básicos, los usuarios ahora pueden utilizar menos modelos para crear aplicaciones con un amplio conocimiento y una rica comprensión contextual. VLM admite agentes visuales de IA que pueden comprender señales del lenguaje natural y responder preguntas visualmente. Los agentes visuales de IA utilizan capacidades de visión por computadora para percibir e interactuar con el mundo físico y realizar tareas de razonamiento.

Estos agentes pueden desbloquear completamente las posibilidades de las aplicaciones en diversas industrias. Pueden simplificar significativamente el flujo de trabajo del desarrollo de aplicaciones y proporcionar nuevas capacidades de percepción transformadoras, como resúmenes de imágenes o videos, preguntas y respuestas visuales interactivas y alertas visuales. Estos agentes visuales de IA se implementarán en fábricas, almacenes, tiendas minoristas, aeropuertos, intersecciones de tráfico y otros lugares, y ayudarán a los equipos de operaciones a tomar mejores decisiones aprovechando conocimientos más ricos generados a partir de interacciones naturales.

Omniverse Replicator ayuda a resolver problemas de escasez de datos que limitan el entrenamiento de modelos

NVIDIA presentó cómo utilizar los microservicios NIM para crear una canalización personalizada de generación de datos sintéticos (SDG) para USD, que utiliza Omniverse Replicator de NVIDIA. Omniverse Replicator es un SDK basado en Universal Scene Description (OpenUSD) y NVIDIA RTX.

Los desarrolladores pueden utilizar microservicios NIM y Omniverse Replicator, entre otros, para crear canales de ODS que admitan la IA generativa, resolviendo la escasez de datos del mundo real que a menudo limitan el entrenamiento de modelos.

Rev Lebaredian, vicepresidente de Omniverse y Tecnologías de simulación de NVIDIA dijo:

"Construimos el primer modelo de IA generativa del mundo que puede comprender el lenguaje, la geometría, los materiales, la física y el espacio basado en OpenUSD".

Lebaredian dijo que desde 2016, Nvidia ha estado invirtiendo en OpenUSD para permitir que las empresas industriales y los desarrolladores de inteligencia artificial de materiales desarrollen modelos de alto rendimiento de manera más fácil y rápida.

NVIDIA también está trabajando con Apple, que cofundó OpenUSD Alliance, para construir un flujo de procesamiento híbrido desde Graphics Delivery Network de NVIDIA, una red de centros de datos listos para gráficos, hasta Apple Vision Pro de Apple.