Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Автор статьи: Ли Дань

Источник: Жесткий ИИ

В понедельник, 29 июля по восточному времени, NVIDIA представила новые инструменты на SIGGRAPH 2024, ежегодной конференции и выставке компьютерной графики и интерактивных технологий, проходящей в Денвере, США.

Генеральный директор Nvidia Хуан Ренсюнь сообщил на выставке SIGGRAPH 2024, что на этой неделе Nvidia пришлет образцы архитектуры Blackwell — новой архитектуры чипов, дебютирующей в этом году. В то же время Nvidia анонсировала серию обновлений программного обеспечения, в основном связанных с микросервисом вывода Nvidia (NIM), облачным микросервисом, используемым для оптимизации вывода искусственного интеллекта (ИИ) с целью содействия крупномасштабному развертыванию моделей ИИ предприятиями.

Когда NVIDIA запустила NIM в марте этого года, она заявила, что NIM предоставляет оптимизированные микросервисы вывода, предназначенные для сокращения времени вывода на рынок и упрощения развертывания генеративных моделей ИИ в любом месте в облаке, центрах обработки данных и рабочих станциях с графическим ускорением. NIM поддерживает сценарии использования ИИ в нескольких областях, включая большие языковые модели (LLM), модели визуального языка (VLM), а также модели речи, изображений, видео, 3D, разработки лекарств, медицинских изображений и т. д.

Разработчики могут тестировать новые модели генеративного ИИ с помощью размещенного облачного API NVIDIA или самостоятельно размещать модель, загрузив NIM, и быстро развертывать ее с помощью Kubernetes у основных облачных провайдеров или локально, чтобы сократить время, сложность и стоимость разработки. Микросервисы NIM упрощают процесс развертывания модели ИИ за счет упаковки алгоритмов, оптимизации системы и среды выполнения, а также добавления API-интерфейсов, соответствующих отраслевым стандартам. Это позволяет разработчикам интегрировать NIM в существующие приложения и инфраструктуру без необходимости обширной настройки или опыта.

Обновление, анонсированное NVIDIA в понедельник, расширяет библиотеку микросервисов вывода NIM, охватывая среды физического мира, расширенное визуальное моделирование и различные вертикальные приложения. NVIDIA предоставила около 100 микросервисов вывода NIM в предварительных версиях и теперь выпускает полную версию. Например, в рамках нового NIM от NVIDIA скоро будут запущены API для создания изображений 4K компании визуальных медиа Getty Images Holdings и генератор 3D-изображений Shutterstock Inc., поставщика цифрового контента, такого как изображения, фильмы и музыка. . Оба используют Nvidia Edify от Nvidia, мультимодальную архитектуру для искусственного интеллекта, генерируемого зрением.

В тот же день NVIDIA объявила, что заключила партнерское соглашение с набором инструментов и платформой обработки естественного языка (NLP) Hugging Face, чтобы запустить вывод как услугу, которая поможет разработчикам быстро создавать прототипы и внедрять их в производство с использованием моделей искусственного интеллекта с открытым исходным кодом, размещенных на Hugging Face Hub. В комментариях говорилось, что это сотрудничество упростит развертывание моделей ИИ для разработчиков.

fVDB использует реальные 3D-данные для создания пространственного интеллекта

Среди них NVIDIA запустила программу fVDB, которая использует реальные 3D-данные для создания пространственного интеллекта. Nvidia утверждает, что модель искусственного интеллекта генеративного материала может понимать и выполнять операции мелкой или крупной моторики в материальном мире. Понимание и навигация в трех измерениях физического мира требует пространственного интеллекта. Чтобы предоставить этому типу ИИ мощную, согласованную структуру, способную справиться с реалистичным масштабом, NVIDIA создала fVDB, среду глубокого обучения, предназначенную для разреженного, крупномасштабного и высокопроизводительного пространственного интеллекта.

fVDB построен на основе OpenVDB, стандартной структуры и библиотеки для моделирования и рендеринга разреженных объемных данных, таких как вода, огонь, дым и облака. fVDB обеспечивает в четыре раза больший пространственный масштаб, в 3,5 раза большую производительность по сравнению с предыдущими платформами и доступ к огромным наборам реальных данных. Он упрощает процесс за счет объединения функций, которые раньше требовали нескольких библиотек глубокого обучения.

Модульная платформа с открытым исходным кодом Isaac Lab обеспечивает моделирование для ускорения обучения роботов

NVIDIA также запустила Isaac Lab, модульную структуру с открытым исходным кодом для обучения роботов, которая может устранить ограничения традиционных методов обучения навыкам обучения роботов.

Isaac Lab предоставляет модульное высокоточное моделирование для различных сред обучения, предоставляя возможности искусственного интеллекта физического мира и моделирование физического мира на основе графического процессора.

Isaac Lab поддерживает имитационное обучение (имитация людей) и обучение с подкреплением (обучение методом проб и ошибок), предоставляя гибкие методы обучения для любой реализации робота. Он обеспечивает удобную среду для сценариев обучения и помогает производителям роботов добавлять или обновлять навыки роботов в зависимости от меняющихся потребностей бизнеса.

Используйте микросервисы NVIDIA NIM и VIA для создания визуального агента искусственного интеллекта на основе VLM.

NVIDIA адаптировала NIM для искусственного интеллекта в физическом мире, поддерживая речь и перевод, зрение, а также реалистичную анимацию и поведение. NVIDIA запускает микросервисы VIA, которые теперь доступны для загрузки в предварительной версии для разработчиков.

Микросервисы VIA можно легко интегрировать с NIM, и пользователи могут гибко использовать любую модель LLM или VLM в API предварительного просмотра модели NVIDIA и загружаемом каталоге API микросервисов NIM. Микросервисы VIA, расширение микросервисов NVIDIA Metropolis, представляют собой встроенные в облако строительные блоки, которые ускоряют разработку агентов визуального ИИ на основе VLM и NIM, независимо от того, развернуты ли они на периферии или в облаке.

С помощью генеративного искусственного интеллекта, микросервисов NIM и базовых моделей пользователи теперь могут использовать меньше моделей для создания приложений с широкой осведомленностью и богатым контекстным пониманием. VLM поддерживает визуальные агенты искусственного интеллекта, которые могут понимать сигналы естественного языка и выполнять визуальные ответы на вопросы. Агенты визуального ИИ используют возможности компьютерного зрения для восприятия физического мира и взаимодействия с ним, а также для выполнения логических задач.

Эти агенты могут полностью раскрыть возможности приложений в различных отраслях. Они могут значительно упростить рабочий процесс разработки приложений и предоставить новые возможности восприятия, такие как обобщение изображений или видео, интерактивные визуальные вопросы и ответы, а также визуальные оповещения. Эти визуальные агенты искусственного интеллекта будут развернуты на заводах, складах, в розничных магазинах, аэропортах, транспортных развязках и других местах и ​​помогут операционным группам принимать более обоснованные решения за счет использования более глубокой информации, полученной в результате естественных взаимодействий.

Omniverse Replicator помогает решить проблемы нехватки данных, которые ограничивают обучение моделей.

NVIDIA рассказала, как использовать микросервисы NIM для создания собственного конвейера генерации синтетических данных (SDG) для долларов США, который использует Omniverse Replicator от NVIDIA. Omniverse Replicator — это SDK, созданный на основе универсального описания сцены (OpenUSD) и NVIDIA RTX.

Разработчики могут использовать микросервисы NIM и Omniverse Replicator, среди прочего, для создания конвейеров ЦУР, поддерживающих генеративный искусственный интеллект, решая проблему нехватки реальных данных, которая часто ограничивает обучение моделей.

Преподобный Лебаредиан, вице-президент Omniverse и технологий моделирования NVIDIA, сказал:

«Мы создали первую в мире генеративную модель искусственного интеллекта, которая может понимать язык, геометрию, материалы, физику и пространство на основе OpenUSD».

Лебаредян сообщил, что с 2016 года NVIDIA инвестирует в OpenUSD, чтобы позволить промышленным компаниям и разработчикам искусственного интеллекта легче и быстрее разрабатывать высокопроизводительные модели.

NVIDIA также работает с Apple, которая является соучредителем OpenUSD Alliance, над созданием гибридного конвейера рендеринга от NVIDIA Graphics Delivery Network, сети центров обработки данных с поддержкой графики, до Apple Vision Pro от Apple.