한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Текст/Tencent Technology Ли Хайдань Редактор/Го Сяоцзин

30 июля по пекинскому времени компания NVIDIA (также известная как NVIDIA) продемонстрировала многие из своих последних разработок в области рендеринга, моделирования и генеративного искусственного интеллекта на SIGGRAPH 2024, ведущей конференции по компьютерной графике, проходившей в Денвере, США.

На прошлогодней выставке SIGGRAPH компания NVIDIA представила видеокарты GH200, L40S и ChatUSD. Главный герой этого года — новый козырь NVIDIA в эпоху генеративного искусственного интеллекта ——Новое обновление «Nvidia NIM»и применить генеративный ИИ к долларам США (универсальное описание сцены) через NIM, расширяя возможности ИИ в 3D-мире.

Обновление Nvidia NIM: и благословение, и проблема

Nvidia объявила, что Nvidia NIM достигает дальнейшей оптимизации и стандартизирует сложное развертывание моделей искусственного интеллекта. NIM — ключевая часть схемы искусственного интеллекта NVIDIA. Хуан Жэньсюнь неоднократно хвалил инновации, предложенные NIM, называя их «AI-in-a-Box, по сути, это искусственный интеллект в коробке.。”

Это обновление, несомненно, укрепляет лидерские позиции Nvidia в области искусственного интеллекта и становится важной частью ее технологического рва.

CUDA уже давно считается ключевым фактором лидерства Nvidia в области графических процессоров. Благодаря поддержке CUDA графический процессор превратился из одного графического процессора в параллельное вычислительное устройство общего назначения, что сделало возможным разработку искусственного интеллекта. Однако, хотя экосистема программного обеспечения Nvidia очень богата, эти фрагментированные системы по-прежнему слишком сложны и сложны в освоении для традиционных отраслей, в которых отсутствуют базовые возможности разработки искусственного интеллекта.

Чтобы решить эту проблему, в марте этого года Nvidia запустила на конференции GTC облачные микросервисы NIM (Nvidia Inference Microservices), интегрирующие все программное обеспечение, разработанное за последние несколько лет, для упрощения и ускорения развертывания приложений искусственного интеллекта. NIM может использовать модели в качестве оптимизированных «контейнеров», которые можно развернуть в облаке, центре обработки данных или на рабочей станции, что позволяет разработчикам выполнять работу за считанные минуты, например легко создавать генеративные приложения искусственного интеллекта для вторых пилотов, чат-ботов и т. д.

До сих пор экосистема NIM от Nvidia предоставляла ряд предварительно обученных моделей искусственного интеллекта.NVIDIA объявила, помогая разработчикам ускорить разработку и развертывание приложений в различных областях и уделяя особое внимание различным областям (таким как понимание,цифровой человек, 3D-разработка, робототехника и цифровая биология) доступны конкретные модели ИИ:

В целях понимания NIM может использовать Llama 3.1 и NeMo Retriever для улучшения возможностей обработки текстовых данных в отношении цифровых людей, он предоставляет такие модели, как Parakeet ASR и FastPitch HiFiGAN, которые поддерживают высококачественный и автоматический синтез речи; распознавание речи для создания виртуальных помощников и цифровых людей. Предоставляет мощные инструменты;

Что касается 3D-разработки, такие модели, как USD Code и USD Search, упрощают создание и эксплуатацию 3D-сцен, помогая разработчикам более эффективно создавать цифровых двойников и виртуальные миры;

В направлении воплощения роботов NVIDIA запустила модели MimicGen и Robocasa. Ускорьте разработку и применение робототехники за счет создания синтетических данных о движении и сред моделирования. MimicGen NIM может генерировать синтетические данные о движении на основе данных удаленных операций, записанных устройствами пространственных вычислений, такими как Apple Vision Pro. Robocasa NIM генерирует роботизированные задачи и среды, готовые к моделированию, в OpenUSD, универсальной платформе для разработки и совместной работы в 3D-мире.

Такие модели, как DiffDock и ESMFold, в области цифровой биологии предоставляют передовые решения в области открытия лекарств и прогнозирования сворачивания белков, способствуя прогрессу биомедицинских исследований и так далее.

Кроме того, Nvidia объявила, что платформа вывода как услуги Hugging Face также работает на базе Nvidia NIM и работает в облаке.

Интегрируя эти универсальные модели, экосистема Nvidia не только повышает эффективность разработки ИИ, но также предоставляет инновационные инструменты и решения. Однако многочисленные обновления Nvidia NIM действительно являются «хорошей новостью» для отрасли. Но с другой стороны, это также создает множество проблем для программистов.

Nvidia NIM значительно упрощает процесс разработки и развертывания моделей ИИ, предоставляя предварительно обученные модели ИИ и стандартизированные API. Это действительно большое благо для разработчиков, но означает ли это также возможности трудоустройства для обычных программистов в будущем? ?Ведь предприятия могут использовать меньшее количество технического персонала для выполнения той же работы, поскольку эти задачи выполняются NIM заранее, и обычным программистам может больше не понадобиться выполнять сложную работу по обучению и настройке модели.

Научите ИИ мыслить в 3D и строить виртуальный физический мир

NVIDIA также продемонстрировала применение генеративного искусственного интеллекта на открытых платформах USD и Omniverse на конференции SIGGRAPH.

Nvidia объявила, что создала первую в мире генеративную модель искусственного интеллекта, которая может понимать язык, геометрию, материалы, физику и пространство OpenUSD (универсальное описание сцены), и упаковала эти модели в виде микросервисов Nvidia NIM.В настоящее время в каталоге API Nvidia для предварительного просмотра доступны три NIM: USD Code, который отвечает на открытые вопросы по доллару США и генерирует открытый код USD USD Search, который позволяет разработчикам осуществлять поиск в обширном открытом пространстве USD 3D, используя естественный язык или ввод изображений; и база данных изображений USD Validate, которая проверяет загруженные файлы на совместимость с открытыми версиями USD и генерирует полностью обработанные RTX изображения с трассировкой пути с использованием Omniverse Cloud API.

Nvidia заявила, что благодаря усовершенствованию и доступности OpenUSD с помощью микросервисов Nvidia NIM все сферы жизни смогут создавать основанные на физике виртуальные миры и цифровые двойники в будущем. Благодаря новому генеративному искусственному интеллекту на основе открытого доллара США и средам ускоренной разработки Nvidia, построенным на платформе Nvidia Omniverse, больше отраслей теперь могут разрабатывать приложения для визуализации промышленного дизайна и инженерных проектов, а также для сред моделирования для создания следующей волны физического ИИ и роботов. . Кроме того, новый разъем USD соединяет форматы данных робототехники и промышленного моделирования, а также инструменты разработчика, позволяя пользователям передавать крупномасштабные наборы данных с трассировкой лучей Nvidia RTX в Apple Vision Pro.

Короче говоря, введение долларов США через Nvidia NIM, чтобы лучше понять физический мир и строить виртуальные миры с помощью больших моделей, является очень ценным активом.цифровые активы . Например, в 2019 году в соборе Парижской Богоматери в Париже (Франция) произошел серьезный пожар, и большие площади церкви были разрушены. К счастью, геймдизайнеры Ubisoft бесчисленное количество раз посещали это здание, изучали его структуру, завершили цифровую реставрацию Нотр-Дама и воссоздали Нотр-Дам в игре 3А «Assassin's Creed: Unity». Все детали также очень помогли восстановлению Нотр-Дама. Дама де Пари. В то время дизайнерам и историкам потребовалось два года, чтобы воспроизвести, но с внедрением этой технологии мы сможем ускорить воспроизведение цифровых копий в больших масштабах в будущем и использовать ИИ для понимания и воспроизведения физики в более совершенном виде. мир.

Другой пример: дизайнеры создают базовые трехмерные сцены в Omniverse и используют эти сцены для настройки генеративного искусственного интеллекта для достижения управляемого и совместного процесса создания контента. Например, WPP и The Coca-Cola Company были первыми, кто применил этот рабочий процесс для расширения своих глобальных рекламных кампаний.

Nvidia также объявила о предстоящем запуске нескольких новых микросервисов NIM, включая USD Layout, USD Smart Material и FDB Mesh Generation, чтобы еще больше расширить возможности и эффективность приложений разработчиков на открытой платформе USD.

На этот раз компания NVIDIA Research приняла участие в конференции, представив более 20 докладов, поделившись инновационными результатами, связанными с продвижением разработки генераторов синтетических данных и инструментов обратного рендеринга, два из которых получили награду за лучшую техническую статью. Исследования, представленные в этом году, показывают, чтоИИ делает возможности моделирования еще лучше, улучшая качество изображения и открывая новые способы трехмерного представления. ;Кроме того, улучшенные генераторы синтетических данных и многое другое повышают уровень ИИ. Эти исследования демонстрируют последние достижения и инновации Nvidia в области искусственного интеллекта и моделирования.

Nvidia утверждает, что у дизайнеров и художников теперь есть новые способы повысить свою производительность с помощью генеративного искусственного интеллекта, обученного на разрешенных данных. Например, Shutterstock (американский поставщик изображений) запустил коммерческую бета-версию своего генеративного 3D-сервиса. Он позволяет создателям быстро создавать прототипы 3D-ресурсов и генерировать 360-градусный фон HDRi для освещения сцен, используя только текстовые или графические подсказки, а Getty Images (американская компания по обмену фотографиями) ускорила свой сервис генеративного искусственного интеллекта, чтобы ускорить создание изображений. В два раза улучшить качество вывода. Эти сервисы основаны на Nvidia Edify, мультимодальной генеративной архитектуре искусственного интеллекта, с новыми моделями, которые работают в два раза быстрее, улучшают качество изображения и повышают точность, а также позволяют пользователям управлять настройками камеры, такими как глубина резкости или фокус. Пользователи могут создать четыре изображения примерно за шесть секунд и масштабировать их до разрешения 4K.

Заключение

На каждом важном мероприятии, где появляется Хуан, он всегда носит кожаную куртку и описывает миру захватывающее будущее, которое принесет ИИ.

Мы также наблюдаем рост NVIDIA, становясь свидетелями того, как NVIDIA шаг за шагом превращается из гиганта игровых графических процессоров в повелителя чипов искусственного интеллекта, а затем и в полнофункциональную компоновку вертикального и горизонтального программного и аппаратного обеспечения искусственного интеллекта. NVIDIA полна амбиций и быстро внедряет итерации. в авангарде волны технологий искусственного интеллекта.

От графического процессора с программируемым шейдингом, ускоренных вычислений CUDA до запуска Nvidia Omniverse и генеративных микросервисов AI NIM, а также содействия развитию 3D-моделирования, симуляции роботов и технологии цифровых двойников — это также означает, что новый виток инноваций в области искусственного интеллекта промышленность наступает.

Однако, поскольку у крупных компаний больше ресурсов, включая капитал, технологии и рабочую силу, они могут быстрее внедрять и внедрять передовые технологии, такие как Nvidia NIM. Из-за ограниченности ресурсов малым и средним предприятиям может быть трудно идти в ногу с темпами технологического развития. Приведет ли это в сочетании с различиями в техническом уровне талантов к еще большему технологическому неравенству в будущем?

Идеальный ИИ человечества должен помочь людям освободить свои руки и труд и создать мир с более высокой производительностью. Но когда производительность и средства производства контролируются небольшим количеством людей, вызовет ли это более глубокий кризис? Это все вопросы, над которыми нам нужно подумать.