Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Отчет о сердце машины

Монтажер: Ду Вэй, Чэнь Чен

Хуан Жэньсюнь сказал: «Следующая волна искусственного интеллекта — это роботы, и одна из самых захватывающих разработок — роботы-гуманоиды». Сегодня проект GR00T сделал еще один важный шаг.

Вчера основатель NVIDIA Хуан Дженсен рассказал об универсальной базовой модели робота-гуманоида «Проект GR00T» в своей основной речи на конференции SIGGRAPH 2024. Модель получает ряд обновлений в плане функциональности.

Чжу Юкэ, доцент Техасского университета в Остине и старший научный сотрудник NVIDIA, написал в Твиттере, продемонстрировав в видео, как NVIDIAСистема крупномасштабного моделирования домашних роботов общего назначения RoboCasa и системы MimicGen интегрированы в платформу NVIDIA Omniverse и платформу разработки роботов Isaac.。

Источник изображения: https://x.com/yukez/status/1818092679936299373

В видеоролике рассматриваются три собственные вычислительные платформы Nvidia, включая AI, Omniverse и Jetson Thor, которые используются для упрощения и ускорения рабочих процессов разработчиков. Ожидается, что благодаря совместному расширению возможностей этих вычислительных платформ мы вступим в эпоху гуманоидных роботов, управляемых физическим искусственным интеллектом.

Самым большим событием является то, что разработчики могут использовать Apple Vision Pro для удаленного управления роботами-гуманоидами для выполнения задач.

В то же время Джим Фан, еще один старший научный сотрудник Nvidia, сказал, что обновления Project GR00T очень интересны. NVIDIA использует системный подход к масштабированию данных робототехники для решения самых сложных задач в робототехнике.

Идея также проста: люди собирают демонстрационные данные о реальных роботах, а NVIDIA расширяет эти данные в тысячу и более раз при моделировании. Благодаря моделированию с ускорением на графическом процессоре люди теперь могут обменивать вычислительные мощности на трудоемкую, трудоемкую и финансово затратную работу по сбору данных о людях.

Он рассказывает о том, как не так давно он считал, что дистанционное управление принципиально немасштабируемо, потому что в атомном мире мы всегда были ограничены 24 часами/роботами/днями. Новый конвейер синтетических данных, принятый NVIDIA на GR00T, устраняет это ограничение в битовом мире.

Источник изображения: https://x.com/DrJimFan/status/1818302152982343983.

Что касается последнего прогресса NVIDIA в области роботов-гуманоидов, некоторые пользователи сети заявили, что Apple Vision Pro нашла самый крутой вариант использования.

NVIDIA начинает возглавлять следующую волну: физический искусственный интеллект

NVIDIA также подробно рассказала о техническом процессе ускорения роботов-гуманоидов в блоге. Полное содержание выглядит следующим образом:

Чтобы ускорить разработку гуманоидных роботов во всем мире, NVIDIA анонсировала набор услуг, моделей и вычислительных платформ для ведущих мировых производителей роботов, разработчиков моделей искусственного интеллекта и производителей программного обеспечения для разработки, обучения и создания гуманоидных роботов следующего поколения.

Набор продуктов включает в себя новые микросервисы и платформы NVIDIA NIM для моделирования и обучения робототехники, сервисы оркестровки NVIDIA OSMO для выполнения многоэтапных рабочих нагрузок робототехники, а также рабочие процессы удаленных операций с поддержкой искусственного интеллекта и моделирования, которые позволяют разработчикам использовать небольшой объем демонстрационных данных, обучить бота.

Дженсен Хуанг сказал: «Следующая волна искусственного интеллекта — это робототехника, и одна из самых интересных разработок — роботы-гуманоиды. Мы продвигаем разработку всего стека робототехники NVIDIA, делая его открытым для разработчиков роботов-гуманоидов и компаний по всему миру, поэтому что они могут использовать платформу, библиотеку ускорения и модель искусственного интеллекта, которая наилучшим образом соответствует их потребностям».

Ускорьте разработку с помощью NVIDIA NIM и OSMO

Микросервисы NIM предоставляют готовые контейнеры на базе программного обеспечения вывода NVIDIA, что позволяет разработчикам сократить время развертывания с недель до минут.

Два новых микросервиса ИИ позволят экспертам по робототехнике усовершенствовать рабочие процессы моделирования генеративной физики в NVIDIA Isaac Sim.

Микросервис MimicGen NIM генерирует синтетические данные о движении на основе удаленных данных, записанных с устройств пространственных вычислений, таких как Apple Vision Pro. Микросервис Robocasa NIM генерирует задачи для роботов и среды моделирования в OpenUSD.

NVIDIA OSMO, облачный управляемый сервис, теперь доступен, позволяя пользователям организовывать и масштабировать сложные рабочие процессы разработки робототехники с использованием распределенных вычислительных ресурсов, как локально, так и в облаке. Появление OSMO значительно упрощает рабочие процессы обучения и моделирования роботов, сокращая циклы развертывания и разработки с месяцев до менее чем недели.

Расширенный рабочий процесс сбора данных для разработчиков роботов-гуманоидов

Обучение базовых моделей роботов-гуманоидов требует огромных объемов данных. Одним из способов получения данных для демонстрации на людях является использование удаленных операций, но это становится все более дорогим и длительным.

С помощью эталонного рабочего процесса удаленных операций NVIDIA AI и Omniverse, продемонстрированного на конференции по компьютерной графике SIGGRAPH, исследователи и разработчики ИИ могут генерировать большие объемы синтетических данных о движении и восприятии из очень небольшого количества удаленно захваченных человеческих демонстраций.

Сначала разработчики использовали Apple Vision Pro для съемки небольшого количества удаленных демонстраций. Затем они смоделировали записи в NVIDIA Isaac Sim и использовали микросервис MimicGen NIM для создания синтетических наборов данных на основе записей.

Разработчики использовали реальные и синтетические данные для обучения базовой модели робота-гуманоида Project GR00T, сэкономив много времени и сократив затраты. Затем они использовали микросервисы Robocasa NIM в Isaac Lab, системе обучения роботов, чтобы получить опыт для переобучения модели робота. На протяжении всего рабочего процесса NVIDIA OSMO плавно распределяет вычислительные задачи по различным ресурсам, экономя разработчикам недели административной нагрузки.

Расширенный доступ к технологиям NVIDIA для разработчиков гуманоидной робототехники.

NVIDIA предоставляет три вычислительные платформы для упрощения разработки гуманоидных роботов: суперкомпьютер NVIDIA AI для обучения моделей; NVIDIA Isaac Sim, созданный на базе Omniverse, чтобы роботы могли учиться и совершенствовать навыки в моделируемом мире, и NVIDIA для запуска моделей гуманоидного робота-компьютера Jetson Thor; Разработчики могут получить доступ и использовать всю платформу или ее части в зависимости от своих конкретных потребностей.

Благодаря новой программе разработчиков NVIDIA Humanoid разработчики получают ранний доступ к новым продуктам и последним версиям универсальных базовых моделей гуманоидов NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor и Project GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Рисунок, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra и Skild AI — первые компании, присоединившиеся к программе раннего доступа.

Теперь разработчики могут присоединиться к программе разработчиков NVIDIA Humanoid, чтобы получить доступ к NVIDIA OSMO и Isaac Lab, а вскоре получат доступ к микросервисам NVIDIA NIM.

Ссылка на блог:

https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development