소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

기계 심장 보고서

편집자: Du Wei, Chen Chen

Huang Renxun은 "AI의 다음 물결은 로봇이며, 가장 흥미로운 개발 중 하나는 휴머노이드 로봇입니다."라고 말했습니다. 오늘 프로젝트 GR00T는 또 다른 중요한 단계를 밟았습니다.

어제 NVIDIA 창립자 Huang Jensen은 SIGGRAPH 2024 기조 연설에서 휴머노이드 로봇 "Project GR00T"의 범용 기본 모델에 대해 이야기했습니다. 이 모델은 기능 측면에서 일련의 업데이트를 받습니다.

오스틴에 있는 텍사스 대학의 조교수이자 NVIDIA의 수석 연구 과학자인 Zhu Yuke는 트위터를 통해 NVIDIA가 어떻게 작동하는지 비디오로 시연했습니다.일반 가정용 로봇 대규모 시뮬레이션 훈련 프레임워크 RoboCasa 및 MimicGen 시스템은 NVIDIA Omniverse 플랫폼 및 Isaac 로봇 개발 플랫폼에 통합됩니다.。

이미지 출처: https://x.com/yukez/status/1818092679936299373

이 비디오에서는 AI, Omniverse 및 Jetson Thor를 포함한 세 가지 Nvidia 자체 컴퓨팅 플랫폼을 다루며 이를 사용하여 개발자 워크플로를 단순화하고 가속화합니다. 이러한 컴퓨팅 플랫폼의 공동 역량 강화를 통해 우리는 물리적 AI가 구동하는 휴머노이드 로봇 시대로 진입할 것으로 예상됩니다.

가장 큰 특징은 개발자가 Apple Vision Pro를 사용하여 휴머노이드 로봇을 원격으로 제어하여 작업을 수행할 수 있다는 것입니다.

동시에, 또 다른 Nvidia 수석 연구 과학자인 Jim Fan은 Project GR00T에 대한 업데이트가 흥미롭다고 말했습니다. NVIDIA는 로봇 공학의 가장 어려운 과제를 해결하기 위해 로봇 공학 데이터를 확장하는 체계적인 접근 방식을 사용합니다.

아이디어도 간단합니다. 인간은 실제 로봇에 대한 데모 데이터를 수집하고 NVIDIA는 시뮬레이션을 통해 이 데이터를 수천 배 이상 확장합니다. GPU 가속 시뮬레이션을 통해 사람들은 이제 컴퓨팅 성능을 시간 소모적이고 노동 집약적이며 재정적 소모적인 인간 데이터 수집 작업과 교환할 수 있습니다.

그는 얼마 전까지만 해도 원자 세계에서 우리는 항상 24시간/로봇/일로 제한되어 있었기 때문에 원격 제어가 근본적으로 확장 불가능하다고 생각했다고 말했습니다. NVIDIA가 GR00T에 채택한 새로운 합성 데이터 파이프라인은 비트 세계의 이러한 한계를 뛰어넘었습니다.

이미지 출처: https://x.com/DrJimFan/status/1818302152982343983

휴머노이드 로봇 분야에서 엔비디아의 최근 진전에 대해 일부 네티즌들은 애플 비전 프로(Apple Vision Pro)가 가장 멋진 사용 사례를 찾았다고 말했습니다.

NVIDIA는 다음 물결인 물리학 AI를 주도하기 시작했습니다.

NVIDIA는 또한 블로그에서 휴머노이드 로봇을 가속화하는 기술 프로세스를 자세히 설명했습니다.

전 세계적으로 휴머노이드 로봇의 개발을 가속화하기 위해 엔비디아는 세계 최고의 로봇 제조업체, AI 모델 개발자 및 소프트웨어 제조업체가 차세대 휴머노이드 로봇을 개발, 교육 및 구축할 수 있는 일련의 서비스, 모델 및 컴퓨팅 플랫폼을 발표했습니다.

제품군에는 로봇 시뮬레이션 및 학습을 위한 새로운 NVIDIA NIM 마이크로서비스 및 프레임워크, 다단계 로봇 워크로드 실행을 위한 NVIDIA OSMO 오케스트레이션 서비스, 개발자가 소량의 인간 데모 데이터를 사용하여 다음 작업을 수행할 수 있는 AI 및 시뮬레이션 지원 원격 운영 워크플로우가 포함됩니다. 봇을 훈련시키세요.

Jensen Huang은 다음과 같이 말했습니다: "AI의 다음 물결은 로봇 공학이며 가장 흥미로운 개발 중 하나는 휴머노이드 로봇입니다. 우리는 NVIDIA 로봇 스택 전체의 개발을 발전시켜 전 세계 휴머노이드 로봇 개발자와 회사에 공개하고 있습니다. 자신의 요구 사항에 가장 적합한 플랫폼, 가속 라이브러리 및 AI 모델을 사용할 수 있습니다."

NVIDIA NIM 및 OSMO로 개발 가속화

NIM 마이크로서비스는 NVIDIA 추론 소프트웨어로 구동되는 사전 구축된 컨테이너를 제공하므로 개발자는 배포 시간을 몇 주에서 몇 분으로 단축할 수 있습니다.

두 가지 새로운 AI 마이크로서비스를 통해 로봇 전문가는 NVIDIA Isaac Sim에서 생성 물리학 AI 시뮬레이션 워크플로우를 향상할 수 있습니다.

MimicGen NIM 마이크로서비스는 Apple Vision Pro와 같은 공간 컴퓨팅 장치에서 기록된 원격 데이터로부터 합성 모션 데이터를 생성합니다. Robocasa NIM 마이크로서비스는 OpenUSD에서 로봇 작업 및 시뮬레이션 환경을 생성합니다.

이제 클라우드 네이티브 관리형 서비스인 NVIDIA OSMO를 사용할 수 있습니다. 이를 통해 사용자는 온프레미스든 클라우드든 분산 컴퓨팅 리소스 전반에 걸쳐 복잡한 로봇 개발 워크플로를 조율하고 확장할 수 있습니다. OSMO의 등장으로 로봇 교육 및 시뮬레이션 워크플로가 크게 단순화되어 배포 및 개발 주기가 몇 달에서 일주일 미만으로 단축되었습니다.

휴머노이드 로봇 개발자를 위한 고급 데이터 캡처 워크플로

휴머노이드 로봇 뒤에 있는 기본 모델을 훈련하려면 방대한 양의 데이터가 필요합니다. 인간의 데모 데이터를 얻는 한 가지 방법은 원격 작업을 사용하는 것이지만 이 방법은 점점 더 많은 비용과 시간이 소요되고 있습니다.

SIGGRAPH 컴퓨터 그래픽 컨퍼런스에서 시연된 NVIDIA AI 및 Omniverse 원격 작업 참조 워크플로우를 통해 연구원과 AI 개발자는 원격으로 캡처된 극소수의 인간 시연에서 대량의 합성 모션 및 인식 데이터를 생성할 수 있습니다.

첫째, 개발자들은 Apple Vision Pro를 사용하여 소수의 원격 시연을 캡처했습니다. 그런 다음 NVIDIA Isaac Sim에서 녹음을 시뮬레이션하고 MimicGen NIM 마이크로서비스를 사용하여 녹음에서 합성 데이터 세트를 생성했습니다.

개발자들은 실제 및 합성 데이터를 사용하여 Project GR00T 휴머노이드 로봇 기본 모델을 교육함으로써 많은 시간과 비용을 절감했습니다. 그런 다음 로봇 학습 프레임워크인 Isaac Lab의 Robocasa NIM 마이크로서비스를 사용하여 로봇 모델을 재교육하기 위한 경험을 생성했습니다. 전체 워크플로우 전반에 걸쳐 NVIDIA OSMO는 컴퓨팅 작업을 다양한 리소스에 원활하게 분배하여 개발자가 몇 주 동안 소요되는 관리 작업량을 절약합니다.

NVIDIA 휴머노이드 로봇 개발자 기술에 대한 액세스 확대

NVIDIA는 휴머노이드 로봇 개발을 단순화하기 위해 세 가지 컴퓨팅 플랫폼을 제공합니다. 훈련 모델을 위한 NVIDIA AI 슈퍼컴퓨터, 로봇이 시뮬레이션된 세계에서 기술을 학습하고 완벽하게 할 수 있도록 구축된 NVIDIA Isaac Sim, 모델 실행을 위한 NVIDIA Jetson Thor 휴머노이드 로봇 컴퓨터 . 개발자는 특정 요구 사항에 따라 플랫폼의 전체 또는 일부에 액세스하고 사용할 수 있습니다.

새로운 NVIDIA 휴머노이드 개발자 프로그램을 통해 개발자는 새로운 제품과 NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor 및 Project GR00T 범용 휴머노이드 기본 모델의 최신 버전에 조기에 액세스할 수 있습니다.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra 및 Skild AI가 조기 액세스 프로그램에 참여한 최초의 회사입니다.

이제 개발자는 NVIDIA 휴머노이드 개발자 프로그램에 참여하여 NVIDIA OSMO 및 Isaac Lab에 액세스할 수 있으며 곧 NVIDIA NIM 마이크로서비스에 액세스할 수 있게 됩니다.

블로그 링크:

https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development