berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Laporan Jantung Mesin

Editor: Du Wei, Chen Chen

Huang Renxun berkata: "Gelombang AI berikutnya adalah robot, dan salah satu perkembangan paling menarik adalah robot humanoid." Saat ini, Project GR00T telah mengambil langkah penting lainnya.

Kemarin, pendiri NVIDIA Huang Jensen berbicara tentang model dasar universal robot humanoid "Project GR00T" dalam pidato utamanya SIGGRAPH 2024. Model ini menerima serangkaian pembaruan dalam hal fungsionalitas.

Zhu Yuke, asisten profesor di Universitas Texas di Austin dan ilmuwan peneliti senior di NVIDIA, men-tweet, menunjukkan dalam sebuah video bagaimana NVIDIAKerangka pelatihan simulasi skala besar robot rumah tangga umum, sistem RoboCasa dan MimicGen diintegrasikan ke dalam platform NVIDIA Omniverse dan platform pengembangan robot Isaac。

Sumber gambar: https://x.com/yukez/status/1818092679936299373

Video tersebut mencakup tiga platform komputasi milik Nvidia, termasuk AI, Omniverse, dan Jetson Thor, yang menggunakannya untuk menyederhanakan dan mempercepat alur kerja pengembang. Melalui pemberdayaan bersama platform komputasi ini, kita diharapkan memasuki era robot humanoid yang digerakkan oleh AI fisik.

Sorotan terbesarnya adalah pengembang dapat menggunakan Apple Vision Pro untuk mengontrol robot humanoid dari jarak jauh untuk melakukan tugas.

Pada saat yang sama, Jim Fan, ilmuwan riset senior Nvidia lainnya, mengatakan bahwa pembaruan pada Project GR00T sangat menarik. NVIDIA menggunakan pendekatan sistematis untuk menskalakan data robotika guna memecahkan tantangan terberat dalam robotika.

Idenya juga sederhana: manusia mengumpulkan data demonstrasi pada robot sungguhan, dan NVIDIA memperluas data ini ribuan kali atau lebih dalam simulasi. Melalui simulasi yang dipercepat GPU, masyarakat kini dapat menukar daya komputasi dengan pekerjaan pengumpulan data manusia yang memakan waktu, padat karya, dan finansial.

Dia berbicara tentang bagaimana belum lama ini dia berpikir bahwa kendali jarak jauh pada dasarnya tidak dapat diukur karena di dunia atom kita selalu dibatasi hingga 24 jam/robot/hari. Saluran data sintetik baru yang diadopsi oleh NVIDIA pada GR00T mendobrak batasan ini di dunia bit.

Sumber gambar: https://x.com/DrJimFan/status/1818302152982343983

Mengenai kemajuan terbaru NVIDIA di bidang robot humanoid, beberapa netizen mengatakan bahwa Apple Vision Pro telah menemukan use case paling keren.

NVIDIA mulai memimpin gelombang berikutnya: AI fisika

NVIDIA juga merinci proses teknis akselerasi robot humanoid dalam sebuah blog.

Untuk mempercepat pengembangan robot humanoid di seluruh dunia, NVIDIA mengumumkan serangkaian layanan, model, dan platform komputasi untuk produsen robot terkemuka di dunia, pengembang model AI, dan pembuat perangkat lunak untuk mengembangkan, melatih, dan membangun robot humanoid generasi berikutnya.

Rangkaian produk mencakup layanan mikro dan kerangka kerja NVIDIA NIM baru untuk simulasi dan pembelajaran robotika, layanan orkestrasi NVIDIA OSMO untuk menjalankan beban kerja robotika multi-tahap, dan alur kerja operasi jarak jauh yang mendukung AI dan simulasi yang memungkinkan pengembang menggunakan sejumlah kecil data demonstrasi manusia untuk melatih botnya.

Jensen Huang berkata: "Gelombang AI berikutnya adalah robotika, dan salah satu perkembangan yang paling menarik adalah robot humanoid. Kami memajukan pengembangan seluruh tumpukan robotika NVIDIA, menjadikannya terbuka bagi pengembang dan perusahaan robot humanoid di seluruh dunia, jadi bahwa mereka dapat menggunakan platform, pustaka akselerasi, dan model AI yang paling sesuai dengan kebutuhan mereka."

Percepat pengembangan dengan NVIDIA NIM dan OSMO

Layanan mikro NIM menyediakan container siap pakai yang didukung oleh perangkat lunak inferensi NVIDIA, memungkinkan pengembang mengurangi waktu penerapan dari minggu ke menit.

Dua layanan mikro AI baru akan memungkinkan para ahli robotika meningkatkan alur kerja simulasi AI fisika generatif di NVIDIA Isaac Sim.

Layanan mikro MimicGen NIM menghasilkan data gerakan sintetis dari data jarak jauh yang direkam dari perangkat komputasi spasial seperti Apple Vision Pro. Layanan mikro Robocasa NIM menghasilkan tugas robot dan lingkungan simulasi di OpenUSD.

NVIDIA OSMO, layanan terkelola cloud-native, kini tersedia, memungkinkan pengguna mengatur dan menskalakan alur kerja pengembangan robotika yang kompleks di seluruh sumber daya komputasi terdistribusi, baik on-premise atau di cloud. Kemunculan OSMO sangat menyederhanakan pelatihan robot dan alur kerja simulasi, memperpendek siklus penerapan dan pengembangan dari beberapa bulan menjadi kurang dari seminggu.

Alur kerja pengambilan data tingkat lanjut untuk pengembang robot humanoid

Melatih model dasar robot humanoid membutuhkan data dalam jumlah besar. Salah satu cara untuk mendapatkan data demonstrasi manusia adalah dengan menggunakan operasi jarak jauh, namun hal ini menjadi semakin mahal dan memakan waktu.

Melalui alur kerja referensi operasi jarak jauh NVIDIA AI dan Omniverse yang didemonstrasikan pada konferensi grafis komputer SIGGRAPH, para peneliti dan pengembang AI dapat menghasilkan sejumlah besar data gerakan dan persepsi sintetis dari sejumlah kecil demonstrasi manusia yang diambil dari jarak jauh.

Pertama, pengembang menggunakan Apple Vision Pro untuk menangkap sejumlah kecil demonstrasi jarak jauh. Mereka kemudian menyimulasikan rekaman tersebut di NVIDIA Isaac Sim dan menggunakan layanan mikro MimicGen NIM untuk menghasilkan kumpulan data sintetis dari rekaman tersebut.

Pengembang menggunakan data nyata dan sintetis untuk melatih model dasar robot humanoid Project GR00T, sehingga menghemat banyak waktu dan mengurangi biaya. Mereka kemudian menggunakan layanan mikro Robocasa NIM di Isaac Lab, sebuah kerangka pembelajaran robot, untuk menghasilkan pengalaman guna melatih ulang model robot. Di seluruh alur kerja, NVIDIA OSMO dengan lancar mendistribusikan tugas komputasi ke berbagai sumber daya, sehingga menghemat beban kerja administratif pengembang selama berminggu-minggu.

Memperluas akses ke teknologi pengembang robotika humanoid NVIDIA

NVIDIA menyediakan tiga platform komputasi untuk menyederhanakan pengembangan robot humanoid: superkomputer NVIDIA AI untuk model pelatihan; NVIDIA Isaac Sim dibangun di atas Omniverse, sehingga robot dapat belajar dan menyempurnakan keterampilan dalam dunia simulasi; dan NVIDIA untuk menjalankan model komputer robot humanoid Jetson Thor. Pengembang dapat mengakses dan menggunakan seluruh atau sebagian platform berdasarkan kebutuhan spesifik mereka.

Melalui Program Pengembang NVIDIA Humanoid yang baru, pengembang memiliki akses awal ke produk baru dan versi terbaru dari NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor, dan model dasar humanoid universal Project GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra dan Skild AI adalah perusahaan pertama yang bergabung dalam program akses awal.

Pengembang kini dapat bergabung dengan Program Pengembang NVIDIA Humanoid untuk mendapatkan akses ke NVIDIA OSMO dan Isaac Lab, dan akan segera mendapatkan akses ke layanan mikro NVIDIA NIM.

Tautan blog:

https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development