berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Penulis artikel ini: Li Dan

Sumber: AI Keras

Pada hari Senin, 29 Juli, Waktu Bagian Timur, NVIDIA meluncurkan alat baru di SIGGRAPH 2024, konferensi dan pameran grafis komputer dan teknologi interaktif tahunan yang diadakan di Denver, AS.

CEO NVIDIA Huang Renxun mengungkapkan pada SIGGRAPH 2024 bahwa NVIDIA akan mengirimkan sampel arsitektur Blackwell minggu ini, yang merupakan arsitektur chip baru yang memulai debutnya tahun ini. Pada saat yang sama, Nvidia mengumumkan serangkaian pembaruan perangkat lunak, terutama melibatkan layanan mikro inferensi Nvidia (NIM), layanan mikro cloud-native yang digunakan untuk mengoptimalkan inferensi kecerdasan buatan (AI), guna mempromosikan penerapan model AI dalam skala besar oleh perusahaan.

Ketika NVIDIA meluncurkan NIM pada bulan Maret tahun ini, NVIDIA memperkenalkan bahwa NIM menyediakan layanan mikro inferensi optimal yang dirancang untuk mempersingkat waktu pemasaran dan menyederhanakan penerapan model AI generatif di mana pun di cloud, pusat data, dan stasiun kerja yang dipercepat GPU. NIM mendukung kasus penggunaan AI di berbagai domain, termasuk model bahasa besar (LLM), model bahasa visual (VLM), dan model ucapan, gambar, video, 3D, pengembangan obat, pencitraan medis, dan banyak lagi.

Pengembang dapat menguji model AI generatif baru menggunakan API cloud yang dihosting NVIDIA, atau menghosting model tersebut sendiri dengan mengunduh NIM dan menerapkannya dengan cepat menggunakan Kubernetes pada penyedia cloud besar atau lokal untuk mengurangi waktu, kompleksitas, dan biaya pengembangan. Layanan mikro NIM menyederhanakan proses penerapan model AI dengan mengemas algoritme, pengoptimalan sistem dan waktu proses, serta menambahkan API standar industri. Hal ini memungkinkan pengembang untuk mengintegrasikan NIM ke dalam aplikasi dan infrastruktur yang ada tanpa penyesuaian atau keahlian yang ekstensif.

Pembaruan yang diumumkan oleh NVIDIA pada hari Senin memperluas perpustakaan layanan mikro inferensi NIM untuk mencakup lingkungan dunia fisik, pemodelan visual tingkat lanjut, dan berbagai aplikasi vertikal. NVIDIA telah menyediakan sekitar 100 layanan mikro inferensi NIM dalam versi pratinjau dan kini merilis versi lengkapnya. Misalnya, sebagai bagian dari NIM baru NVIDIA, API pembuatan gambar 4K dari perusahaan media visual Getty Images Holdings dan generator gambar 3D dari Shutterstock Inc., penyedia konten digital seperti gambar, film, dan musik, akan segera diluncurkan. . Keduanya menggunakan Nvidia Edify dari Nvidia, arsitektur multi-modal untuk AI yang menghasilkan visi.

Nvidia mengumumkan pada hari yang sama bahwa mereka telah bermitra dengan perangkat dan platform pemrosesan bahasa alami (NLP) Hugging Face untuk meluncurkan inferensi sebagai layanan yang membantu pengembang membuat prototipe dengan cepat dan menerapkannya ke produksi menggunakan model AI sumber terbuka yang dihosting di Hugging Face Hub. Komentar mengatakan bahwa kerja sama ini akan menyederhanakan penerapan model AI untuk pengembang.

fVDB memanfaatkan data 3D dunia nyata untuk menciptakan kecerdasan spasial

Diantaranya, NVIDIA meluncurkan fVDB, yang menggunakan data 3D dunia nyata untuk menciptakan kecerdasan spasial. Nvidia mengklaim model AI material generatif dapat memahami dan melakukan pengoperasian keterampilan motorik halus atau kasar di dunia material. Memahami dan menavigasi tiga dimensi dunia fisik memerlukan kecerdasan spasial. Untuk memberikan AI jenis ini kerangka kerja yang kuat dan koheren yang dapat menangani skala realistis, NVIDIA membangun fVDB, kerangka pembelajaran mendalam yang dirancang untuk kecerdasan spasial yang jarang, berskala besar, dan berkinerja tinggi.

fVDB dibangun di atas OpenVDB, struktur dan pustaka standar industri untuk mensimulasikan dan merender data volumetrik yang jarang seperti air, api, asap, dan awan. fVDB menyediakan skala spasial empat kali lipat, kinerja 3,5 kali lipat dari kerangka kerja sebelumnya, dan akses ke kumpulan data dunia nyata yang sangat besar. Ini menyederhanakan proses dengan menggabungkan fungsionalitas yang sebelumnya memerlukan beberapa perpustakaan pembelajaran mendalam.

Kerangka kerja modular sumber terbuka Isaac Lab menyediakan simulasi untuk mempercepat pembelajaran robot

NVIDIA juga meluncurkan Isaac Lab, kerangka kerja modular sumber terbuka untuk pembelajaran robot yang dapat mengatasi keterbatasan metode pelatihan tradisional pada keterampilan pembelajaran robot.

Isaac Lab menyediakan simulasi modular dengan ketelitian tinggi untuk lingkungan pelatihan yang berbeda, menyediakan kemampuan AI dunia fisik dan simulasi dunia fisik berbasis GPU.

Isaac Lab mendukung pembelajaran imitasi (meniru manusia) dan pembelajaran penguatan (belajar melalui trial and error), menyediakan metode pelatihan yang fleksibel untuk implementasi robot apa pun. Ini menyediakan lingkungan yang ramah pengguna untuk skenario pelatihan dan membantu produsen robot menambah atau memperbarui keterampilan robot berdasarkan perubahan kebutuhan bisnis.

Gunakan layanan mikro NVIDIA NIM dan VIA untuk membuat agen AI visual berbasis VLM

NVIDIA telah menyesuaikan NIM untuk AI di dunia fisik, mendukung ucapan dan terjemahan, visi, serta animasi dan perilaku realistis. NVIDIA meluncurkan layanan mikro VIA, sekarang tersedia untuk diunduh di pratinjau pengembang.

Layanan mikro VIA dapat dengan mudah diintegrasikan dengan NIM, dan pengguna dapat secara fleksibel menggunakan model LLM atau VLM apa pun di API pratinjau model NVIDIA dan direktori API layanan mikro NIM yang dapat diunduh. Layanan mikro VIA, yang merupakan perpanjangan dari layanan mikro Metropolis NVIDIA, merupakan elemen dasar cloud yang mempercepat pengembangan agen AI visual berbasis VLM dan NIM, baik yang diterapkan di edge maupun di cloud.

Dengan bantuan AI generatif, layanan mikro NIM, dan model dasar, pengguna kini dapat menggunakan lebih sedikit model untuk membangun aplikasi dengan kesadaran luas dan pemahaman kontekstual yang kaya. VLM mendukung agen AI visual yang dapat memahami isyarat bahasa alami dan melakukan jawaban pertanyaan visual. Agen AI visual menggunakan kemampuan visi komputer untuk memahami dan berinteraksi dengan dunia fisik dan melakukan tugas penalaran.

Agen-agen ini dapat sepenuhnya membuka kemungkinan aplikasi di berbagai industri. Mereka dapat menyederhanakan alur kerja pengembangan aplikasi secara signifikan dan memberikan kemampuan persepsi baru yang transformatif, seperti ringkasan gambar atau video, tanya jawab visual interaktif, dan peringatan visual. Agen AI visual ini akan ditempatkan di pabrik, gudang, toko ritel, bandara, persimpangan lalu lintas, dan tempat lainnya, dan akan membantu tim operasi membuat keputusan yang lebih baik dengan memanfaatkan wawasan yang lebih kaya yang dihasilkan dari interaksi alami.

Omniverse Replicator membantu mengatasi masalah kekurangan data yang membatasi pelatihan model

NVIDIA memperkenalkan cara menggunakan layanan mikro NIM untuk membangun jalur pembuatan data sintetis (SDG) khusus untuk USD, yang menggunakan Omniverse Replicator NVIDIA. Replikator Omniverse adalah SDK yang dibangun di atas Universal Scene Description (OpenUSD) dan NVIDIA RTX.

Pengembang dapat menggunakan layanan mikro NIM dan Omniverse Replicator, antara lain, untuk membangun jalur SDG yang mendukung AI generatif, mengatasi kekurangan data di dunia nyata yang sering kali membatasi pelatihan model.

Rev Lebaredian, wakil presiden Teknologi Omniverse dan Simulasi di NVIDIA mengatakan:

“Kami membangun model AI generatif pertama di dunia yang dapat memahami bahasa, geometri, material, fisika, dan ruang berdasarkan OpenUSD.”

Lebaredian mengatakan bahwa sejak tahun 2016, Nvidia telah berinvestasi di OpenUSD untuk memungkinkan perusahaan industri dan pengembang AI material mengembangkan model berkinerja tinggi dengan lebih mudah dan cepat.

NVIDIA juga bekerja sama dengan Apple, yang ikut mendirikan OpenUSD Alliance, untuk membangun aliran pipa rendering hybrid dari Graphics Delivery Network NVIDIA, jaringan pusat data siap grafis, hingga Apple Vision Pro milik Apple.