berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

hal-hal cerdas
PengarangZeR0
Editor Mo Ying

Zhidongxi melaporkan pada tanggal 24 Juli bahwa NVIDIA mengumumkan peluncuran layanan NVIDIA AI Foundry baru dan layanan mikro inferensi NVIDIA NIM. Bersama dengan model sumber terbuka seri Meta Llama 3.1 yang baru diluncurkan, hal ini akan memberikan dukungan kuat untuk AI generatif untuk perusahaan global.

Model bahasa besar Llama 3.1 memiliki tiga ukuran parameter: 8B, 70B, dan 405B. Model dilatih pada lebih dari 16.000 GPU NVIDIA Tensor Core dan dioptimalkan untuk komputasi dan perangkat lunak yang dipercepat NVIDIA, baik di pusat data, di cloud, dan di stasiun kerja lokal dengan GPU NVIDIA RTX atau PC dengan GPU GeForce RTX.

Sama seperti TSMC yang merupakan pengecoran perusahaan chip global, NVIDIA juga telah membangun pengecoran AI tingkat perusahaan, NVIDIA AI Foundry.

Pendiri dan CEO NVIDIA Jensen Huang mengatakan: "Model open source Llama 3.1 dari Meta menandai momen penting bagi perusahaan global untuk mengadopsi AI generatif. Llama 3.1 akan memicu gelombang perusahaan dan industri yang menciptakan aplikasi AI generatif yang canggih. NVIDIA AI Foundry Llama 3.1 telah melakukannya telah terintegrasi sepanjang proses dan dapat membantu perusahaan membangun dan menerapkan model super Llama khusus.”

Didukung oleh platform NVIDIA DGX Cloud AI dan dirancang bersama oleh NVIDIA dengan cloud publik terkemuka di dunia, NVIDIA AI Foundry menyediakan layanan end-to-end yang dapat digunakan untuk membangun model super khusus dengan cepat, yang bertujuan untuk menyediakan komputasi masif bagi perusahaan. sumber daya, asalkan sumber daya komputasi dapat dengan mudah diperluas seiring perubahan kebutuhan AI.

“Dengan NVIDIA AI Foundry, perusahaan dapat dengan mudah membuat dan menyesuaikan layanan AI tercanggih yang mereka inginkan dan menerapkannya melalui NVIDIA NIM,” kata pendiri dan CEO Meta Mark Zuckerberg.

Perusahaan yang memerlukan lebih banyak data pelatihan untuk membuat model khusus domain dapat menggunakan data mereka sendiri serta data sintetis yang dihasilkan oleh model Llama 3.1 405B dan NVIDIA Nemotron Reward untuk melatih model super ini guna meningkatkan akurasi. Pelanggan yang memiliki data pelatihannya sendiri dapat menggunakan NVIDIA NeMo untuk menyesuaikan model Llama 3.1, yang selanjutnya meningkatkan akurasi model melalui Domain Adaptive Pre-training (DAPT).

NVIDIA dan Meta juga bekerja sama untuk menyediakan metode distilasi untuk Llama 3.1 bagi pengembang untuk membuat model Llama 3.1 khusus yang lebih kecil untuk aplikasi AI generatif. Hal ini memungkinkan perusahaan untuk menjalankan aplikasi AI yang didukung Llama pada infrastruktur yang lebih cepat seperti stasiun kerja AI dan laptop.

Setelah model kustom dibuat, perusahaan dapat membangun layanan mikro inferensi NIM NVIDIA untuk menggunakan operasi pembelajaran mesin (MLOps) terbaik di kelasnya dan kecerdasan buatan pada platform cloud pilihan mereka dan sistem bersertifikasi NVIDIA dari produsen server global Platform (AIOps) menjalankan model ini dalam produksi.

Layanan mikro NIM membantu menerapkan model Llama 3.1 ke dalam produksi dengan throughput hingga 2,5x lebih tinggi dibandingkan menjalankan inferensi tanpa NIM.

Pelajari tentang layanan mikro inferensi NIM NVIDIA untuk model Llama 3.1 di ai.nvidia.com guna mempercepat penerapan model Llama 3.1 ke AI tingkat produksi.

Menggabungkan layanan mikro NIM Llama 3.1 dengan layanan mikro NIM NVIDIA NeMo Retriever baru dapat membangun alur kerja pengambilan tingkat lanjut untuk kopilot AI, asisten, dan avatar manusia digital.

Dengan menggunakan layanan mikro inferensi NIM NVIDIA NeMo Retriever baru untuk mengimplementasikan Retrieval Enhanced Generation (RAG), perusahaan dapat menerapkan model super Llama khusus dan layanan mikro NIM Llama ke dalam produksi untuk meningkatkan akurasi respons.

Ketika digabungkan dengan layanan mikro inferensi NIM NVIDIA untuk Llama 3.1 405B, layanan mikro NIM NeMo Retriever menghadirkan akurasi pengambilan yang sangat tinggi untuk menjawab pertanyaan teks terbuka dan komersial dalam alur kerja RAG.

NVIDIA AI Foundry menggabungkan perangkat lunak, infrastruktur, dan keahlian NVIDIA dengan model komunitas terbuka, teknologi, dan dukungan dari ekosistem NVIDIA AI. Pakar NVIDIA AI Enterprise dan mitra integrator sistem global bekerja sama dengan pelanggan AI Foundry untuk mempercepat seluruh proses mulai dari pengembangan hingga penerapan.

Perusahaan layanan profesional Accenture adalah yang pertama menggunakan NVIDIA AI Foundry yang menggunakan kerangka kerja Accenture AI Refinery untuk membuat model Llama 3.1 khusus untuk dirinya sendiri dan untuk klien yang menginginkan aplikasi AI generatif yang mereka terapkan untuk mencerminkan budaya, bahasa, dan industri mereka.

Perusahaan di bidang perawatan kesehatan, energi, jasa keuangan, ritel, transportasi, telekomunikasi, dan industri lainnya sudah menggunakan layanan mikro NVIDIA NIM untuk Llama. Perusahaan pertama yang menggunakan layanan mikro NIM baru untuk Llama 3.1 termasuk Aramco, AT&T, Uber, dll.

Ratusan mitra NVIDIA NIM yang menyediakan platform perusahaan, data, dan infrastruktur kini dapat mengintegrasikan layanan mikro baru ini ke dalam solusi AI mereka, mendukung AI generatif untuk komunitas NVIDIA yang terdiri lebih dari 5 juta pengembang dan 19.000 perusahaan rintisan.

Dukungan produksi untuk layanan mikro Llama 3.1 NIM dan NeMo Retriever NIM tersedia melalui NVIDIA AI Enterprise. Anggota Program Pengembang NVIDIA akan segera memiliki akses gratis ke layanan mikro NIM untuk melakukan penelitian, pengembangan, dan pengujian pada infrastruktur pilihan mereka.