berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

cerebras meluncurkan solusi inferensi ai tercepat di dunia, 20 kali lebih cepat dibandingkan solusi nvidia

28/8/2024 9:51:23 sumber: it house penulis: yuanyang editor: yuanyang

komentar: 2

it house melaporkan pada tanggal 28 agustus bahwa cerebras systems hari ini mengumumkan peluncuran cerebras inference, yang menurut para pejabat merupakan solusi inferensi ai tercepat di dunia. solusi baru ini menyediakan 1.800 token per detik untuk llama 3.1 8b dan 450 token per detik untuk llama 3.1 70b, yang 20 kali lebih cepat dibandingkan solusi inferensi ai berbasis gpu nvidia yang tersedia di cloud hyperscale seperti microsoft azure.

selain performa yang luar biasa, solusi inferensi baru ini memiliki harga yang jauh lebih rendah dibandingkan cloud gpu populer, mulai dari hanya 10 sen per juta token, memberikan performa 100x lebih baik untuk beban kerja ai yang bernilai uang.

program ini akan memungkinkan pengembang aplikasi ai untuk membangun aplikasi ai generasi berikutnya tanpa mengorbankan kecepatan atau biaya. solusi ini menggunakan sistem cerebras cs-3 dan prosesor ai wafer scale engine 3 (wse-3). bandwidth memori cs-3 adalah 7.000 kali lipat dari nvidia h100, sehingga memecahkan tantangan teknis bandwidth memori ai generatif.

menurut it house, cerebras inference menyediakan tiga level berikut:

tingkat gratis menyediakan akses api gratis dan batasan penggunaan yang besar bagi siapa saja yang masuk.

tingkat pengembang dirancang untuk penerapan tanpa server yang fleksibel, menyediakan titik akhir api kepada pengguna dengan biaya yang lebih murah dibandingkan alternatif yang ada di pasar, dengan llama 3.1 dihargai 10 sen per juta token untuk model 8 miliar dan 70 miliar masing-masing.

tingkat perusahaan menyediakan model yang disesuaikan, perjanjian tingkat layanan yang disesuaikan, dan dukungan khusus. perusahaan dapat mengakses inferensi cerebras melalui cloud pribadi atau lokasi pelanggan yang dikelola cerebras, sehingga ideal untuk beban kerja yang berkelanjutan.

tim cerebras mengatakan: "dengan rekor kinerja, harga terdepan di industri, dan akses api terbuka, cerebras inference menetapkan standar baru untuk pengembangan dan penerapan llm terbuka. sebagai satu-satunya solusi yang dapat memberikan pelatihan dan inferensi berkecepatan tinggi secara bersamaan, cerebras opens up kemungkinan-kemungkinan baru untuk ai.”

bidang ai berkembang pesat, dan meskipun nvidia saat ini mendominasi pasar ai, kemunculan perusahaan seperti cerebras dan groq merupakan tanda bahwa dinamika industri dapat berubah. karena permintaan akan solusi inferensi ai yang lebih cepat dan hemat biaya terus meningkat, para penantang ini meningkatkan dominasi nvidia, terutama di bidang inferensi.