notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

cerebras lancia la soluzione di inferenza ai più veloce al mondo, 20 volte più veloce della soluzione nvidia

28/8/2024 9:51:23 fonte: it house autore: yuanyang editore: yuanyang

commenti: 2

it house ha riferito il 28 agosto che cerebras systems ha annunciato oggi il lancio di cerebras inference, che secondo i funzionari è la soluzione di inferenza ai più veloce al mondo. la nuova soluzione fornisce 1800 token al secondo per llama 3.1 8b e 450 token al secondo per llama 3.1 70b, ovvero 20 volte più veloce delle soluzioni di inferenza ai basate su gpu nvidia disponibili nei cloud iperscalabili come microsoft azure.

oltre alle prestazioni incredibili, questa nuova soluzione di inferenza ha un prezzo significativamente inferiore rispetto ai popolari cloud gpu, a partire da soli 10 centesimi per milione di token, offrendo prestazioni 100 volte migliori per i carichi di lavoro ai con un buon rapporto qualità-prezzo.

questo programma consentirà agli sviluppatori di applicazioni ia di creare la prossima generazione di applicazioni ia senza compromettere velocità o costi. questa soluzione utilizza il sistema cerebras cs-3 e il suo processore ai wafer scale engine 3 (wse-3). la larghezza di banda della memoria di cs-3 è 7.000 volte quella di nvidia h100, risolvendo le sfide tecniche della larghezza di banda della memoria dell'intelligenza artificiale generativa.

secondo it house, cerebras inference prevede i seguenti tre livelli:

il livello gratuito fornisce accesso api gratuito e generosi limiti di utilizzo a chiunque acceda.

il livello sviluppatore è progettato per implementazioni serverless flessibili, fornendo agli utenti un endpoint api a una frazione del costo delle alternative sul mercato, con llama 3.1 al prezzo di 10 centesimi per milione di token rispettivamente per i modelli 8b e 70b.

il livello aziendale fornisce modelli ottimizzati, contratti di servizio personalizzati e supporto dedicato. le aziende possono accedere a cerebras inference tramite un cloud privato gestito da cerebras o presso la sede del cliente, rendendolo ideale per i carichi di lavoro continui.

il team di cerebras ha dichiarato: "con prestazioni record, prezzi leader del settore e accesso api aperto, cerebras inference stabilisce un nuovo standard per lo sviluppo e l'implementazione di llm aperti. essendo l'unica soluzione in grado di fornire formazione ad alta velocità e inferenza contemporaneamente, cerebras opens up possibilità completamente nuove per l’intelligenza artificiale”.

il campo dell’intelligenza artificiale si sta evolvendo rapidamente e, sebbene nvidia attualmente domini il mercato dell’intelligenza artificiale, l’emergere di aziende come cerebras e groq è un segno che le dinamiche del settore potrebbero cambiare. poiché la domanda di soluzioni di inferenza ai più veloci ed economiche continua ad aumentare, questi sfidanti stanno ribaltando il dominio di nvidia, soprattutto nell'area dell'inferenza.