notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

cose intelligenti
AutoreZeR0
L'editore Mo Ying

Zhidongxi ha riferito il 24 luglio che NVIDIA ha annunciato il lancio del nuovo servizio NVIDIA AI Foundry e del microservizio di inferenza NVIDIA NIM. Insieme alla serie Meta Llama 3.1 di modelli open source appena lanciata, fornirà un forte supporto per l'intelligenza artificiale generativa per le imprese globali.

Il modello linguistico grande di Llama 3.1 ha tre dimensioni di parametri: 8B, 70B e 405B. I modelli vengono addestrati su oltre 16.000 GPU NVIDIA Tensor Core e sono ottimizzati per il calcolo e il software accelerati NVIDIA, sia nel data center, nel cloud e su workstation locali con GPU NVIDIA RTX o PC con GPU GeForce RTX.

Proprio come TSMC è una fonderia per aziende globali di chip, NVIDIA ha anche creato una fonderia di intelligenza artificiale a livello aziendale, NVIDIA AI Foundry.

Il fondatore e CEO di NVIDIA, Jensen Huang, ha dichiarato: "Il modello open source Llama 3.1 di Meta segna un momento critico per le aziende globali che vogliono adottare l'intelligenza artificiale generativa. Llama 3.1 darà il via a un'ondata di aziende e industrie che creeranno applicazioni avanzate di intelligenza artificiale generativa. NVIDIA AI Foundry Llama 3.1 ha stato integrato durante tutto il processo e può aiutare le aziende a costruire e distribuire super modelli Llama personalizzati.

Basato sulla piattaforma NVIDIA DGX Cloud AI e co-progettato da NVIDIA con i principali cloud pubblici a livello mondiale, NVIDIA AI Foundry fornisce un servizio end-to-end che può essere utilizzato per creare rapidamente super modelli personalizzati, con l'obiettivo di fornire alle aziende un'elaborazione di massa risorse fornite Le risorse informatiche possono essere facilmente ampliate man mano che le esigenze dell'intelligenza artificiale cambiano.

"Con NVIDIA AI Foundry, le aziende possono facilmente creare e personalizzare i servizi AI più avanzati che desiderano e distribuirli tramite NVIDIA NIM", ha affermato Mark Zuckerberg, fondatore e CEO di Meta.

Le aziende che necessitano di più dati di addestramento per creare modelli specifici del dominio possono utilizzare i propri dati così come i dati sintetici generati dai modelli Llama 3.1 405B e NVIDIA Nemotron Reward per addestrare questi super modelli e migliorare la precisione. I clienti con i propri dati di addestramento possono utilizzare NVIDIA NeMo per personalizzare i modelli Llama 3.1, migliorando ulteriormente la precisione del modello attraverso Domain Adaptive Pre-training (DAPT).

NVIDIA e Meta stanno inoltre collaborando per fornire un metodo di distillazione per Llama 3.1 affinché gli sviluppatori possano creare modelli Llama 3.1 personalizzati più piccoli per applicazioni di intelligenza artificiale generativa. Ciò consente alle aziende di eseguire applicazioni AI basate su Llama su infrastrutture più accelerate come workstation e laptop AI.

Una volta creato un modello personalizzato, le aziende possono creare microservizi di inferenza NIM NVIDIA per utilizzare le migliori operazioni di machine learning (MLOps) e intelligenza artificiale sulla loro piattaforma cloud preferita e sui sistemi certificati NVIDIA di produttori di server globali (AIOps) eseguono questi modelli in produzione.

I microservizi NIM aiutano a distribuire i modelli Llama 3.1 in produzione con un throughput fino a 2,5 volte superiore rispetto all'esecuzione dell'inferenza senza NIM.

Scopri i microservizi di inferenza NVIDIA NIM per i modelli Llama 3.1 su ai.nvidia.com per accelerare l'implementazione dei modelli Llama 3.1 nell'intelligenza artificiale di livello produttivo.

Combinando i microservizi NIM Llama 3.1 con i nuovi microservizi NIM NVIDIA NeMo Retriever è possibile creare flussi di lavoro di recupero avanzati per copiloti AI, assistenti e avatar umani digitali.

Utilizzando il nuovo microservizio di inferenza NIM NVIDIA NeMo Retriever per implementare Retrieval Enhanced Generation (RAG), le aziende possono implementare super modelli Llama personalizzati e microservizi Llama NIM in produzione per migliorare la precisione della risposta.

Se combinato con il microservizio di inferenza NVIDIA NIM per Llama 3.1 405B, il microservizio NIM NeMo Retriever offre una precisione di recupero estremamente elevata per la risposta a domande di testo aperte e commerciali nei flussi di lavoro RAG.

NVIDIA AI Foundry combina software, infrastruttura e competenze NVIDIA con modelli di community aperti, tecnologia e supporto dell'ecosistema NVIDIA AI. Gli esperti NVIDIA AI Enterprise e i partner system integrator globali collaborano con i clienti AI Foundry per accelerare l'intero processo, dallo sviluppo all'implementazione.

La società di servizi professionali Accenture è la prima a utilizzare NVIDIA AI Foundry per utilizzare il framework Accenture AI Refinery per creare modelli Llama 3.1 personalizzati per sé e per i clienti che desiderano che le applicazioni di intelligenza artificiale generativa che distribuiscono riflettano la loro cultura, lingua e settore.

Le aziende dei settori sanitario, energetico, dei servizi finanziari, della vendita al dettaglio, dei trasporti, delle telecomunicazioni e di altri settori stanno già utilizzando i microservizi NVIDIA NIM per Llama. Le prime aziende a utilizzare i nuovi microservizi NIM per Llama 3.1 includono Aramco, AT&T, Uber, ecc.

Centinaia di partner NVIDIA NIM che forniscono piattaforme aziendali, dati e infrastrutturali sono ora in grado di integrare questi nuovi microservizi nelle loro soluzioni AI, alimentando l'intelligenza artificiale generativa per la comunità NVIDIA di oltre 5 milioni di sviluppatori e 19.000 startup che forniscono assistenza.

Il supporto di produzione per i microservizi NIM Llama 3.1 e NeMo Retriever è disponibile tramite NVIDIA AI Enterprise. I membri del Programma per sviluppatori NVIDIA avranno presto accesso gratuito ai microservizi NIM per condurre ricerca, sviluppo e test sulla loro infrastruttura preferita.