notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

cose intelligenti
AutoreZeR0
L'editore Mo Ying

La scorsa settimana, il processore Graviton4 sviluppato in modo indipendente da Amazon Cloud Technology, il più grande gigante del cloud computing al mondo, è stato lanciato completamente e inizialmente ha fornito supporto per la nuova istanza Amazon EC2 R8g.

Questo incidente è piuttosto emozionante e c'è un senso di deja vu perché la CPU del server Arm ha attraversato tutte le difficoltà e tutte le difficoltà sono state ricompensate.

Il campo delle CPU per server ha subito una serie di cambiamenti. All'inizio era dominato da un gruppo di predecessori di set di istruzioni semplificati, ma in seguito è stato contrattaccato ed eroso dalla complessa architettura del set di istruzioni x86. Quando Arm, il successore del set di istruzioni semplificato, vuole entrare nel mercato dei data center, x86 ha già dominato completamente il mercato.

In effetti, Arm era ansiosa di provare questo mercato emergente già nel 2008. Di conseguenza, dieci anni dopo, dopo aver testato più volte il terreno, non è riuscita a suscitare spruzzi sporadici.

Il primo biglietto per entrare nel mercato dei data center è stato inviato da Amazon Cloud Technology, il fratello maggiore nel settore del cloud computing.

A quel tempo, Amazon Cloud Technology ha lanciato "tre attacchi consecutivi":

1. Nel gennaio 2015, ha inaspettatamente acquisito Annapurna Labs, una società israeliana di progettazione di chip, che ha attirato molta attenzione da parte del settore;

2. Nel 2017 è stato lanciato Amazon Nitro, il primo chip di rete sviluppato internamente, portando il primo chip DPU commerciale al mondo sul palcoscenico della storia;

3. Nel 2018 è stato rilasciato il primo processore Amazon Graviton, conferendo alla CPU del server Arm una chiara collocazione nella storia dei data center.

Successivamente, Amazon Cloud Technology ha condotto intensamente ricerche sui chip personalizzati multilinea simili a libri di testo e anche altri importanti produttori cinesi e americani hanno seguito la tendenza dei processori sviluppati autonomamente. Il lungo tiro alla fune della CPU dei server è finalmente passato da uno schiacciamento unilaterale di x86 a uno slancio crescente nel campo Arm.

Graviton è gradualmente diventata la CPU per server Arm più utilizzata al mondo e la tecnologia Amazon Cloud è considerata la "speranza dell'intero villaggio" che guida l'ecosistema Arm ad espandere il proprio territorio nei data center. Un rapporto di Bernstein dello scorso anno ha mostrato che Amazon Cloud Technology rappresenta più della metà del mercato globale delle CPU per server Arm.

▲Amazon Cloud Technology ha rilasciato cinque processori Graviton in cinque anni (Fonte: Zhidongxi)

Oggi è normale che i principali produttori sviluppino chip auto-sviluppati, ma solo pochi ci riescono. Vale la pena rileggere questo libro di testo di riferimento sulla CPU del server autosviluppato, scritto da Amazon Cloud Technology in cinque anni.

1. Sei anni di ricerca personale e innovazione nella CPU, aprendo la strada ai chip per server Arm

La prima generazione aprì la strada di montagna, la seconda generazione fondò fiumi e laghi.

Questo è un ritratto fedele della fortuna dei chip per server sviluppati internamente da Amazon Cloud Technology: il processore Graviton rilasciato nel novembre 2018 è stato il primo modello di CPU sviluppate autonomamente dalle principali società di cloud computing, un anno dopo è apparso il successore Graviton2; la CPU del server As Arm entra ufficialmente nella competizione del mercato dei data center, compete con x86.

Graviton2 integra 30 miliardi di transistor, ha un numero di core quattro volte superiore a quello della generazione precedente e ha raddoppiato la cache L1/L2. La larghezza di banda del bus raggiunge 2 TB/s, ottenendo un miglioramento delle prestazioni di 7 volte rispetto alla generazione precedente. Rispetto a istanze simili basate su x86, le prestazioni delle istanze basate su Graviton2 sono migliorate del 40% e il costo per istanza è ridotto del 20%.

Le eccellenti prestazioni a basso consumo energetico hanno portato Amazon Cloud Technology a spostare i carichi di lavoro generali su Graviton2 per risparmiare energia e costi. Da allora, il tasso di adozione della serie Graviton è aumentato vertiginosamente e i carichi di lavoro coperti si sono espansi dalla cache e dal Web iniziali all'analisi dei dati, all'apprendimento automatico, al calcolo ad alte prestazioni, ecc.

Il successo iniziale di Graviton sul mercato può essere definito un nodo che cambia il destino di Arm.

Dietro questo, Amazon Cloud Technology ha riflettuto molto sull'innovazione di fondo: per la prima volta non utilizza più la tecnologia multi-threading sincrona, ma realizza l'utilizzo esclusivo di risorse single-thread del core fisico, consentendo a ciascuna vCPU per occupare esclusivamente 1 core fisico, rendendo le vCPU più isolate, il che non causerà jitter nelle prestazioni a causa della contesa per le risorse.

Dalla prima alla seconda generazione, Graviton ha ottenuto notevoli miglioramenti delle prestazioni aumentando il numero di core, ma entro la terza generazione la tecnologia cloud di Amazon deve incorporare più innovazioni di progettazione.

Aumentare il numero di core e aumentare la frequenza principale sono due metodi comuni per migliorare le prestazioni. Il Graviton 3 di terza generazione rilasciato nel 2021 non adotta queste idee. Il numero di core rimane invariato e la frequenza principale è solo leggermente aumentata. Poiché l'aumento della frequenza è rischioso per i data center di grandi dimensioni, può causare un notevole consumo di energia e richiede configurazioni di alimentazione e raffreddamento aggiornate, portando in ultima analisi a un aumento dei costi di utilizzo da parte dei clienti.

Graviton3 ha apportato diverse innovazioni diverse dal suo predecessore:

1. Utilizzando il design Chiplet, 7 stampi in silicio sono confezionati insieme;

2. Il metodo parallelo a livello di istruzione viene adottato per aumentare il numero di istruzioni che possono essere eseguite in un singolo ciclo core, consentendo al core di completare più attività;

3. Per la larghezza di banda della memoria e i carichi di lavoro sensibili al ritardo, lo spazio di memoria viene aumentato del 40% e DDR5 viene utilizzato per aumentare la larghezza di banda del canale di memoria del 50%.

Di conseguenza, rispetto alla generazione precedente, Graviton3 può aumentare le prestazioni dei carichi di lavoro applicativi del 25% e ridurre il consumo energetico fino al 60% rispetto alle istanze x86. Con un'unità di accelerazione hardware di machine learning integrata, questo processore ottiene anche un miglioramento di 3 volte nelle prestazioni di machine learning e viene utilizzato da ricercatori e aziende di intelligenza artificiale per MLOps nel cloud.

Graviton3E, lanciato nel 2022, è appositamente ottimizzato per operazioni di istruzione vettoriale e in virgola mobile. Le prestazioni di calcolo vettoriale sono doppie rispetto a Graviton3. È particolarmente adatto per scenari applicativi come intelligenza artificiale/apprendimento automatico e calcolo ad alte prestazioni.

L'ultima generazione di Graviton4 utilizza un core Neoverse-V2 migliore e aumenta il numero di core a 96 core. La cache L2 di ciascun core è raddoppiata a 2 MB e la larghezza di banda della memoria è aumentata del 75%.

Ogni generazione di Graviton avrà miglioramenti prestazionali a due cifre rispetto alla generazione precedente e il consumo energetico per unità di potenza di calcolo continuerà a diminuire. Il risparmio energetico e la riduzione delle emissioni sono estremamente importanti per lo sviluppo sostenibile dei data center. Famosi clienti cloud come Twitter, Databricks, Formula 1 e Snap hanno tutti utilizzato servizi basati su Graviton e ne hanno elogiato i vantaggi nella riduzione dei costi e nel miglioramento dell'efficienza.

Secondo i resoconti dei media stranieri, entro la metà del 2022, Graviton rappresenterà circa il 20% delle istanze della CPU di Amazon Cloud Technology, la maggior parte delle quali sono Graviton2. Circa il 50% delle nuove istanze di macchine virtuali di Amazon Cloud Technology saranno della serie Graviton.

Alcuni clienti cloud hanno pubblicamente affermato di aver risparmiato dal 10% al 40% sui costi informatici noleggiando i servizi Graviton.

Essendo uno dei primi utenti di Graviton, Daewoo Unlimited ha utilizzato Graviton2 per ridurre del 20% il costo delle operazioni sui big data. Tuya, che utilizza ampiamente le istanze Graviton2, ha inoltre effettuato l'aggiornamento alle istanze di nuova generazione, migliorando le prestazioni di crittografia e decrittografia della piattaforma IoT; del 50%.

Secondo i dati della società di ricerche di mercato IDC, la quota di mercato delle spedizioni di server Arm nel primo trimestre del 2023 è di circa il 10%. In questo momento, i problemi ecologici di Arm nel mercato dei server sono stati inizialmente risolti.

Fino ad ora, Amazon Cloud Technology ha distribuito più di 2 milioni di processori Graviton in 33 regioni e più di 100 zone di disponibilità in sei continenti in tutto il mondo. Questi processori gestiscono più di 150 istanze di elaborazione e sono utilizzati da più di 50.000 aziende e sviluppatori in tutto il mondo.

2. L'unico produttore di cloud che implementa l'uso su larga scala dell'architettura Arm

Nel servire i clienti cloud, il team di Amazon Cloud Technology ha scoperto che se spera di rivoluzionare il rapporto prezzo/prestazioni dell'elaborazione per tutti i possibili carichi di lavoro, deve ripensare completamente le istanze e approfondire la tecnologia sottostante, compresi i chip personalizzati.

Perché il chip è progettato in base all'architettura Arm?

Per Amazon Cloud Technology, questa è sia una situazione che un piano lungimirante.

Innanzitutto, la licenza Arm è relativamente facile da ottenere e ha un elevato grado di libertà di progettazione, il che rende più semplice per Amazon Cloud Technology progettare processori che soddisfino meglio le esigenze del business cloud.

In secondo luogo, il risparmio energetico è da tempo uno dei principali problemi dei data center. Date le economie di scala, pochi watt risparmiati per chip sono importanti. Arm è stato testato dal mercato dei processori mobili per i suoi vantaggi quali elevata efficienza energetica, elevata densità di potenza di calcolo e basso costo.

Inoltre, come accennato in precedenza, Graviton è molto cauto nell’aumentare la frequenza e integra le prestazioni attraverso un parallelismo a livello di istruzione più elevato, rendendolo più competitivo in termini di prestazioni in termini di costi. In condizioni di utilizzo elevato della CPU, ciascuna vCPU in Graviton occupa un core fisico e non vi sono problemi di contesa. Può mantenere una velocità ancora elevata e il suo vantaggio in termini di prezzo diventerà evidente.

Secondo Amazon Cloud Technology, rispetto all'istanza R7g di settima generazione che utilizza Graviton3, le prestazioni dell'istanza Amazon EC2 R8g basata sul processore Graviton4 di nuova generazione sono state migliorate del 30%, la dimensione dell'istanza è maggiore, vCPU e memoria sono aumentate di 3 volte e può fornire un miglior rapporto prezzo/prestazioni per carichi di lavoro ad uso intensivo di memoria come database, memorizzazione nella cache in memoria e analisi di Big Data in tempo reale.

Rispetto alle istanze R7g, le istanze R8g possono velocizzare le applicazioni Web fino al 30%, i database fino al 40% e le applicazioni Java di grandi dimensioni fino al 45%.

I suoi vantaggi prestazionali ed economici sono stati verificati da alcuni test reali.

Secondo alcuni risultati di test benchmark rilasciati da Phoronix, con lo stesso numero di vCPU, il nuovo core Graviton4 ha all'incirca le stesse prestazioni di Intel Sapphire Rapids ed è paragonabile all'EPYC di quarta generazione di AMD quando esegue elaborazione, crittografia e codice ad alte prestazioni. compilazione, ray tracing e database, modellazione 3D e altri carichi di lavoro, il progresso intergenerazionale è nel complesso molto buono.

▲Dopo i test, l'istanza R8g basata su Graviton4 è più conveniente rispetto all'istanza cloud Amazon Cloud Technology basata su Intel Xeon e AMD EPYC (Fonte: Phoronix.com)

Essendo uno dei primi clienti delle istanze R8g, Honeycomb ha condiviso che il miglioramento del throughput di Graviton4 è molto evidente. Rispetto a quando Graviton è stato utilizzato per la prima volta quattro anni fa, il throughput per vCPU è più che raddoppiato. Prevedono di migrare l'intero carico di lavoro su Graviton4 non appena la serie di istanze R8g verrà ufficialmente rilasciata.

Epic Games, la società di produzione del gioco di successo "Fortnite", ha commentato che l'istanza EC2 R8g basata sull'ultimo Graviton4 è l'istanza EC2 più veloce che abbiano testato ed è tra i suoi "carichi di lavoro più competitivi e sensibili alla latenza". può migliorare completamente le prestazioni dei server di gioco.

I risultati preliminari dei test su SAP HANA Cloud utilizzando le istanze R8g mostrano che, rispetto alle istanze basate su Graviton3, le istanze R8g possono migliorare le prestazioni analitiche fino al 25% e le prestazioni dei carichi di lavoro transazionali fino al 40%.

▲Confronto tra diverse specifiche delle istanze R8g

Finora, solo Amazon Cloud Technology ha veramente realizzato l’uso su larga scala dell’architettura Arm.

Perché la tecnologia cloud di Amazon? Come ha affermato Dai Wen, direttore generale dell'architettura delle soluzioni per Amazon Cloud Technology Greater China, al China Summit di quest'anno: "Solo in un ambiente di cloud computing possiamo avere l'opportunità di realizzare un'innovazione così completa, dalle applicazioni alle CPU".

I chip sviluppati internamente non sono innovazioni sulla carta. Richiedono l'accumulo di esperienza ingegneristica. Non devono solo perseguire prestazioni elevate, ma anche essere sufficientemente stabili, affidabili e altamente sicuri.

Utilizzare la stessa microarchitettura Arm non significa che si possa realizzare una CPU con le stesse prestazioni, e progettare un chip non significa che si possa ottenere la produzione di massa e il successo commerciale. Già solo i problemi di linearità e di ritardo nella comunicazione causati dall’interconnessione di centinaia di core della CPU possono mettere in difficoltà molti team che si occupano di chip, per non parlare delle difficoltà ecologiche legate alla progettazione dei chip per server Arm.

Le idee di ricerca e sviluppo di Amazon Cloud Technology si basano su una profonda comprensione dei carichi di lavoro dei clienti cloud e sulla penetrazione inversa nella progettazione dei chip. Questo approccio incentrato sul cliente consente ad Amazon Cloud Technologies di adeguarsi a breve termine per adattarsi rapidamente alle dinamiche del mercato.

Prendendo ad esempio Graviton4, Amazon Cloud Technology ha progettato per la prima volta un'architettura CPU per applicazioni pratiche. L'ingegneria di progettazione di questo processore è passata dal tradizionale sistema di valutazione benchmark MicroBenchmark a un metodo di valutazione basato sui carichi di lavoro effettivi. Ad esempio, l'ottimizzazione del database Cassandra, dell'applicazione Groovy e del server nginx richiede parametri CPU front-end e back-end diversi.

L’enorme scala di clienti ha creato barriere per la tecnologia cloud di Amazon. I suoi estesi cluster di data center in tutto il mondo possono ospitare l'implementazione dei processori della serie Graviton. L'effetto di scala formato dalla più grande azienda di cloud computing al mondo può effettivamente diluire il costo della tecnologia cloud di Amazon.

I servizi cloud continuamente innovativi consentono ad Amazon Cloud Technology di comprendere le applicazioni più utilizzate e i relativi modelli di consumo delle risorse, in modo da selezionare i punti tecnici con i maggiori vantaggi per gli utenti, effettuare ottimizzazioni mirate e migliorare rapidamente gli stack software e hardware e persino la progettazione della CPU , sviluppare vCPU e core hardware corrispondenti.

Allo stesso tempo, le varie linee di prodotti di servizi di hosting di Amazon utilizzano un'infrastruttura unificata, quindi le innovazioni di Graviton possono essere applicate a tutti i servizi di hosting in modo tempestivo. Gli utenti possono facilmente godere del miglioramento economico apportato da Graviton modificando le opzioni di elaborazione.

Gli utenti devono solo preoccuparsi di quale istanza possa soddisfare meglio le loro esigenze e Amazon Cloud Technology è responsabile della riduzione dei costi di migrazione e apprendimento del software. Integrando profondamente più servizi di gestione con Graviton, la migrazione senza soluzione di continuità da x86 ad Arm diventa semplice e veloce.

3. In che modo i chip sviluppati internamente influiscono sul cloud computing?

Oggi, i chip sviluppati internamente sono diventati una mossa standard per le principali aziende tecnologiche, che si tratti di ridurre i costi e aumentare l’efficienza, creare vantaggi competitivi, migliorare la controllabilità e ridurre la dipendenza da società di chip di terze parti, è una bella storia che può facilmente essere sviluppata. convincere i clienti e gli investitori a valle.

Ma nove anni fa, quando Amazon Cloud Technology prese l’iniziativa di sviluppare i propri chip, l’esplorazione era ancora avanzata.

Guardando indietro alla storia dello sviluppo del cloud computing, il rilascio della prima definizione di istanza EC2 (Elastic Cloud Computing) da parte di Amazon Cloud Technology nel 2006 è considerato un momento storico. Successivamente, sempre più aziende hanno gradualmente accettato il concetto di cloud computing e hanno iniziato a migrare le proprie applicazioni nel cloud.

Ora Amazon Cloud Technology può eseguire con successo cluster di elaborazione ad alte prestazioni con decine di migliaia di nodi sul cloud per addestrare modelli di grandi dimensioni e gestire applicazioni di streaming in tempo reale ad alta concorrenza sul cloud. Queste erano difficili da immaginare in quel momento. Devi sapere che la prima istanza EC2 di Amazon Cloud Technology ha una frequenza principale di soli 1,7GHz, una larghezza di banda di rete di 250Mbps, una memoria inferiore a 2GB e un disco meccanico di soli 160GB.

Nei primi anni del business del cloud computing, Amazon Cloud Technology ha dovuto risolvere molti problemi spinosi. Ciò che preoccupava particolarmente il team era che se una versione personalizzata di Xen fosse stata utilizzata come hypervisor di virtualizzazione, non importa quanto tempo sarebbe stato dedicato all'ottimizzazione del codice. , il livello di virtualizzazione sarebbe sempre occupato dalle risorse dell'host e le CPU x86 non sono in grado di gestire il traffico di rete.

Fino al 2013, Annapurna Labs, una società israeliana di chip, è entrata nel mirino di Amazon Cloud Technology. Grazie alla cooperazione, Amazon Cloud Technology ha scritto per la prima volta l'elaborazione di rete sull'hardware. Le sorprendenti prestazioni di implementazione hanno fatto sì che Amazon Cloud Technology tenesse d'occhio questo partner eccezionale: nel gennaio 2015, Amazon Cloud Technology ha annunciato l'acquisizione di Annapurna Labs e da allora ha intrapreso il viaggio dei chip sviluppati autonomamente.

Guardando indietro, si è trattato sicuramente di un investimento accorto nella storia della tecnologia cloud di Amazon.

Appena due anni dopo questa transazione, Amazon Cloud Technology ha annunciato la piattaforma di virtualizzazione Nitro, che scarica tutta la sicurezza, la gestione e il monitoraggio sull’hardware, fornendo ai clienti quasi il 100% della potenza di calcolo dell’host.

Da allora, il cloud computing ha intrapreso un percorso di completo isolamento fisico del business e dell’infrastruttura, e l’innovazione della tecnologia di virtualizzazione sottostante e lo sviluppo di tipi di server di livello superiore possono essere portati avanti in parallelo.

Ciò ha dato luogo a una svolta fondamentale per le istanze EC2: dal 2006 al 2017, Amazon Cloud Technology è passata da 1 tipo di istanza EC2 a 70 tipi in 11 anni e dal 2017 al 2023, le istanze EC2 sono cresciute improvvisamente in modo esplosivo, passando da 1 a 70 tipi in 6 anni. Da 70 tipi sono stati sviluppati a 750 tipi, che possono fornire istanze di calcolo adatte per vari carichi.

Basandosi sulla pietra angolare del successo di Nitro, Amazon Cloud Technology ha sviluppato tre linee di prodotti: chip di rete, CPU per server e chip di addestramento e inferenza AI: i chip di rete Nitro sono arrivati ​​alla quinta generazione e continuano a ottimizzare le prestazioni di rete, le prestazioni di archiviazione e la sicurezza rinforzo; Graviton Sono state rilasciate quattro generazioni e cinque modelli; il chip di inferenza AI Inferentia e il chip di formazione AI Trainium, che forniscono agli utenti opzioni di accelerazione AI diverse dalle GPU fornendo inferenza ed esempi di formazione più convenienti.

Ciò consente ad Amazon Cloud Technology di mantenere la flessibilità dell'innovazione interna full-stack: a partire da schede e server personalizzati, fino ai chip personalizzati in modo approfondito nella parte inferiore e quindi all'espansione orizzontale del territorio dei chip sviluppati internamente, Amazon Cloud Technology aumenterà gradualmente passare dai chip e dall'hardware al software L'integrazione e la collaborazione non solo possono apportare maggiore efficienza in termini di costi e affidabilità all'azienda, ma ne costituiscono anche il nucleo principale della competitività.

I chip sviluppati internamente sono collegati ai server di archiviazione sviluppati internamente da Amazon Cloud Technology e ai sistemi di rete ad alta velocità, consentendo l’interconnessione efficiente di più chip, riducendo così in modo davvero significativo i tempi di elaborazione. Sulla base di queste innovazioni, Amazon Cloud Technology può supportare uno dei compiti più impegnativi del cloud computing: l'intelligenza artificiale e l'apprendimento automatico.

Al recente Amazon Cloud Technology Summit di New York, Amazon Cloud Technology ha annunciato che il 96% degli unicorni AI/ML ha gestito la propria attività su Amazon Cloud Technology e che il 90% delle aziende nell'elenco Forbes AI 50 del 2024 sceglie Amazon Cloud Technology. Dal 2023 ad oggi, Amazon Cloud Technology ha rilasciato ufficialmente 326 funzioni di intelligenza artificiale generativa. Nello stesso periodo, il numero di servizi di machine learning e intelligenza artificiale generativa ufficialmente disponibili ha superato il doppio di quello di altri fornitori.

I casi d’uso estesi e il profondo accumulo tecnico sono sempre strettamente correlati. Questo numero impressionante di casi d’uso dell’intelligenza artificiale offre ad Amazon casi pratici sufficienti per fornire ai clienti opzioni in grado di ottenere i migliori vantaggi, e un ampio feedback dei clienti può diventare la migliore forza trainante per la progettazione dei suoi chip. La continua iterazione della tecnologia dei chip supporterà servizi cloud sempre più convenienti e promuoverà lo sviluppo inclusivo dell’intelligenza artificiale generativa.

Conclusione: nessun chip è l'unica soluzione al cloud computing

Esistono numerose opzioni di silicio sul mercato e i fornitori di infrastrutture cloud possono svolgere un ruolo nel come riunirle tutte per consentire al meglio innovazioni che vanno dall’infrastruttura ai servizi cloud.

A differenza delle aziende produttrici di chip indipendenti, lo scopo dei chip sviluppati autonomamente da Amazon Cloud Technology non è quello di partecipare alla concorrenza di mercato, ma di fornire ai propri clienti un "negozio universale" che non solo fornisce chip sviluppati autonomamente, ma anche prodotti tradizionali tradizionali come come CPU Intel e GPU NVIDIA. La scelta spetta al cliente di selezionare la combinazione di prodotti che meglio soddisfa le proprie esigenze di carico di lavoro in base ai profili di queste istanze di chip.

L’evoluzione di sei anni di Graviton ha raccontato la storia dell’implementazione delle CPU dei server Arm. Arm fornisce ad Amazon Cloud Technology la base per la personalizzazione flessibile delle CPU, mentre Amazon Cloud Technology promuove i cambiamenti nel mercato dei chip per server e diventa la migliore approvazione dei vantaggi di Arm in termini di costi e rapporto prestazioni-prezzo nel mercato dei data center.

Finché Graviton avrà ancora spazio per ridurre i costi e aumentare l’efficienza, Amazon Cloud Technology potrà continuare a tagliare i prezzi, condividere i profitti e restituire i dividendi di scala e tecnologia ai clienti cloud.