nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

des choses intelligentes
AuteurZeR0
Editeur Mo Ying

La semaine dernière, le processeur Graviton4 développé indépendamment par Amazon Cloud Technology, le plus grand géant mondial du cloud computing, a été entièrement lancé et prenait initialement en charge la nouvelle instance Amazon EC2 R8g.

Cet incident est assez émouvant, et il y a un sentiment de déjà vu que le processeur du serveur Arm a traversé toutes les difficultés et que toutes les difficultés ont été récompensées.

Le domaine des processeurs de serveur a connu une série de changements. Au début, il était dominé par un groupe de prédécesseurs de jeux d'instructions rationalisés, mais plus tard, il a été contre-attaqué et érodé par l'architecture de jeu d'instructions complexe x86. Lorsque Arm, le successeur du jeu d’instructions rationalisé, souhaite se lancer dans le secteur des centres de données, x86 a déjà pleinement dominé le marché.

En fait, Arm avait hâte d'essayer ce marché émergent dès 2008. Résultat, dix ans plus tard, après avoir tâté le terrain à plusieurs reprises, il n'a pas réussi à susciter des éclaboussures sporadiques.

Le premier ticket pour entrer sur le marché des centres de données a été envoyé par Amazon Cloud Technology, le grand frère du secteur du cloud computing.

À cette époque, Amazon Cloud Technology a lancé « trois attaques consécutives » :

1. En janvier 2015, elle a acquis de manière inattendue Annapurna Labs, une société israélienne de conception de puces, qui a attiré l'attention de l'industrie ;

2. En 2017, Amazon Nitro, la première puce réseau auto-développée, a été lancée, amenant la première puce DPU commerciale au monde au stade de l'histoire ;

3. En 2018, le premier processeur Amazon Graviton a été lancé, donnant au processeur du serveur Arm une référence claire dans l'histoire des centres de données.

Par la suite, Amazon Cloud Technology a mené de manière intensive des recherches sur les puces personnalisées multilignes de type manuel, et d'autres grands fabricants chinois et américains ont également suivi la tendance des processeurs auto-développés. La longue lutte acharnée sur les CPU des serveurs est finalement passée d'un écrasement unilatéral du x86 à un élan croissant dans le camp Arm.

Graviton est progressivement devenu le processeur de serveur Arm le plus utilisé au monde, et la technologie Amazon Cloud est considérée comme « l'espoir de tout le village » conduisant l'écosystème Arm à étendre son territoire dans les centres de données. Un rapport de Bernstein l'année dernière a montré qu'Amazon Cloud Technology représente plus de la moitié du marché mondial des processeurs pour serveurs Arm.

▲Amazon Cloud Technology a lancé cinq processeurs Graviton en cinq ans (Source : Zhidongxi)

Aujourd’hui, il est courant que les grands fabricants développent des puces qu’ils développent eux-mêmes, mais seuls quelques-uns y parviennent. Ce manuel de référence sur les processeurs de serveur auto-développé, écrit par Amazon Cloud Technology en cinq ans, vaut la peine d'être mâché encore et encore.

1. Six années d'auto-recherche et d'innovation dans le domaine des processeurs, ouvrant la voie aux puces de serveur Arm

La première génération a ouvert les routes de montagne, la deuxième génération a établi les rivières et les lacs.

Il s'agit d'un véritable portrait de la fortune des puces de serveur auto-développées par Amazon Cloud Technology : le processeur Graviton sorti en novembre 2018 était le premier modèle de processeurs auto-développés par les grandes sociétés de cloud computing. Alors que le processeur du serveur Arm entre officiellement sur le marché des centres de données, il est en concurrence avec x86.

Graviton2 intègre 30 milliards de transistors, possède un nombre de cœurs quatre fois supérieur à celui de la génération précédente et a doublé le cache L1/L2. La bande passante du bus atteint 2 To/s, ce qui permet d'obtenir une performance 7 fois supérieure à celle de la génération précédente. Par rapport aux instances x86 similaires, les performances des instances basées sur Graviton2 sont améliorées de 40 % et le coût par instance est réduit de 20 %.

Les excellentes performances en matière de faible consommation d'énergie ont conduit Amazon Cloud Technology à déplacer les charges de travail générales vers Graviton2 pour économiser de l'énergie et des coûts. Depuis lors, le taux d'adoption de la série Graviton a grimpé en flèche et les charges de travail couvertes se sont étendues du cache et du Web initiaux à l'analyse de données, à l'apprentissage automatique, au calcul haute performance, etc.

Le succès initial de Graviton sur le marché peut être qualifié de nœud qui change le destin d’Arm.

Derrière cela, Amazon Cloud Technology a beaucoup réfléchi à l'innovation sous-jacente : pour la première fois, elle n'utilise plus la technologie multi-thread synchrone, mais réalise l'utilisation exclusive des ressources monothread du cœur physique, permettant à chaque vCPU pour occuper exclusivement 1 cœur physique, ce qui rend les processeurs virtuels plus isolés, ce qui n'entraînera pas de gigue de performances en raison de conflits pour les ressources.

De la première à la deuxième génération, Graviton a réalisé des améliorations considérables des performances en augmentant le nombre de cœurs, mais à partir de la troisième génération, Amazon Cloud Technology doit intégrer davantage d'innovations de conception.

L'augmentation du nombre de cœurs et l'augmentation de la fréquence principale sont deux méthodes courantes pour améliorer les performances. La troisième génération de Graviton 3 sortie en 2021 n'adopte pas ces idées. Le nombre de cœurs reste inchangé et la fréquence principale n'est que légèrement augmentée. L'augmentation de la fréquence étant risquée pour les centres de données à grande échelle, elle peut entraîner une consommation d'énergie importante et nécessiter des configurations d'alimentation et de refroidissement améliorées, ce qui entraîne finalement une augmentation des coûts d'utilisation pour les clients.

Graviton3 a apporté plusieurs innovations différentes de son prédécesseur :

1. Grâce à la conception Chiplet, 7 matrices en silicium sont emballées ensemble ;

2. La méthode parallèle au niveau des instructions est adoptée pour augmenter le nombre d'instructions pouvant être exécutées dans un seul cycle de cœur, permettant au cœur d'accomplir plus de tâches ;

3. Pour la bande passante mémoire et les charges de travail sensibles aux délais, l'espace mémoire est augmenté de 40 % et la DDR5 est utilisée pour augmenter la bande passante du canal mémoire de 50 %.

Ainsi, par rapport à la génération précédente, Graviton3 peut augmenter les performances des charges de travail des applications de 25 % et réduire la consommation électrique jusqu'à 60 % par rapport aux instances x86. Doté d'une unité d'accélération matérielle d'apprentissage automatique intégrée, ce processeur permet également d'améliorer de 3 fois les performances d'apprentissage automatique et est utilisé par les chercheurs en IA et les entreprises pour les MLOps dans le cloud.

Graviton3E, lancé en 2022, est spécialement optimisé pour les opérations d'instructions en virgule flottante et vectorielles. Les performances de calcul vectoriel sont deux fois supérieures à celles de Graviton3. Il est particulièrement adapté aux scénarios d'application tels que l'intelligence artificielle/l'apprentissage automatique et le calcul haute performance.

La dernière génération de Graviton4 utilise un meilleur cœur Neoverse-V2 et augmente le nombre de cœurs à 96 cœurs. Le cache L2 de chaque cœur est doublé à 2 Mo et la bande passante mémoire est augmentée de 75 %.

Chaque génération de Graviton présentera des améliorations de performances à deux chiffres par rapport à la génération précédente, et la consommation d'énergie par unité de puissance de calcul continuera de diminuer. Les économies d'énergie et la réduction des émissions sont extrêmement importantes pour le développement durable des centres de données. Des clients cloud bien connus tels que Twitter, Databricks, Formula 1 et Snap ont tous utilisé des services basés sur Graviton et ont loué ses avantages en matière de réduction des coûts et d'amélioration de l'efficacité.

Selon les médias étrangers, d'ici la mi-2022, Graviton représentera environ 20 % des instances de processeur d'Amazon Cloud Technology, dont la plupart sont des Graviton2. Environ 50 % des nouvelles instances de machines virtuelles d'Amazon Cloud Technology seront de la série Graviton.

Certains clients du cloud ont publiquement déclaré avoir économisé entre 10 et 40 % de leurs coûts informatiques en louant les services Graviton.

En tant que premier utilisateur de Graviton, Daewoo Unlimited a utilisé Graviton2 pour réduire le coût des opérations Big Data de 20 % ; Tuya, qui utilise largement les instances Graviton2, a également mis à niveau vers des instances de nouvelle génération, améliorant les performances de chiffrement et de déchiffrement de la plate-forme IoT. de 50 %.

Selon les données du cabinet d'études de marché IDC, la part de marché des livraisons de serveurs Arm au premier trimestre 2023 est d'environ 10 %. À l'heure actuelle, les problèmes écologiques d'Arm sur le marché des serveurs ont été initialement résolus.

Jusqu'à présent, Amazon Cloud Technology a déployé plus de 2 millions de processeurs Graviton dans 33 régions et plus de 100 zones de disponibilité sur six continents à travers le monde. Ces processeurs pilotent plus de 150 instances informatiques et sont utilisés par plus de 50 000 entreprises et développeurs dans le monde.

2. Le seul fabricant de cloud qui met en œuvre une utilisation à grande échelle de l'architecture Arm

En servant les clients du cloud, l'équipe Amazon Cloud Technology a découvert que si elle espère révolutionner le rapport prix/performances de l'informatique pour toutes les charges de travail possibles, elle doit repenser complètement les instances et approfondir la technologie sous-jacente, y compris les puces personnalisées.

Pourquoi la puce est-elle conçue sur la base de l’architecture Arm ?

Pour Amazon Cloud Technology, il s’agit à la fois d’une situation et d’un plan prospectif.

Tout d’abord, la licence Arm est relativement facile à obtenir et offre un haut degré de liberté de conception, ce qui permet à Amazon Cloud Technology de concevoir plus facilement des processeurs qui répondent mieux aux besoins des entreprises cloud.

Deuxièmement, les économies d’énergie constituent depuis longtemps un problème majeur pour les centres de données. Compte tenu des économies d’échelle, quelques watts économisés par puce sont importants. Arm a été testé par le marché des processeurs mobiles pour ses avantages tels qu'une efficacité énergétique élevée, une densité de puissance de calcul élevée et un faible coût.

De plus, comme nous l'avons mentionné précédemment, Graviton est très prudent dans l'augmentation de la fréquence et complète les performances grâce à un parallélisme de niveau d'instruction plus élevé, ce qui le rend plus compétitif en termes de rapport coût-performance. En cas d'utilisation élevée du processeur, chaque vCPU de Graviton occupe un cœur physique, et il n'y a aucun problème de contention. Il peut maintenir une vitesse encore rapide et son avantage en termes de prix deviendra évident.

Selon Amazon Cloud Technology, par rapport à l'instance R7g de septième génération utilisant Graviton3, les performances de l'instance Amazon EC2 R8g basée sur le processeur Graviton4 de nouvelle génération ont été améliorées de 30 %, la taille de l'instance est plus grande, le vCPU et la mémoire sont augmentés. de 3 fois, et peut offrir un meilleur rapport prix/performances pour les charges de travail gourmandes en mémoire telles que les bases de données, la mise en cache en mémoire et l'analyse du Big Data en temps réel.

Par rapport aux instances R7g, les instances R8g peuvent accélérer les applications Web jusqu'à 30 %, les bases de données jusqu'à 40 % et les grandes applications Java jusqu'à 45 %.

Ses avantages en termes de performances et de rentabilité ont été vérifiés par des tests réels.

Selon certains résultats de tests de référence publiés par Phoronix, avec le même nombre de processeurs virtuels, le nouveau cœur Graviton4 a à peu près les mêmes performances qu'Intel Sapphire Rapids et est comparable à l'EPYC de quatrième génération d'AMD lors de l'exécution de calculs hautes performances, de chiffrement, de code. compilation, lancer de rayons et bases de données, modélisation 3D et autres charges de travail, les progrès intergénérationnels sont globalement très bons.

▲Après tests, l'instance R8g basée sur Graviton4 est plus rentable que l'instance cloud Amazon Cloud Technology basée sur Intel Xeon et AMD EPYC (Source : Phoronix.com)

En tant que l'un des premiers clients des instances R8g, Honeycomb a déclaré que l'amélioration du débit de Graviton4 était très évidente. Par rapport à la première utilisation de Graviton il y a quatre ans, le débit par processeur virtuel a plus que doublé. Ils prévoient de migrer l'intégralité de la charge de travail vers Graviton4 dès que la série d'instances R8g sera officiellement publiée.

Epic Games, la société de production du jeu à succès « Fortnite », a commenté que l'instance EC2 R8g basée sur le dernier Graviton4 est l'instance EC2 la plus rapide qu'ils ont testée et fait partie de ses « charges de travail les plus compétitives et les plus sensibles à la latence ». peut pleinement améliorer les performances des serveurs de jeux.

Les résultats des tests préliminaires sur SAP HANA Cloud à l'aide des instances R8g montrent que par rapport aux instances basées sur Graviton3, les instances R8g peuvent améliorer les performances analytiques jusqu'à 25 % et les performances de la charge de travail transactionnelle jusqu'à 40 %.

▲Comparaison des différentes spécifications des instances R8g

Jusqu'à présent, seule la technologie Amazon Cloud a véritablement réalisé l'utilisation à grande échelle de l'architecture Arm.

Pourquoi la technologie Amazon Cloud ? Comme l'a déclaré Dai Wen, directeur général de l'architecture de solutions pour Amazon Cloud Technology Greater China, lors du sommet chinois de cette année : « Ce n'est que dans un environnement de cloud computing que nous pouvons avoir l'opportunité de réaliser une telle innovation complète, des applications aux processeurs. »

Les puces auto-développées ne sont pas des innovations sur le papier. Elles nécessitent l’accumulation d’une expérience en ingénierie. Elles doivent non seulement rechercher des performances élevées, mais également être suffisamment stables, fiables et hautement sécurisées.

Utiliser la même microarchitecture Arm ne signifie pas que vous pouvez créer un processeur avec les mêmes performances, et concevoir une puce ne signifie pas que vous pouvez atteindre une production de masse et un succès commercial. Les seuls problèmes de linéarité et de retard de communication causés par l'interconnexion de centaines de cœurs de processeur peuvent dérouter de nombreuses équipes de puces, sans parler des difficultés écologiques liées à la conception de puces de serveur Arm.

Les idées de recherche et développement d'Amazon Cloud Technology sont basées sur une compréhension approfondie des charges de travail des clients cloud et sur une pénétration inversée dans la conception des puces. Cette approche centrée sur le client permet à Amazon Cloud Technologies de s'ajuster à court terme pour s'adapter rapidement à la dynamique du marché.

En prenant Graviton4 comme exemple, Amazon Cloud Technology a conçu pour la première fois une architecture de processeur pour des applications pratiques. L'ingénierie de conception de ce processeur est passée du système d'évaluation de référence traditionnel MicroBenchmark à une méthode d'évaluation basée sur les charges de travail réelles. Par exemple, l'optimisation de la base de données Cassandra, de l'application Groovy et du serveur nginx nécessite différents paramètres de processeur front-end et back-end.

L'énorme taille de la clientèle a créé des obstacles pour la technologie Amazon Cloud. Ses vastes clusters de centres de données à travers le monde peuvent héberger la mise en œuvre des processeurs de la série Graviton. L'effet d'échelle formé par la plus grande entreprise de cloud computing au monde peut effectivement diluer le coût de la technologie Amazon Cloud.

Les services cloud innovants en permanence permettent à Amazon Cloud Technology de comprendre les applications les plus utilisées et leurs modèles de consommation de ressources, afin de sélectionner les points techniques présentant les plus grands avantages pour les utilisateurs, d'effectuer une optimisation ciblée et d'améliorer rapidement les piles logicielles et matérielles et même la conception du processeur. , développez un processeur virtuel et un noyau matériel correspondants.

Dans le même temps, les différentes gammes de produits de services d'hébergement d'Amazon utilisent une infrastructure unifiée, de sorte que les innovations Graviton peuvent être appliquées à tous les services d'hébergement en temps opportun. Les utilisateurs peuvent facilement profiter de l'amélioration rentable apportée par Graviton en modifiant les options informatiques.

Les utilisateurs n'ont qu'à se soucier de savoir quelle instance peut le mieux répondre à leurs besoins, et Amazon Cloud Technology est chargé de réduire le coût de la migration et de l'apprentissage des logiciels. En intégrant davantage de services de gestion à Graviton, la migration transparente de x86 vers Arm devient simple et rapide.

3. Comment les puces auto-développées affectent-elles le cloud computing ?

Aujourd'hui, les puces auto-développées sont devenues une démarche standard pour les grandes entreprises technologiques. Qu'il s'agisse de réduire les coûts et d'augmenter l'efficacité, de créer des avantages concurrentiels, d'améliorer la contrôlabilité et de réduire la dépendance à l'égard des sociétés de puces tierces, c'est une bonne histoire qui peut facilement se produire. convaincre les clients et les investisseurs en aval.

Mais il y a neuf ans, lorsqu'Amazon Cloud Technology a pris la tête du développement de ses propres puces, il s'agissait encore d'une exploration avancée.

Si l’on revient sur l’histoire du développement du cloud computing, la publication de la première définition d’instance EC2 (Elastic Cloud Computing) par Amazon Cloud Technology en 2006 est considérée comme un moment historique. Par la suite, de plus en plus d’entreprises ont progressivement accepté le concept du cloud computing et ont commencé à migrer leurs applications vers le cloud.

Désormais, la technologie Amazon Cloud peut exécuter avec succès des clusters de calcul hautes performances avec des dizaines de milliers de nœuds sur le cloud pour former de grands modèles, et peut gérer des applications de streaming en temps réel à haute concurrence sur le cloud. Celles-ci étaient difficiles à imaginer à l'époque. Il faut savoir que la première instance EC2 d'Amazon Cloud Technology a une fréquence principale de seulement 1,7 GHz, une bande passante réseau de 250 Mbps, une mémoire de moins de 2 Go et un disque mécanique de seulement 160 Go.

Dans les premières années du secteur du cloud computing, Amazon Cloud Technology a dû résoudre de nombreux problèmes épineux. Ce qui inquiétait particulièrement l'équipe, c'était que si une version personnalisée de Xen était utilisée comme hyperviseur de virtualisation, quel que soit le temps passé à optimiser le code. , la couche de virtualisation serait toujours Elle consomme des ressources hôte et les processeurs x86 ne sont pas efficaces pour gérer le trafic réseau.

Jusqu'en 2013, Annapurna Labs, une société israélienne de puces, était entrée dans le collimateur d'Amazon Cloud Technology. Grâce à la coopération, Amazon Cloud Technology a pour la première fois écrit le traitement réseau sur du matériel. Les performances surprenantes de mise en œuvre ont incité Amazon Cloud Technology à s'intéresser à ce partenaire exceptionnel : en janvier 2015, Amazon Cloud Technology a annoncé l'acquisition d'Annapurna Labs et s'est depuis lancé dans l'aventure des puces auto-développées.

Avec le recul, il s’agissait certainement d’un investissement judicieux dans l’histoire de la technologie cloud d’Amazon.

Deux ans seulement après cette transaction, Amazon Cloud Technology a annoncé la plate-forme de virtualisation Nitro, qui confie toute la sécurité, la gestion et la surveillance au matériel, fournissant ainsi près de 100 % de la puissance de calcul hôte aux clients.

Depuis lors, le cloud computing s'est engagé sur la voie d'une isolation physique complète des entreprises et des infrastructures, et l'innovation de la technologie de virtualisation sous-jacente et le développement de types de serveurs de niveau supérieur peuvent être menés en parallèle.

Cela a donné lieu à un tournant clé pour les instances EC2 : de 2006 à 2017, la technologie Amazon Cloud est passée de 1 type d'instance EC2 à 70 types en 11 ans et de 2017 à 2023, les instances EC2 ont soudainement connu une croissance explosive, passant de 1 à 70 types ; 70 types en 6 ans. 70 types ont été développés jusqu'à 750 types, qui peuvent fournir des instances de calcul adaptées à diverses charges.

Sur la base du succès de Nitro, Amazon Cloud Technology a développé trois gammes de produits : puces réseau, processeurs de serveur et puces de formation et d'inférence IA : les puces réseau Nitro se sont développées jusqu'à la cinquième génération et continuent d'optimiser les performances du réseau, les performances de stockage et la sécurité. renforcement ; Graviton Quatre générations et cinq modèles ont été lancés ; la puce d'inférence IA Inferentia et la puce de formation IA Trainium, qui offrent aux utilisateurs des options d'accélération de l'IA autres que les GPU en fournissant des exemples d'inférence et de formation plus rentables.

Cela permet à Amazon Cloud Technology de maintenir la flexibilité de l'innovation interne full-stack : à partir des cartes et des serveurs personnalisés, jusqu'aux puces personnalisées en profondeur en bas, puis à l'expansion horizontale du territoire des puces auto-développées, Amazon Cloud Technology va progressivement passer des puces, du matériel aux logiciels L'intégration et la collaboration peuvent non seulement apporter une meilleure rentabilité et une meilleure fiabilité à l'entreprise, mais également former sa propre compétitivité de base.

Les puces auto-développées sont liées aux serveurs de stockage et aux systèmes de réseau à haut débit développés par Amazon Cloud Technology, permettant d'interconnecter efficacement davantage de puces, réduisant ainsi considérablement le temps de calcul. Grâce à ces innovations, la technologie Amazon Cloud peut prendre en charge l'une des tâches les plus difficiles du cloud computing : l'intelligence artificielle et l'apprentissage automatique.

Lors du récent Amazon Cloud Technology Summit à New York, Amazon Cloud Technology a annoncé que 96 % des licornes IA/ML ont géré leur entreprise sur Amazon Cloud Technology, et 90 % des entreprises figurant sur la liste Forbes AI 50 2024 choisissent Amazon Cloud Technology. De 2023 à aujourd'hui, Amazon Cloud Technology a officiellement publié 326 fonctions d'IA générative. Au cours de la même période, le nombre de services d'apprentissage automatique et d'IA générative officiellement disponibles a dépassé le double de celui des autres fournisseurs.

Les cas d’utilisation étendus et l’accumulation technique approfondie sont toujours étroitement liés. Ce nombre impressionnant de cas d’utilisation de l’IA donne à Amazon suffisamment de cas pratiques pour offrir aux clients des options permettant d’obtenir les meilleurs avantages, et les commentaires approfondis des clients peuvent devenir la meilleure force motrice pour la conception de ses puces. L’itération continue de la technologie des puces prendra en charge des services cloud de plus en plus rentables et favorisera le développement inclusif de l’IA générative.

Conclusion : aucune puce n'est la seule solution au cloud computing

Il existe de nombreuses options de silicium sur le marché, et les fournisseurs d'infrastructures cloud peuvent jouer un rôle dans la manière de les rassembler pour mieux permettre des innovations allant de l'infrastructure aux services cloud.

Contrairement aux sociétés de puces indépendantes, l'objectif des puces auto-développées par Amazon Cloud Technology n'est pas de participer à la concurrence sur le marché, mais de fournir à ses clients un « magasin universel » qui fournit non seulement des puces auto-développées, mais également des produits grand public tels que comme les processeurs Intel et les GPU NVIDIA, le choix appartient au client de sélectionner la combinaison de produits qui répond le mieux à ses besoins en matière de charge de travail en fonction des profils de ces instances de puces.

L'évolution de Graviton sur six ans a raconté l'histoire de la mise en œuvre des processeurs des serveurs Arm. Arm fournit à la technologie Amazon Cloud la base d'une personnalisation flexible des processeurs, tandis que la technologie Amazon Cloud favorise les changements sur le marché des puces de serveur et devient la meilleure preuve des avantages d'Arm en termes de coût et de rapport performance-prix sur le marché des centres de données.

Tant que Graviton a encore de la marge pour réduire les coûts et accroître l'efficacité, Amazon Cloud Technology peut continuer à réduire les prix et à partager les bénéfices, et à reverser les dividendes d'échelle et de technologie aux clients du cloud.