Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

умные вещи
АвторZeR0
Редактор Мо Ин

На прошлой неделе процессор Graviton4, независимо разработанный Amazon Cloud Technology, крупнейшим в мире гигантом облачных вычислений, был полностью запущен и первоначально обеспечивал поддержку нового экземпляра Amazon EC2 R8g.

Этот инцидент достаточно эмоциональный, и возникает ощущение дежавю от того, что процессор Arm-сервера прошел через все трудности и все трудности были вознаграждены.

Область серверных процессоров претерпела ряд изменений. Вначале в ней доминировала группа предшественников с оптимизированным набором команд, но позже она была подвергнута контратаке и разрушена сложной архитектурой набора команд x86. Когда Arm, преемник оптимизированного набора команд, хочет выйти на рынок центров обработки данных, x86 уже полностью доминирует на рынке.

Фактически, Arm очень хотела попробовать себя на этом развивающемся рынке еще в 2008 году. В результате десять лет спустя, после нескольких пробных попыток, ей не удалось вызвать спорадические всплески.

Первый билет на рынок центров обработки данных был отправлен Amazon Cloud Technology, старшим братом в индустрии облачных вычислений.

Тогда Amazon Cloud Technology провела «три последовательные атаки»:

1. В январе 2015 года она неожиданно приобрела Annapurna Labs, израильскую компанию по разработке микросхем, что привлекло пристальное внимание отрасли;

2. В 2017 году был запущен Amazon Nitro, первый сетевой чип собственной разработки, выведя на сцену первый в мире коммерческий чип DPU;

3. В 2018 году был выпущен первый процессор Amazon Graviton, благодаря которому процессор сервера Arm стал четким координатором в истории центров обработки данных.

Впоследствии Amazon Cloud Technology интенсивно проводила исследования многострочных специализированных чипов, похожие на учебники, и другие крупные китайские и американские производители также последовали тенденции самостоятельной разработки процессоров. Долгое перетягивание каната серверных процессоров наконец-то перешло от одностороннего сокрушения x86 к растущему импульсу в лагере Arm.

Graviton постепенно стал наиболее широко используемым процессором Arm-сервера в мире, а Amazon Cloud Technology считается «надеждой всей деревни», ведущей экосистему Arm к расширению своей территории в центрах обработки данных. Прошлогодний отчет Бернстайна показал, что на долю Amazon Cloud Technology приходится более половины мирового рынка процессоров для серверов Arm.

▲Amazon Cloud Technology выпустила пять процессоров Graviton за пять лет (Источник: Zhidongxi)

Сегодня крупные производители обычно разрабатывают чипы собственной разработки, но лишь немногим это удается. Этот справочник по серверным процессорам собственной разработки, написанный Amazon Cloud Technology за пять лет, стоит пережевывать снова и снова.

1. Шесть лет самостоятельных исследований и инноваций в области ЦП, прокладывающие путь для серверных чипов Arm.

Первое поколение открыло горную дорогу, второе поколение основало реки и озера.

Это истинное отражение судьбы серверных чипов собственной разработки Amazon Cloud Technology: процессор Graviton, выпущенный в ноябре 2018 года, стал первым процессором собственной разработки крупных компаний, занимающихся облачными вычислениями, а год спустя появился преемник Graviton2, ознаменовавший это; Поскольку процессор сервера Arm официально вступает в конкуренцию на рынке центров обработки данных, он конкурирует с процессором x86.

Graviton2 объединяет 30 миллиардов транзисторов, имеет число ядер, которое в четыре раза больше, чем у предыдущего поколения, и имеет удвоенный кэш L1/L2. Пропускная способность шины достигает 2 ТБ/с, что обеспечивает 7-кратное улучшение производительности по сравнению с предыдущим поколением. По сравнению с аналогичными инстансами на базе x86 производительность инстансов на базе Graviton2 повышена на 40 %, а стоимость инстанса снижена на 20 %.

Превосходная производительность при низком энергопотреблении побудила Amazon Cloud Technology перенести общие рабочие нагрузки на Graviton2 для экономии энергии и затрат. С тех пор темпы внедрения серии Graviton резко возросли, а охватываемые рабочие нагрузки расширились от первоначального кэша и Интернета до анализа данных, машинного обучения, высокопроизводительных вычислений и т. д.

Первоначальный успех Graviton на рынке можно назвать узлом, который меняет судьбу Arm.

При этом компания Amazon Cloud Technology тщательно продумала лежащую в ее основе инновацию: впервые она больше не использует технологию синхронной многопоточности, а реализует эксклюзивное использование однопоточных ресурсов физического ядра, позволяя каждому виртуальному процессору занимать исключительно 1 физическое ядро, что делает виртуальные ЦП более изолированными, что не приводит к дрожанию производительности из-за конкуренции за ресурсы.

С первого по второе поколение Graviton добился значительного улучшения производительности за счет увеличения количества ядер, но к третьему поколению Amazon Cloud Technology необходимо внедрить больше инноваций в дизайне.

Увеличение количества ядер и повышение основной частоты — два распространенных метода повышения производительности. Вышедшее в 2021 году Graviton 3 третьего поколения эти идеи не переняло. Количество ядер осталось неизменным, а основная частота увеличена лишь незначительно. Поскольку увеличение частоты является рискованным для крупномасштабных центров обработки данных, оно может вызвать большое потребление энергии и требует модернизации конфигураций электропитания и охлаждения, что в конечном итоге приводит к увеличению затрат на использование для клиентов.

Graviton3 внес несколько нововведений, отличающихся от своего предшественника:

1. Используя конструкцию Chiplet, 7 кремниевых кристаллов упакованы вместе;

2. Параллельный метод на уровне инструкций используется для увеличения количества инструкций, которые могут быть выполнены за один цикл ядра, что позволяет ядру выполнять больше задач;

3. Для пропускной способности памяти и рабочих нагрузок, чувствительных к задержкам, объем памяти увеличивается на 40 %, а DDR5 используется для увеличения пропускной способности канала памяти на 50 %.

В результате по сравнению с предыдущим поколением Graviton3 может повысить производительность рабочих нагрузок приложений на 25 % и снизить энергопотребление до 60 % по сравнению с экземплярами x86. Благодаря встроенному блоку аппаратного ускорения машинного обучения этот процессор также обеспечивает трехкратное улучшение производительности машинного обучения и используется исследователями искусственного интеллекта и предприятиями для MLOps в облаке.

Graviton3E, выпущенный в 2022 году, специально оптимизирован для операций с плавающей запятой и векторных команд. Производительность векторных вычислений вдвое выше, чем у Graviton3. Он особенно подходит для таких сценариев применения, как искусственный интеллект/машинное обучение и высокопроизводительные вычисления.

Последнее поколение Graviton4 использует улучшенное ядро ​​Neoverse-V2 и увеличивает количество ядер до 96. Кэш L2 каждого ядра увеличен вдвое до 2 МБ, а пропускная способность памяти увеличена на 75%.

Каждое поколение Graviton будет иметь двузначный прирост производительности по сравнению с предыдущим поколением, а энергопотребление на единицу вычислительной мощности будет продолжать снижаться. Сохранение энергии и сокращение выбросов чрезвычайно важны для устойчивого развития центров обработки данных. Все известные облачные клиенты, такие как Twitter, Databricks, Formula 1 и Snap, использовали услуги на основе Graviton и высоко оценили его преимущества в снижении затрат и повышении эффективности.

По данным зарубежных СМИ, к середине 2022 года на долю Graviton будет приходиться примерно 20% экземпляров ЦП Amazon Cloud Technology, большая часть из которых — Graviton2. Около 50% новых экземпляров виртуальных машин Amazon Cloud Technology будут представлять собой серию Graviton.

Некоторые облачные клиенты публично подтвердили, что они сэкономили от 10% до 40% вычислительных затрат, арендовав услуги Graviton.

Будучи одним из первых пользователей Graviton, компания Daewoo Unlimited использовала Graviton2, чтобы снизить стоимость операций с большими данными на 20 %, компания Tuya, которая широко использует экземпляры Graviton2, также перешла на экземпляры нового поколения, улучшив производительность шифрования и дешифрования платформы IoT; на 50%.

По данным исследовательской компании IDC, доля рынка поставок ARM-серверов в первом квартале 2023 года составит примерно 10%. На данный момент экологические проблемы Arm на рынке серверов изначально решены.

На сегодняшний день Amazon Cloud Technology развернула более 2 миллионов процессоров Graviton в 33 регионах и более 100 зонах доступности на шести континентах по всему миру. Эти процессоры управляют более чем 150 вычислительными экземплярами и используются более чем 50 000 предприятиями и разработчиками по всему миру.

2. Единственный производитель облачных технологий, реализующий масштабное использование архитектуры Arm.

В процессе обслуживания облачных клиентов команда Amazon Cloud Technology обнаружила, что, если она надеется произвести революцию в соотношении цена/производительность вычислений для всех возможных рабочих нагрузок, ей необходимо полностью переосмыслить экземпляры и изучить базовую технологию, включая специальные чипы.

Почему чип разработан на основе архитектуры Arm?

Для Amazon Cloud Technology это одновременно ситуация и перспективный план.

Прежде всего, лицензию Arm относительно легко получить, и она имеет высокую степень свободы проектирования, что позволяет Amazon Cloud Technology разрабатывать процессоры, которые лучше отвечают потребностям облачного бизнеса.

Во-вторых, экономия электроэнергии уже давно является серьезной проблемой для центров обработки данных. Учитывая экономию за счет масштаба, экономия нескольких ватт на одном чипе имеет значение. Arm был протестирован рынком мобильных процессоров на предмет его преимуществ, таких как высокая энергоэффективность, высокая плотность вычислительной мощности и низкая стоимость.

Кроме того, как мы упоминали ранее, Graviton очень осторожно подходит к увеличению частоты и повышает производительность за счет более высокого параллелизма на уровне команд, что делает его более конкурентоспособным с точки зрения затрат. При высокой загрузке ЦП каждый виртуальный ЦП в Graviton занимает одно физическое ядро, и проблем с конкуренцией нет. Он может поддерживать по-прежнему высокую скорость, и его ценовое преимущество станет очевидным.

По данным Amazon Cloud Technology, по сравнению с инстансом R7g седьмого поколения, использующим Graviton3, производительность инстанса Amazon EC2 R8g на базе процессора Graviton4 нового поколения улучшена на 30 %, увеличен размер инстанса, увеличены виртуальные ЦП и объем памяти. в 3 раза и может обеспечить лучшее соотношение цены и производительности для рабочих нагрузок с интенсивным использованием памяти, таких как базы данных, кэширование в памяти и анализ больших данных в реальном времени.

По сравнению с экземплярами R7g экземпляры R8g могут ускорить веб-приложения до 30 %, базы данных — до 40 %, а большие Java-приложения — до 45 %.

Его преимущества в производительности и экономической эффективности были подтверждены некоторыми реальными испытаниями.

Согласно некоторым результатам тестов, опубликованным Phoronix, при таком же количестве виртуальных ЦП новое ядро ​​Graviton4 имеет примерно такую ​​же производительность, как Intel Sapphire Rapids, и сравнимо с AMD EPYC четвертого поколения при выполнении высокопроизводительных вычислений, шифрования и кодирования. компиляция, трассировка лучей и базы данных, 3D-моделирование и другие рабочие нагрузки, прогресс между поколениями в целом очень хороший.

▲После тестирования экземпляр R8g на базе Graviton4 оказался более экономически эффективным, чем облачный экземпляр Amazon Cloud Technology на базе Intel Xeon и AMD EPYC (Источник: Phoronix.com).

Как один из первых клиентов инстансов R8g, компания Honeycomb рассказала, что улучшение пропускной способности Graviton4 очень очевидно. По сравнению с тем, когда Graviton впервые использовался четыре года назад, пропускная способность на один виртуальный ЦП выросла более чем вдвое. Они планируют перенести всю рабочую нагрузку на Graviton4, как только будет официально выпущена серия экземпляров R8g.

Epic Games, компания-производитель популярной игры Fortnite, отметила, что экземпляр EC2 R8g, основанный на последней версии Graviton4, является самым быстрым экземпляром EC2, который они тестировали, и входит в число «наиболее конкурентоспособных и чувствительных к задержкам рабочих нагрузок». «Отличная производительность». может полностью улучшить производительность игровых серверов.

Предварительные результаты испытаний в SAP HANA Cloud с использованием экземпляров R8g показывают, что по сравнению с экземплярами на базе Graviton3 экземпляры R8g могут улучшить аналитическую производительность до 25 %, а производительность транзакционных рабочих нагрузок — до 40 %.

▲Сравнение различных характеристик экземпляров R8g

На данный момент только Amazon Cloud Technology по-настоящему реализовала масштабное использование архитектуры Arm.

Почему облачные технологии Amazon? Как сказал Дай Вэнь, генеральный менеджер по архитектуре решений Amazon Cloud Technology в Большом Китае, на китайском саммите в этом году: «Только в среде облачных вычислений у нас может быть возможность реализовать такие комплексные инновации — от приложений до процессоров».

Чипы собственной разработки не являются инновациями на бумаге. Они требуют накопления инженерного опыта. Они должны не только обеспечивать высокую производительность, но также быть достаточно стабильными, надежными и высокозащищенными.

Использование одной и той же микроархитектуры Arm не означает, что вы можете создать процессор с такой же производительностью, а разработка чипа не означает, что вы можете добиться массового производства и коммерческого успеха. Даже проблемы с линейностью и задержкой связи, вызванные соединением сотен ядер ЦП, могут поставить в тупик многие команды разработчиков чипов, не говоря уже об экологических трудностях разработки чипов серверов Arm.

Идеи исследований и разработок Amazon Cloud Technology основаны на глубоком понимании рабочих нагрузок облачных клиентов и обратном проникновении в проектирование микросхем. Такой подход, ориентированный на клиента, позволяет Amazon Cloud Technologies в кратчайшие сроки адаптироваться к динамике рынка.

Взяв за пример Graviton4, компания Amazon Cloud Technology впервые разработала архитектуру ЦП для практических приложений. Проектирование этого процессора перешло от традиционной системы оценки тестов MicroBenchmark к методу оценки, основанному на реальных рабочих нагрузках. Например, оптимизация базы данных Cassandra, приложения Groovy и сервера nginx требует разных параметров центрального и внешнего ЦП.

Огромный масштаб клиентов создал барьеры для облачных технологий Amazon. Ее обширные кластеры центров обработки данных по всему миру могут разместить процессоры серии Graviton. Эффект масштаба, создаваемый крупнейшим в мире бизнесом облачных вычислений, может эффективно снизить стоимость облачных технологий Amazon.

Постоянно инновационные облачные сервисы позволяют Amazon Cloud Technology понимать наиболее используемые приложения и модели их потребления ресурсов, чтобы выбирать технические моменты, обеспечивающие максимальную выгоду для пользователей, проводить целевую оптимизацию и быстро улучшать программные и аппаратные стеки и даже конструкцию ЦП. , разработать соответствующие виртуальные ЦП и аппаратное ядро.

При этом различные линейки продуктов хостинг-услуг Amazon используют единую инфраструктуру, поэтому инновации Graviton можно своевременно применять ко всем хостинг-услугам. Пользователи могут легко воспользоваться экономически эффективными улучшениями, предоставляемыми Graviton, путем изменения параметров вычислений.

Пользователям нужно только беспокоиться о том, какой экземпляр лучше соответствует их потребностям, а Amazon Cloud Technology отвечает за снижение затрат на миграцию программного обеспечения и обучение. Благодаря глубокой интеграции большего количества служб управления с Graviton плавный переход с x86 на Arm становится простым и быстрым.

3. Как чипы собственной разработки влияют на облачные вычисления?

Сегодня чипы собственной разработки стали стандартным шагом для крупных технологических компаний. Будь то снижение затрат и повышение эффективности, создание конкурентных преимуществ, улучшение управляемости и снижение зависимости от сторонних компаний-производителей чипов, это хорошая история, которую легко можно реализовать. убедить последующих клиентов и инвесторов.

Но девять лет назад, когда Amazon Cloud Technology взяла на себя инициативу в разработке собственных чипов, это все еще было продвинутой разработкой.

Оглядываясь назад на историю развития облачных вычислений, можно сказать, что выпуск первого определения экземпляра EC2 (Elastic Cloud Computing) компанией Amazon Cloud Technology в 2006 году считается историческим моментом. Впоследствии все больше и больше предприятий постепенно приняли концепцию облачных вычислений и начали переносить свои приложения в облако.

Теперь Amazon Cloud Technology может успешно запускать высокопроизводительные вычислительные кластеры с десятками тысяч узлов в облаке для обучения больших моделей и обрабатывать в облаке высокопараллельные потоковые приложения в реальном времени. В то время это было трудно себе представить. Вы должны знать, что первый экземпляр EC2 Amazon Cloud Technology имеет основную частоту всего 1,7 ГГц, пропускную способность сети 250 Мбит/с, объем памяти менее 2 ГБ и механический диск объемом всего 160 ГБ.

В первые годы развития бизнеса облачных вычислений Amazon Cloud Technology приходилось решать множество сложных проблем. Что особенно беспокоило команду, так это то, что если в качестве гипервизора виртуализации использовалась настроенная версия Xen, независимо от того, сколько времени было потрачено на оптимизацию кода. , уровень виртуализации всегда будет. Он отнимает ресурсы хоста, а процессоры x86 плохо справляются с обработкой сетевого трафика.

До 2013 года израильская компания по производству чипов Annapurna Labs входила в поле зрения Amazon Cloud Technology. Благодаря сотрудничеству Amazon Cloud Technology впервые реализовала сетевую обработку на аппаратном уровне. Удивительные результаты внедрения заставили Amazon Cloud Technology обратить внимание на этого выдающегося партнера: в январе 2015 года Amazon Cloud Technology объявила о приобретении Annapurna Labs и с тех пор приступила к созданию собственных чипов.

Оглядываясь назад, можно сказать, что это определенно была разумная инвестиция в историю облачных технологий Amazon.

Всего через два года после этой сделки Amazon Cloud Technology анонсировала платформу виртуализации Nitro, которая перекладывает всю безопасность, управление и мониторинг на оборудование, предоставляя клиентам почти 100% вычислительной мощности хоста.

С тех пор облачные вычисления вступили на путь полной физической изоляции бизнеса и инфраструктуры, а инновации в базовой технологии виртуализации и разработка типов серверов верхнего уровня могут осуществляться параллельно.

Это стало ключевым поворотным моментом для инстансов EC2: с 2006 по 2017 год Amazon Cloud Technology перешла от 1 типа инстансов EC2 к 70 типам за 11 лет, а с 2017 по 2023 год количество инстансов EC2 внезапно резко выросло, увеличившись с 1 до 70; 70 типов за 6 лет были разработаны до 750 типов, которые могут обеспечить подходящие вычислительные экземпляры для различных нагрузок.

Опираясь на краеугольный камень успеха Nitro, компания Amazon Cloud Technology разработала три линейки продуктов: сетевые чипы, серверные процессоры, а также чипы для обучения и вывода ИИ: Сетевые чипы Nitro были разработаны до пятого поколения и продолжают оптимизировать производительность сети, производительность хранилища и безопасность. усиление; выпущены четыре поколения и пять моделей Graviton; чип вывода искусственного интеллекта Inferentia и обучающий чип искусственного интеллекта Trainium, которые предоставляют пользователям возможности ускорения искусственного интеллекта, отличные от графических процессоров, предоставляя более экономичные примеры вывода и обучения.

Это позволяет Amazon Cloud Technology сохранять гибкость внутренних комплексных инноваций: начиная с индивидуальных плат и серверов и заканчивая углубленной настройкой микросхем внизу, а затем и горизонтальным расширением собственной территории чипов, Amazon Cloud Technology постепенно будет переход от микросхем и аппаратного обеспечения к программному обеспечению. Интеграция и сотрудничество могут не только повысить рентабельность и надежность бизнеса, но и сформировать его собственную основу конкурентоспособности.

Чипы собственной разработки связаны с серверами хранения собственной разработки Amazon Cloud Technology и высокоскоростными сетевыми системами, что позволяет эффективно соединять между собой больше чипов, тем самым значительно сокращая время вычислений. Благодаря этим инновациям Amazon Cloud Technology может решить одну из самых сложных задач облачных вычислений — искусственный интеллект и машинное обучение.

На недавнем саммите Amazon Cloud Technology в Нью-Йорке компания Amazon Cloud Technology объявила, что 96% единорогов AI/ML ведут свой бизнес с помощью Amazon Cloud Technology, а 90% компаний из списка Forbes AI 50 2024 года выбирают Amazon Cloud Technology. С 2023 года по настоящее время Amazon Cloud Technology официально выпустила 326 функций генеративного ИИ. За тот же период количество официально доступных услуг машинного обучения и генеративного ИИ вдвое превысило количество других поставщиков.

Обширные варианты использования и глубокие технические накопления всегда тесно связаны. Такое ошеломляющее количество вариантов использования ИИ дает Amazon достаточно практических примеров, чтобы предоставить клиентам варианты, которые могут обеспечить максимальную выгоду, а обширная обратная связь с клиентами может стать лучшей движущей силой для разработки ее чипов. Непрерывное развитие чиповых технологий будет поддерживать все более экономически эффективные облачные сервисы и способствовать инклюзивному развитию генеративного искусственного интеллекта.

Вывод: отсутствие чипа — единственное решение для облачных вычислений.

На рынке существует множество вариантов полупроводников, и поставщики облачной инфраструктуры могут сыграть свою роль в том, как объединить их все, чтобы лучше реализовать инновации, начиная от инфраструктуры и заканчивая облачными сервисами.

В отличие от независимых компаний-производителей чипов, цель самостоятельно разработанных чипов Amazon Cloud Technology — не участвовать в рыночной конкуренции, а предоставить своим клиентам «универсальный магазин», который не только предлагает чипы собственной разработки, но и основные продукты, такие как как процессоры Intel и графические процессоры NVIDIA. Заказчик должен выбрать комбинацию продуктов, которая наилучшим образом соответствует его потребностям в рабочих нагрузках, на основе профилей этих экземпляров чипов.

Шестилетняя эволюция Graviton рассказала историю внедрения серверных процессоров Arm. Arm предоставляет Amazon Cloud Technology основу для гибкой настройки процессоров, а Amazon Cloud Technology способствует изменениям на рынке серверных чипов и становится лучшим подтверждением преимуществ Arm по соотношению цены и производительности на рынке центров обработки данных.

Пока у Graviton еще есть возможности для снижения затрат и повышения эффективности, Amazon Cloud Technology может продолжать снижать цены и делиться прибылью, а также возвращать дивиденды от масштаба и технологий облачным клиентам.