новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

с наступлением эры искусственного интеллекта графические процессоры оказались в центре всеобщего внимания.

однако, если вы хотите максимизировать функции обучения ии и вывода графических процессоров, вы также должны полагаться на мощность центра обработки данных. центр обработки данных ии часто оснащен десятками тысяч графических процессоров. мы можем достичь таких вещей, как мощный чат-бот, такой как chatgpt.

однако цена центров обработки данных искусственного интеллекта не является низкой. стоимость строительства в миллиарды долларов не только доступна только технологическим гигантам, но и запрещает многие страны и регионы, которые не сильны по силе.

поскольку с помощью искусственного интеллекта можно делать все больше и больше вещей, геополитическая значимость высокопроизводительных чипов также растет с каждым днем. все больше и больше стран и регионов конкурируют за накопление чипов, а некоторые даже приняли законы, запрещающие некоторым странам и регионам накапливать чипы. регионы от закупки самых современных чипов под санкциями.но до сих пор наблюдалось удивительное отсутствие общедоступных данных о точном местонахождении чипов искусственного интеллекта по всему миру.

профессор вили лехдонвирта из института интернета оксфордского университета раскрыл реальность, которую нельзя игнорировать: графические процессоры высоко сконцентрированы всего лишь в 30 странах и регионах по всему миру, из которых сша и китай находятся далеко впереди, а большинство областей находятся в такой ситуации. называемые «вычислительные пустыни»: графических процессоров в аренду вообще нет.

как исследовать распределения

глобальную цепочку поставок ии-вычислений можно условно разделить на четыре части:

компании, которые разрабатывают и продают графические процессоры и другие чипы, связанные с искусственным интеллектом.

компании, производящие и упаковывающие чипы

компании, внедряющие чипы для обеспечения вычислительной мощности

компании, которые затрачивают вычислительные мощности на разработку или внедрение систем искусственного интеллекта.

лидером рынка в разработке и продажах графических процессоров является американская компания nvidia, в производстве чипов доминирует тайваньская компания taiwan semiconductor manufacturing co., ltd. (tsmc), а нидерландская asml в настоящее время является единственной компанией, производящей литографические машины, необходимые для производства. современные чипы имеют решающее значение (miller 2022). в результате эти части цепочки поставок вычислительной техники имеют высокую концентрацию как с точки зрения географии, так и с точки зрения собственности.

это исследование посвящено третьему этапу цепочки поставок: где в мире используются чипы для обеспечения вычислений ии для разработки и внедрения ии, то есть для обучения моделей ии и выполнения выводов на основе существующих моделей. в целом существует три категории поставщиков крупномасштабных вычислений: научные суперкомпьютерные мощности, частные вычислительные кластеры и так называемые поставщики общедоступных облачных вычислений.

научные суперкомпьютерные мощности существуют с начала 1960-х годов, обычно финансируются правительствами и используются в основном в академических и военных целях. в исследовании оэср (2023 г.) был проведен простой географический анализ научных суперкомпьютерных мощностей. согласно базе данных top500, наибольшее количество суперкомпьютеров имеет китай (32%), за ним следуют сша (25%) и европейский союз (21%); однако большинство научных суперкомпьютеров не предназначены для обучения моделей ии (оэср, 2023 г.). текущее процветание разработки генеративного искусственного интеллекта в основном зависит от частных вычислительных кластеров и общедоступных облачных вычислений. предыдущие исследования не анализировали подробно их географическое распространение.

частные вычислительные кластеры принадлежат коммерческим компаниям, таким как meta, hp и многим более мелким компаниям. эти кластеры состоят из компьютеров, подключенных к графическому процессору, развернутых в центрах обработки данных. частный кластер может быть использован для разработки ии компанией или сдан в аренду другим компаниям. поставщики общедоступных облачных вычислений также являются коммерческими компаниями. их называют «общественными» не из-за того, что они имеют какое-то отношение к правительству, а потому, что их услуги предоставляются по требованию и распределяются между несколькими клиентами (т.е. аналогично значению слова «общественные» в таверне, а не общественному отделу «общественный»). . лидерами рынка общедоступных облачных вычислений являются aws, microsoft azure и google cloud; китайские поставщики общедоступных облаков alibaba и tencent также предоставляют крупномасштабные вычисления с использованием искусственного интеллекта. этих крупных поставщиков часто называют «поставщиками гипермасштабных вычислений».

это исследование в основном сосредоточено на географическом распределении общедоступных облачных вычислений с использованием искусственного интеллекта. частные вычислительные кластеры использовались для обучения некоторых знаковых моделей, таких как llama от meta и llama 2. но обучение и разработка большого количества передовых моделей ии сосредоточены у поставщиков гипермасштабируемых общедоступных облаков google, microsoft и amazon, а также в их «вычислительных партнерствах» с ведущими компаниями ии, такими как anthropic, cohere, google deepmind, hugging. face, openai и stability ai. публичное облако важно еще и потому, что оно открыто для самых разных разработчиков, включая научных исследователей. поэтому наш главный исследовательский вопрос: каково географическое распределение общедоступных облачных вычислений ии по всему миру? мы также изучим потенциальные причины такого географического разброса, обсудим их последствия для управления компьютерными технологиями и геополитики и завершим кратким обсуждением частных кластеров и государственных национальных вычислений с использованием искусственного интеллекта.

исследование охватывает шесть крупнейших поставщиков гипермасштабируемых публичных облаков: aws, microsoft, google, alibaba, huawei и tencent. хотя существует ряд более мелких поставщиков, на эти шесть приходится большая часть мирового рынка общедоступных облаков, а также лидируют на различных региональных рынках. на момент проведения переписи самым мощным графическим процессором для обучения распространенных моделей искусственного интеллекта был h100 от nvidia, выпущенный в 2023 году, предыдущая флагманская модель a100 была выпущена в 2020 году, а v100 — ранее в 2017 году. в 2023 году nvidia представила h800 и a800, чтобы обойти ограничения на экспорт из сша в китай, но эти ограничения были быстро распространены на эти новые модели. сбор данных был сосредоточен на этих пяти типах графических процессоров, наиболее важных для искусственного интеллекта.

на основе базы данных переписи в ходе исследования был создан набор данных на уровне страны, позволяющий провести географический анализ.для каждой страны было подсчитано общее количество регионов публичного облака на ее территории, а также подмножество регионов, поддерживающих хотя бы один тип графического процессора («регионы с поддержкой графического процессора»), и подмножество регионов, поддерживающих конкретный графический процессор. тип.

в дополнение к данным переписи облаков в ходе исследования были проведены качественные и полуструктурированные экспертные интервью. мы опросили в общей сложности 10 информаторов, представляющих двух экспертов по политике, трех экспертов по поставщикам гипермасштабных общедоступных облаков и пяти экспертов-исследователей, имеющих опыт в области вычислений на базе искусственного интеллекта. эти информаторы были набраны методом снежного кома через нашу собственную профессиональную сеть. основные цели этих интервью — улучшить и проверить методологию переписи, получить дополнительную или альтернативную информацию о географическом распределении общедоступных облачных вычислений с использованием искусственного интеллекта, а также помочь объяснить наблюдаемые географические закономерности.

где графические процессоры искусственного интеллекта?

на рисунке 1 показано приблизительное расположение областей публичного облака, обнаруженных в ходе переписи. в таблице 4 показано, сколько облачных регионов существует в каждой стране и сколько из этих регионов предлагают экземпляры графических процессоров. с точки зрения управления вычислениями, одной из наиболее важных характеристик данных является то, что в подавляющем большинстве стран мира вообще нет регионов публичного облака. из 39 стран с одним или несколькими облачными регионами в 30 есть облачные регионы, поддерживающие графические процессоры.

еще одна поразительная особенность заключается в том, что даже в тех странах, где есть облачные регионы с поддержкой графических процессоров, географическое распределение регионов сильно поляризовано:в китае и сша вместе взятых почти столько же регионов (49), сколько в остальном мире вместе взятом (52). из этих двух стран общее количество регионов поддержки графических процессоров в китае немного выше (27), чем в сша (22).

дальнейший анализ можно провести, изучив типы экземпляров графических процессоров, предлагаемых в каждой стране. наиболее очевидная закономерность заключается в том, что в соединенных штатах имеются новейшие и самые мощные в мире графические процессоры не только по соотношению доступных экземпляров различных типов, но и по простому количеству. соединенные штаты — единственная страна, где графический процессор nvidia a100 2020 года доступен в большем количестве регионов, чем графический процессор v100 2017 года. в сша также есть несколько регионов, предлагающих графический процессор nvidia h100 2023 года. облачные регионы в китае в основном основаны на v100, а в некоторых регионах есть экземпляры a100. h100 недоступен ни в одном регионе китая. только 15 стран в остальном мире предлагают a100, только одна страна предлагает h100, а остальные регионы основаны исключительно на v100.

в этом анализе не учитываются специальные чипы ускорения (например, tpu), а также различия в количестве графических процессоров, доступных в разных регионах. информанты интервью отметили, что количество однотипных графических процессоров, доступных в разных регионах, может существенно различаться между регионами и поставщиками. один из информаторов отметил: «поставщики гипермасштабных облачных услуг почти производят впечатление всемогущих с точки зрения вычислений и хранения данных и способны справиться с любой проблемой, которую вы им поставите. но в некоторых случаях это не совсем так». количество графических процессоров, доступных в регионе, может быть очень ограниченным, в результате чего только ограниченное число клиентов смогут запускать экземпляры графических процессоров в этом регионе или смогут обучать модели меньшего масштаба за разумный промежуток времени.

в настоящее время считается, что aws и microsoft обладают крупнейшими облачными кластерами графических процессоров, но «в этом отношении между регионами определенно существуют различия».однако количество графических процессоров и их распределение в регионе провайдера считается строго конфиденциальной информацией провайдерами гипермасштабируемых облаков. ни один из наших поставщиков информации не хотел и не мог предоставить конкретные данные или указать, как эта информация может быть публично получена. но обычно считается, что количество графических процессоров в сша может быть намного больше, чем в других регионах мира с аналогичными графическими процессорами. в китайском регионе также может быть больше чипов v100, чтобы компенсировать его относительно низкую производительность. наши интервью показывают, что даже если бы количество графических процессоров в каждом регионе можно было включить в этот анализ, это могло бы не бросить вызов доминирующим закономерностям, описанным выше, а, скорее, усилить их.

почему стоит сосредоточиться на сша?

что стоит за лидерством сша в области передовых общедоступных облачных вычислений с использованием искусственного интеллекта по сравнению с китаем и другими странами? одним из очевидных объяснений является экспортный контроль правительства сша, который запрещает экспорт чипов a100 и h100 в китай. китайские поставщики облачных услуг смогут импортировать некоторые чипы a100 до вступления в силу экспортного контроля в 2023 году, но h100 подвергается экспортному контролю с момента выпуска продукта. аналогичным образом, чипы h800 и a800 были помещены под экспортный контроль вскоре после их запуска. v100, который гораздо менее мощный, чем эти чипы, является наиболее распространенным типом экземпляров графического процессора nvidia в китае, поскольку на него не распространяется экспортный контроль.

однако экспортный контроль не может объяснить, почему другие страны, помимо китая, в основном используют старые графические процессоры. возможны несколько объяснений. простое объяснение — это проблема распространения инноваций, которая относится к процессу распространения графических процессоров на рынке. новые графические процессоры, вероятно, будут установлены в первую очередь в соединенных штатах, где nvidia имеет самую сильную дистрибьюторскую сеть, поскольку ее штаб-квартира находится в соединенных штатах. со временем передовые графические процессоры должны постепенно распространиться на относительно отдаленные рынки. «я предполагаю, что почти все графические процессоры изначально были отправлены в регион северной америки, но теперь в европе также должен быть значительный кластер», — предположил один из информаторов.

еще одно потенциальное объяснение лидерства сша в области облачных вычислений связано с географическими различиями в первоначальной структуре спроса, которые в сочетании с экономией от масштаба создают своего рода «зависимость от пути», которая поддерживает концентрацию ии-вычислений в определенных географических областях. один информант пояснил:«очень мало покупателей облачных технологий, которые на самом деле занимаются революционными разработками в области искусственного интеллекта… поэтому нет необходимости распространять возможности… вам нужно несколько суперкластеров, чтобы сформировать критическую массу вычислительной мощности в определенных местах, в этом нет необходимости». воспроизвести эту возможность повсюду».

первые компании и исследователи, сосредоточившиеся на крупномасштабном обучении моделям ии, появились в сша, поэтому провайдеры облачных вычислений сосредоточили там свои самые мощные вычислительные мощности для обучения. но даже несмотря на то, что спрос на вычисления растет в других частях мира, это не обязательно приводит к соответствующему росту локальной вычислительной инфраструктуры, поскольку разработчики часто могут отправлять учебные задачи в облачные регионы сша без значительных потерь производительности. таким образом, первоначальное лидерство сша в сфере компьютерных технологий было сохранено.

информанты полагают, что ситуация с вычислительными мощностями, используемыми для развертывания ии, иная. во многих случаях использования ии, таких как голосовые помощники, на работу пользователя может влиять задержка, если расстояние между пользователем и сервером слишком велико. затраты на передачу данных также могут стать проблемой бизнеса. поэтому такие приложения лучше всего развертывать в вычислительной инфраструктуре ближе к пользователям. это также объясняет, почему чипы v100, которые недостаточно мощны для обучения, но все же подходят для задач вывода, несмотря на то, что они медленнее, распределены по миру более равномерно, чем более продвинутые чипы.

однако есть несколько исключений, которые не вписываются в общую картину наличия в сша самых передовых графических процессоров.япония, великобритания и франция имеют такое же количество зон поддержки a100, как и зоны поддержки v100. в каждой из этих стран ведется значительная местная деятельность по разработке искусственного интеллекта.могут существовать нормативные или политические барьеры, которые не позволяют местным разработчикам отправлять данные в сша для обучения. один информант отметил: «в настоящее время есть государственный сектор или важные европейские игроки, которым необходимо обучать модели уровня gpt-4 данными, которые не могут покинуть европу… если провайдеры гипермасштабных облаков не отреагируют на этот спрос, я буду удивлен».

в этом контексте информаторы упомянули политические дискуссии по вопросам «цифрового суверенитета», «суверенитета данных» и «вычислительного суверенитета», которые могут создать повышенную потребность в локальных обучающих вычислениях. нидерланды и ирландия также имеют небольшие, но относительно продвинутые линейки графических процессоров. это может быть связано со стратегическим положением этих стран как инфраструктурных центров для некоторых провайдеров гипермасштабируемых облаков. примечательно, что нидерланды — единственная страна за пределами сша, где есть облачный регион с графическими процессорами h100.

глобальное распространение частных и государственных вычислений

данное исследование посвящено общедоступным облачным вычислениям — важному, но не единственному источнику вычислений. в области общедоступных облачных вычислений наш сбор данных сосредоточен на графических процессорах nvidia и шести ведущих поставщиках гипермасштабируемых облачных услуг.

изменится ли относительное положение различных типов поставщиков крупномасштабных вычислений, бросая вызов наблюдаемой в настоящее время географии вычислений? кластеры графических процессоров представляют собой дорогостоящие капитальные товары, которые требуют высокой степени использования для достижения разумной рентабельности инвестиций. это объясняет, почему крупномасштабные кластеры в первую очередь создаются как общая инфраструктура, будь то государственная (например, научные суперкомпьютеры) или, в последние годы, частные (например, общедоступные облака). ). государственные компьютеры, похоже, в небольших масштабах возвращаются по всему миру в форме национальной инициативы в области вычислений искусственного интеллекта. например, рабочая группа национальных ресурсов искусственного интеллекта (nair) в сша стремится создать общедоступную вычислительную инфраструктуру для «демократизации исследований в области искусственного интеллекта». однако во многих случаях масштаб государственных инвестиций оказывается недостаточным, чтобы по-настоящему бросить вызов доминированию. статус многих поставщиков гипермасштабных облачных услуг.

новый суперкомпьютер lumi европейского консорциума высокопроизводительных вычислений представляет собой контрпример.компания lumi, расположенная в каяани, финляндия, была создана в сотрудничестве с правительствами стран-членов ес и состоит из кластера из 11 912 графических процессоров, разработанных amd, конкурентом nvidia. его масштаб может сделать его серьезной альтернативой частной «публичной» инфраструктуре облачных вычислений для инфраструктуры разработки искусственного интеллекта. учитывая его расположение в ес, он не бросает вызов вычислительному разрыву между севером и югом, показанному на рисунке 2. однако это может помочь разрушить биполярный имидж сша и китая как единственных сверхдержав в области искусственного интеллекта.

также растут новые частные вычислительные кластеры. на tpu google может приходиться значительная часть вычислений с использованием искусственного интеллекта. aws и microsoft планируют производить свои собственные чипы. meta объявляет о масштабных инвестициях в создание частных вычислительных мощностей: генеральный директор марк цукерберг утверждает, что инвестирует 340 000 единиц nvidia h100 и a100. в 2023 году microsoft утверждает, что потратит сотни миллионов долларов на поддержку чат-бота chatgpt от openai. крупные технологические компании могут добиться высокой степени использования крупномасштабных кластеров, основываясь исключительно на своих внутренних и партнерских потребностях. но кластеры, первоначально развернутые как частные, могут перейти к общей облачной инфраструктуре по мере уменьшения внутренних потребностей.это стирает разницу между частными и общественными (например, общественными) возможностями облачных вычислений.

пробел в компьютерных технологиях искусственного интеллекта

управление ии посредством вычислений — мощная идея, поскольку вычисления состоят из большой наблюдаемой физической инфраструктуры. эти инфраструктуры должны где-то физически располагаться и, следовательно, подлежат территориальной юрисдикции, которая является наиболее осуществимой формой юрисдикции для всех государств, больших и малых. однако исследования показывают, что вычислительная инфраструктура распределена по всему миру неравномерно, и ее географическое распределение во многом определяет вероятность того, что разные страны будут использовать компьютеры в качестве точки вмешательства для ии.

исследование возрождает знакомую идею о двух сверхдержавах в сфере искусственного интеллекта, вовлеченных в компьютерную «гонку вооружений», при этом соединенные штаты имеют преимущество в качестве чипов, а китай пытается преодолеть разрыв за счет количества.ограничения сша на экспорт передовых графических процессоров, похоже, сыграли свою роль, поскольку ни один поставщик общедоступных облаков не предлагает в китае чипы h100 2023 года, а также h800 или a800, которые были разработаны для обхода этих ограничений. аналогичным образом, россия и иран, две страны, находящиеся под западными санкциями, не имеют в нашей выборке каких-либо публичных облачных вычислительных мощностей для искусственного интеллекта.

однако, помимо перспективы геополитической конкуренции великих держав, исследования также предлагают другие концептуальные категории, связанные с управлением ии на основе компьютеров. помимо сша и китая, еще в 15 странах есть графические процессоры, которые наиболее важны для развития искусственного интеллекта, а именно a100 и h100. все эти страны первого уровня, за исключением индии, расположены на так называемом «глобальном севере». по аналогии назовем их «вычисляющими север». эти компьютерные страны севера могут использовать свою территориальную юрисдикцию для вмешательства в разработку ии, особенно когда модели отправляются в их местные регионы публичного облака для обучения. например, они могут влиять на типы систем искусственного интеллекта, которые выходят на глобальные рынки, требуя, чтобы алгоритмы и наборы данных прошли аудит и были сертифицированы на соответствие местным правилам, прежде чем можно будет начать обучение.

второй уровень включает 13 стран, чьи вычислительные мощности больше подходят для развертывания систем искусственного интеллекта, чем для их развития. за исключением швейцарии, все эти страны расположены на глобальном юге, отсюда и термин «вычислительный юг». например, в латинской америке есть пять облачных регионов с поддержкой графических процессоров, но ни один из них не имеет более мощного графического процессора, чем v100, выпущенный в 2017 году. эти страны могут использовать свою территориальную юрисдикцию в отношении вычислений, чтобы контролировать, какие системы ии могут быть развернуты локально, но имеют меньшее влияние на развитие систем ии.

помимо «вычислительного севера» и «вычислительного юга», существует также «вычислительная пустыня», термин, используемый для обозначения всех стран в мире, в которых нет общедоступных облачных вычислений ии (либо для обучения, либо для развертывания). ).для этих стран переход к облачным сервисам искусственного интеллекта означает полагаться на инфраструктуру, разработанную и развернутую в иностранных юрисдикциях. вычислительные пустыни включают в себя некоторые богатые страны, а также все страны с доходом ниже среднего и низким уровнем дохода, классифицированные международным валютным фондом (мвф). расчет воздействия на пустынные страны может варьироваться в зависимости от того, насколько они богаты. богатые страны в пустыне, возможно, смогут использовать другие свои преимущества, такие как дипломатическое влияние на компьютерный север и богатство, достаточное для наращивания государственных вычислительных мощностей, чтобы компенсировать недостаток локальных общедоступных облачных вычислений ии, но компьютерные пустыни у бедных стран мало шансов повлиять на ии посредством компьютерного управления.

подобно тому, как исследователи наблюдали «вычислительный разрыв» между академическими кругами и промышленностью, в исследовании также наблюдался глобальный разрыв в компьютерных технологиях, а географическое распределение публичных облачных вычислений с использованием искусственного интеллекта, по-видимому, воспроизводит знакомые модели глобального неравенства. начиная с середины 1990-х годов, дискуссии о цифровизации предполагали, что успешный вход в новую глобальную «экономику знаний» будет основан на нематериальных активах, таких как знания и творчество, а не на материальных активах и ресурсах, необходимых в эпоху индустриальной экономики. это означает, что развивающиеся страны могут отказаться от дорогостоящих инвестиций в инфраструктуру и сразу перейти к экономике, основанной на знаниях. однако сегодняшняя дискуссия об искусственном интеллекте еще раз подчеркнула решающую роль физической инфраструктуры, такой как заводы по производству микросхем, центры обработки данных и энергетические сети, в национальной конкурентоспособности. если компьютеры станут ключевым узлом управления, то эти физические инфраструктуры также могут оказаться решающими для поддержания независимых регулирующих полномочий (lehdonvirta 2023). таким образом, вычислительная мощность страны также в некоторой степени приравнивается к ее политической мощи.

изменится ли это? если концентрация высокопроизводительных ии-вычислений в сша и на «вычислительном севере» вызвана просто разногласиями в распространении инноваций, то со временем мир может постепенно наводниться вычислительными мощностями, сокращая этот разрыв. конкуренты nvidia, такие как amd и intel, догоняют конкурентов по производительности чипов. китайские производители также разрабатывают чипы для обработки искусственного интеллекта, и из-за экспортного контроля в сша на них существует огромный внутренний спрос. в сочетании с государственной поддержкой этот разрыв может постепенно увеличиваться.

однако если наблюдаемые географические закономерности объясняются скорее зависимостью от пути развития, возникающей в результате преимуществ первопроходца и эффекта масштаба, тогда географическая концентрация, региональная специализация и международное разделение труда могут стать устойчивыми чертами компьютерного производства, как и во многих других сферах. отрасли то же самое.

напиши в конце

у кого больше всего графических процессоров? ответ на этот вопрос вроде бы готов, но за этим вопросом по сути стоит неравномерное распределение вычислительных мощностей. как исправить дисбаланс вычислительных мощностей и позволить большему количеству людей в компьютерных пустынях насладиться удобством, предоставляемым ии, вероятно, будет трудно решить в ближайшее время.