Новости

Маск использует 100 000 H100 для создания самого мощного в мире суперкомпьютера искусственного интеллекта, и начинается обучение моделей следующего поколения

2024-07-23

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Минмин родом из храма Аофэй.
Кубиты | Публичный аккаунт QbitAI

Маск построил самый мощный в мире кластер искусственного интеллекта!

Взрывную новость официально сообщил сам Лао Ма в Твиттере.

В 4:20 утра по местному времени суперкластер Мемфис, созданный совместно xAI, X и NVIDIA, начал обучение.
это состоит изСостоит из 100 000 штук H100., на данный момент является сильнейшим тренировочным кластером в мире!



По своим масштабам он намного превзошел Frontier, самый мощный суперкомпьютер в мире.

Далее члены-основатели xAI заявили:

Когда мы основали эту компанию год назад, нашей целью было достижение трех преимуществ: преимущество в данных, преимущество в талантах и ​​преимущество в вычислительной технике.
С сегодняшнего дня у нас есть все три!



Под постом Маска поздравления также прислала компания Supermicro, которая имеет тесные связи с Nvidia и специализируется на технологиях жидкостного охлаждения. Ее основатель Чарльз Лян сказал:

Замечательно, что мы творим историю вместе с Маском.



При этом Маск добавил, что завершение строительства кластера даст значительные преимущества для обучения сильнейшей модели мира в течение этого года.



Согласно предыдущим заявлениям, для обучения «Грок-3» необходимо 100 000 H100.



△Кластерный снимок сверху

Более того, в июне этого года он упомянул, что вкладывать 1 ГВт мощности в H100 не стоит. Летом следующего года может быть введен в эксплуатацию кластер, состоящий из 300 000 B200.



Самостоятельно построенные кластеры более уверены в себе

В мае этого года издание The Information сообщило, что Маск к осени 2025 года построит суперкомпьютерный кластер из 100 000 H100 и будет сотрудничать с Oracle.

Сообщается, что xAI инвестирует $10 млрд в аренду серверов Oracle.

В то время некоторые люди все еще задавались вопросом, почему он будет построен в следующем году, но при этом будет использоваться технология предыдущего поколения?

NVIDIA выпустила B100 и B200 на основе новой архитектуры Blackwell, которая позволяет обучать большие модели гораздо эффективнее, чем H100.

Глядя на это сейчас, может быть, время в новостях неправильное? Было бы гораздо разумнее, если бы его завершили в этом году.



Буквально недавно Маск отреагировал на новость о прекращении сотрудничества с Oracle по созданию суперкомпьютерных кластеров.

Он рассказал, что xAI получила от Oracle 24 000 ресурсов H100 для обучения Grok-2. Соответствующие новости свидетельствуют о том, что сотрудничество по аренде серверов между xAI и Oracle все еще продолжается.

Однако при создании кластера H100 на 100 000 карт мы выбрали самодельную модель и продвигали ее как можно быстрее. Говорят, что установка 100 000 карт заняла всего 19 дней.

Мы должны сами сесть за руль.



Более поздние новости показали, что новыми партнерами Маска стали Dell и Super Micro.

Генеральный директор Dell и генеральный директор Supermicro недавно написали в Твиттере, что сотрудничество продолжается, и приложили фотографии центра обработки данных.



В процессе строительства кластера Маск лично посетил объект.

В то же время в Твиттере также стало известно, что Грок тренируется в Мемфисе, а запуск «Грок-2» состоится в августе.



Стоит отметить, что ранее Oracle выражала обеспокоенность по поводу электроснабжения в месте, где был установлен кластер.

По оценкам, 100 000 единиц H100 требуют 150 мегаватт мощности, выделяемой из сети, но Маск, похоже, решил эту проблему.

Последние новости показывают, что нынешний кластер временно получил мощность 8 мегаватт. После подписания соглашения 1 августа будет получено 50 МВт. Сейчас в сети находится 32 000 карточек, и в четвертом квартале они будут онлайн на 100% — этого достаточно для поддержки операций по обучению моделей в масштабе GPT-5.



Короче говоря, несомненно то, что все гиганты искусственного интеллекта считают, что надежнее держать вычислительные мощности в своих руках, и на это стоит тратить сумасшедшие деньги.

Согласно сметам, цена каждого Н100 составляет около 30 000–40 000 долларов США. Суперкомпьютерный кластер Маска будет стоить 4 миллиарда долларов США (что эквивалентно более чем 29 миллиардам юаней).

Ранее сообщалось, что Microsoft и OpenAI разрабатывают проект центра обработки данных стоимостью 100 миллиардов долларов США под названием «Звездные врата».

По словам людей, знакомых с ситуацией, между Oracle и Microsoft заключается сделка на 100 000 B200. Кластер может быть готов к следующему лету.

Кроме того, у Meta также есть роскошные суперкомпьютерные кластеры, а поставщики облачных технологий, такие как AWS, также вкладывают больше средств в центры обработки данных.

Использованная литература:
[1]https://x.com/elonmusk/status/1810727394631950752
[2]https://x.com/elonmusk/status/1815325410667749760
[3]https://x.com/dylan522p/status/1815494840152662170
[4]https://x.com/MichaelDell/status/1803385185984974941