Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Статья перепечатана в Синьчжиюань.

Чтобы обучить сильнейшего Grok 3, xAI потратила 19 дней на создание крупнейшего в мире суперкомпьютерного кластера, состоящего из 100 000 H100.

Что касается обучения роботов FSD и Optimus Prime, Маск также не пожалел денег и вложил немало вычислительных ресурсов.

Supercomputing Dojo является краеугольным камнем Tesla AI и специально создан для обучения нейронных сетей FSD.

Буквально сегодня он посетил суперкомпьютерный кластер Теслы на Техасской суперфабрике (Cortex).

Маск сказал: «Это будет система, содержащая около 100 000 графических процессоров H100/H200 и оснащенная большим хранилищем для видеообучения полностью автономному вождению (FSD) и роботов Optimus».

Мало того, что помимо графических процессоров NVIDIA этот суперкомпьютерный кластер также оснащен системами Tesla HW4, AI5 и Dojo.

Они будут питаться и охлаждаться большой системой мощностью до 500 мегаватт.

На Tesla AI Day в 2021 году Маск впервые анонсировал Dojo.

Прошло три года, как продвигается строительство Додзё?

1

Вычислительная мощность, эквивалентная 8000 H100, удвойте свою ставку

Полмесяца назад пользователи сети заявили, что к концу 2024 года у Tesla будет вычислительная мощность для обучения искусственному интеллекту, эквивалентная производительности H100 стоимостью 90 000 юаней.

Маск добавил к этому кое-что:

В системе обучения ИИ мы используем не только графические процессоры NVIDIA, но и собственный ИИ-компьютер — Tesla HW4 AI (переименованный в AI4) с соотношением примерно 1:2. Это означает, что существует около 90 000 H100 плюс примерно 40 000 компьютеров AI4.

Он также упомянул, что к концу этого года Dojo 1 будет иметь около 8000 вычислительных мощностей, эквивалентных H100. Масштаб этот не огромен, но и не мал.

Суперкомпьютерный кластер Dojo D1

Фактически, в июне прошлого года Маск сообщил, что Dojo был онлайн и выполнял полезные задачи в течение нескольких месяцев.

Это уже подразумевает, что Додзё участвовало в обучении некоторым задачам.

Недавно на конференции о доходах Tesla Маск заявил, что Tesla готовится запустить беспилотные такси в октябре, а команда искусственного интеллекта «удвоит инвестиции» в Dojo.

Ожидается, что общая вычислительная мощность Dojo достигнет 100 эксафлопс в октябре 2024 года.

Если предположить, что чип D1 может достигать 362 терафлопс, то для достижения 100 эксафлопс Tesla потребуется более 276 000 чипов D1 или более 320 000 графических процессоров Nvidia A100.

1

50 миллиардов транзисторов, D1 запущен в производство

На Tesla AI Day в 2021 году впервые был представлен чип D1. Он содержит 50 миллиардов транзисторов и имеет размер всего ладонь.

Он обладает мощной и эффективной производительностью и может быстро решать различные сложные задачи.

В мае этого года началось производство чипа D1 с использованием 7-нм технологического процесса TSMC.

Ганеш Венкатараманан, бывший старший директор по аппаратному обеспечению Autopilot, однажды сказал: «D1 может одновременно выполнять вычисления и передачу данных, использует индивидуальную архитектуру набора команд ISA и полностью оптимизирован для рабочих нагрузок машинного обучения».

Это чистый чип машинного обучения.

Несмотря на это, D1 все еще не такой мощный, как Nvidia A100, который также производится по 7-нм техпроцессу TSMC.

D1 размещает 50 миллиардов транзисторов на кристалле площадью 645 квадратных миллиметров, тогда как A100 содержит 54 миллиарда транзисторов, имеет размер чипа 826 квадратных миллиметров и опережает D1 по производительности.

Чтобы получить более высокую пропускную способность и вычислительную мощность, команда Tesla AI объединила 25 чипов D1 в одну плитку и использовала ее как единую компьютерную систему.

Каждый тайл имеет 9 петафлопс вычислительной мощности, пропускную способность 36 терабайт в секунду и включает в себя оборудование для питания, охлаждения и передачи данных.

Мы можем представить одну плитку как самодостаточный компьютер, состоящий из 25 миникомпьютеров.

Используя технологию межсоединений на уровне пластины InFO_SoW (Integrated Fan-Out, System-on-Wafer), 25 чипов D1 на одной пластине могут обеспечить высокопроизводительные соединения и работать как один процессор.

Шесть таких плиток образуют стеллаж, а две стойки образуют шкаф.

Десять шкафов составляют ExaPOD.

На AI Day 2022 Tesla заявила, что Dojo будет масштабироваться за счет развертывания нескольких ExaPOD. Все это вместе составляет суперкомпьютер.

Процессоры пластинчатого масштаба, такие как Dojo от Tesla и Wafer-Scale Engine WSE от Cerebras, гораздо более эффективны в производительности, чем мультипроцессоры.

Ключевые преимущества первого включают высокую пропускную способность и низкую задержку связи между ядрами, более низкий импеданс сети и большую энергоэффективность.

В настоящее время только Tesla и Cerebras имеют конструкции системы на пластине.

Однако объединение 25 чипов создает проблемы с напряжением и системами охлаждения.

Пользователи сети сфотографировали Tesla, строящую гигантскую систему охлаждения в Техасе

Неотъемлемой проблемой чипов уровня пластин является то, что они должны использовать встроенную память, которая недостаточно гибка и может не подходить для всех типов приложений.

Tom's Hardware прогнозирует, что технологией следующего поколения может стать CoW_SoW (Chip-on-Wafer), которая выполняет 3D-укладку плиток и интегрирует память HBM4.

Кроме того, Tesla также разрабатывает чип D2 следующего поколения, чтобы решить проблему потока информации.

Вместо того, чтобы соединять отдельные чипы, D2 помещает всю плитку Dojo на одну кремниевую пластину.

Ожидается, что к 2027 году TSMC предоставит более сложные системы уровня пластин, а вычислительная мощность увеличится более чем в 40 раз.

С момента выпуска D1 Tesla не раскрывала ни статус заказа чипов D1, которые она заказала или ожидает получить, ни конкретный график развертывания суперкомпьютера Dojo.

Однако в июне этого года Маск заявил, что в ближайшие 18 месяцев будет развернута половина оборудования Tesla AI, а другая половина будет Nvidia/другим оборудованием.

Другое оборудование, возможно AMD.

1

Зачем нужно Додзё

Автономное вождение потребляет вычислительную мощность

По нашему мнению, основной бизнес Tesla ограничивается производством электромобилей с некоторыми дополнительными солнечными панелями и системами хранения энергии.

Но Маск ожидает от Tesla гораздо большего.

Большинство беспилотных систем, таких как Waymo, дочерняя компания Alphabet, материнской компании Google, по-прежнему полагаются на традиционные датчики в качестве входных данных, такие как радар, лидар и камеры.

Но Tesla выбирает путь «полного видения». Они полагаются только на камеры для захвата визуальных данных, дополняют их картами высокого разрешения для позиционирования, а затем используют нейронные сети для обработки данных для быстрого принятия решений по автономному вождению.

Интуитивно очевидно, что первый путь — более простой и быстрый путь, и это действительно так.

Waymo коммерциализировала автономное вождение L4, то есть систему, которая может двигаться самостоятельно без вмешательства человека при определенных условиях, определенных SAE. Но нейронная сеть Tesla FSD (Full Self-Driving) до сих пор не может быть отделена от деятельности человека.

Андрей Карпати, который когда-то занимал должность руководителя отдела искусственного интеллекта в Tesla, сказал, что внедрение FSD — это, по сути, «создание искусственного животного с нуля».

Мы можем думать об этом как о цифровой копии функций зрительной коры и мозга человека. FSD не только должен непрерывно собирать и обрабатывать визуальные данные, идентифицировать и классифицировать объекты вокруг автомобиля, но также должен иметь скорость принятия решений, сравнимую с человеческой.

Видно, что Маск хочет чего-то большего, чем просто прибыльная система автономного вождения. Его цель — создать новый интеллект.

Но, к счастью, ему не стоит беспокоиться о недостаточности данных. Около 1,8 миллиона человек в настоящее время платят за подписку на FSD 8000 долларов (ранее она могла составлять 15 000 долларов), что означает, что Tesla может собирать миллионы миль видео о вождении для обучения.

С точки зрения вычислительной мощности суперкомпьютер Dojo является тренировочной площадкой для FSD. Его китайское название можно перевести как «додзё», что является отсылкой к месту для занятий боевыми искусствами.

NVIDIA недостаточно хороша

Насколько популярны графические процессоры NVIDIA? Просто посмотрите, как сильно руководители крупных технологических гигантов хотят сблизиться со старыми гангстерами.

Даже будучи таким богатым, как Маск, во время июльского отчета о финансовых результатах он признался, что «очень обеспокоен» тем, что Tesla, возможно, не сможет использовать достаточное количество графических процессоров Nvidia.

«Мы видим, что спрос на оборудование Nvidia настолько высок, что зачастую трудно приобрести графические процессоры».

В настоящее время Tesla, похоже, по-прежнему использует оборудование Nvidia для обеспечения вычислительной мощности Dojo, но Маск, похоже, не хочет складывать все яйца в одну корзину.

Особенно если учесть, что премиальность чипов Nvidia настолько высока, а производительность не полностью удовлетворяет Маска.

Что касается синергии аппаратного и программного обеспечения, Tesla и Apple придерживаются схожих взглядов, то есть должна быть достигнута высокая степень синергии между ними, особенно для узкоспециализированной системы, такой как FSD, которая должна избавиться от высоко стандартизированных графических процессоров и использовать индивидуальное оборудование.

В основе этого видения лежит запатентованный чип Tesla D1, который будет выпущен в 2021 году и будет произведен TSMC в мае этого года.

Кроме того, Tesla также разрабатывает чип D2 следующего поколения, надеясь поместить весь блок Dojo на один кремниевый чип, чтобы устранить узкое место в потоке информации.

В отчете о доходах за второй квартал Маск отметил, что видит «еще один способ конкурировать с Nvidia через Dojo».

1

Сможет ли Додзё добиться успеха?

Даже если он так же уверен в себе, как Маск, говоря о Додзё, он не решается сказать, что Тесла может потерпеть неудачу.

В долгосрочной перспективе разработка собственного суперкомпьютерного оборудования может открыть новые бизнес-модели для сектора искусственного интеллекта.

Маск сказал, что первая версия Dojo будет адаптирована для аннотирования и обучения визуальных данных Tesla, что будет очень полезно для FSD и обучения гуманоидного робота Tesla Optimus.

Будущие версии будут больше подходить для общего обучения искусственному интеллекту, но это неизбежно будет связано с программным обеспечением Nvidia.

Почти все программное обеспечение для искусственного интеллекта предназначено для работы с графическими процессорами NVIDIA, а использование Dojo означает переписывание всей экосистемы искусственного интеллекта, включая CUDA и PyTorch.

Это значит, что у Dojo практически один выход — арендовать вычислительные мощности и построить платформу облачных вычислений, подобную AWS и Azure.

В своем отчете в сентябре прошлого года Morgan Stanley предсказал, что Dojo может открыть новые потоки доходов в виде роботакси и программных услуг, что увеличит рыночную стоимость Tesla на 500 миллиардов долларов.

Короче говоря, судя по нынешнему тщательному распределению оборудования Маском, Dojo — это не «отчаянный шаг», а скорее двойная страховка. Но в случае успеха также могут быть высвобождены огромные дивиденды.

Использованная литература:

https://techcrunch.com/2024/08/03/tesla-dojo-elon-musks-big-plan-to-build-an-ai-supercomputer-explained/

https://www.tomshardware.com/tech-industry/teslas-dojo-system-on-wafer-is-in-production-a-serious-processor-for-serious-ai-workloads

Нажимаем "" и поехали