Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

За последние два дня запуск Apple Intelligence стал одной из крупнейших технологических новостей.

Хотя по сравнению с полной версией Apple Intelligence, анонсированной более месяца назад, функции Apple Intelligence, представленные в бета-версии 1 Apple iOS 18.1, не являются полными. Нисколько.

Но в целом Apple по-прежнему предлагает Write Tools (инструменты для письма), запись разговоров (включая транскрипцию) и новый дизайн Siri.

Среди них инструменты для письма поддерживают переписывание, специализацию, сокращение и другие функции и могут использоваться в таких сценариях, как общение в чате, публикация в Moments, заметки Xiaohongshu и запись текстовых вызовов, которая может не только записывать вызовы, но и автоматически расшифровывать их; текст, удобный для просмотра пользователями.

Кроме того, Siri также была «обновлена», но, к сожалению, в настоящее время она ограничена дизайном, включая новые спецэффекты «выделения» и поддержку ввода с клавиатуры.

Но что поразительно, так это то, что Apple раскрыла в статье под названием «Языковые модели Apple Intelligence Foundation», чтоApple не использовала распространенные NVIDIA H100 и другие графические процессоры, а выбрала TPU своего «старого конкурента» Google для обучения базовой модели Apple Intelligence.

Картинка/Яблоко

Используйте Google TPU для создания Apple Intelligence

Как мы все знаем, Apple Intelligence разделена на три уровня: один — это ИИ на устройствах, работающий локально на устройствах Apple, а другой — облачный ИИ, работающий в собственных центрах обработки данных Apple на основе технологии «частных облачных вычислений». Согласно новостям из цепочки поставок, Apple построит собственный центр обработки данных путем массового производства M2 Ultra.

Кроме того, есть еще один уровень, который подключается к сторонним облачным большим моделям, таким как GPT-4o и т. д.

Но это сторона умозаключений. То, как Apple тренирует свою собственную модель искусственного интеллекта, всегда было в центре внимания отрасли. Судя по официальному документу Apple, Apple обучила две базовые модели на аппаратном обеспечении кластеров TPUv4 и TPUv5p:

Одна из них — это модель AFM-on-device на стороне устройства со шкалой параметров 300 миллионов, которая обучается с использованием 2048 блоков TPU v5p и работает локально на устройствах Apple, другая — это серверная модель AFM-сервера с более крупным сервером; шкала параметров с использованием 8192 блоков. Обучение чипа TPU v4 в конечном итоге выполняется в собственном центре обработки данных Apple.

Картинка/Яблоко

В конце концов, мы все знаем, что графические процессоры, такие как Nvidia H100, в настоящее время являются основным выбором для обучения ИИ. Существует даже поговорка, что «для обучения ИИ используются только графические процессоры Nvidia».

Напротив, TPU Google кажется несколько «неизвестным».

Но на самом деле TPU от Google — это ускоритель, специально разработанный для задач машинного и глубокого обучения, который может обеспечить превосходные преимущества в производительности. Благодаря эффективной вычислительной мощности и сетевым соединениям с низкой задержкой TPU Google хорошо справляется с задачами обучения больших моделей.

Например, TPU v4 может обеспечить пиковую вычислительную мощность до 275 терафлопс на чип и подключить 4096 чипов TPUv4 к крупномасштабному суперкомпьютеру TPU посредством сверхвысокоскоростного соединения, тем самым удвоив масштаб вычислительной мощности.

И не только Apple, но и другие крупные модельные компании также использовали TPU Google для обучения своих больших моделей.Клод из Anthropic — типичный пример.

Рейтинги чат-ботов на арене, фото/LMSYS

Теперь можно сказать, что Клод является самым сильным конкурентом модели OpenAI GPT. На арене чат-роботов LMSYS Claude 3.5 Sonnet и GPT-4o всегда были «приседающими драконами и птенцами феникса» (похвала). Согласно раскрытию информации, Anthropic никогда не приобретала графические процессоры Nvidia для создания суперкомпьютеров, а вместо этого использует кластеры TPU в Google Cloud для обучения и вывода.

В конце прошлого года Anthropic также официально объявила, что будет первой, кто будет использовать кластеры TPU v5e в Google Cloud для обучения Клода.

Долгосрочное использование Anthropic и результаты, достигнутые Клодом, полностью демонстрируют эффективность и надежность Google TPU в обучении ИИ.

Кроме того, Gemini от Google также полностью полагается на чипы TPU собственной разработки для обучения. Модель Gemini призвана продвинуть границы технологий обработки и генерации естественного языка, а процесс ее обучения требует обработки больших объемов текстовых данных и выполнения сложных модельных расчетов.

Мощная вычислительная мощность TPU и эффективная архитектура распределенного обучения позволяют Gemini завершить обучение за относительно короткий период времени и добиться значительного прорыва в производительности.

Но если с Gemini понятно, то почему люди от Anthropic до Apple выбирают Google TPU вместо Nvidia GPU?

TPU и GPU: тайная битва между Google и Nvidia

На SIGGRAPH 2024, ведущей конференции по компьютерной графике, состоявшейся в понедельник, основатель и генеральный директор NVIDIA Дженсен Хуанг сообщил, что на этой неделе NVIDIA отправит образцы архитектуры Blackwell, которая представляет собой архитектуру графических процессоров NVIDIA последнего поколения.

18 марта 2024 года NVIDIA представила архитектуру графического процессора последнего поколения — Blackwell и графический процессор последнего поколения B200 на конференции GTC. Что касается производительности, графический процессор B200 может достигать 20 петафлопс (квадриллион операций с плавающей запятой в секунду) вычислительной мощности на FP8 и новом FP6, что делает его превосходным при обработке сложных моделей искусственного интеллекта.

Через два месяца после выпуска Blackwell Google также выпустила свой TPU шестого поколения (Trillium TPU)., каждый чип может обеспечить пиковую вычислительную мощность почти 1000 терафлопс (триллионов в секунду) при BF16, и Google также оценил его как «самый высокопроизводительный и самый энергосберегающий TPU на сегодняшний день».

Изображение/Google

По сравнению с Google Trillium TPU графический процессор NVIDIA Blackwell по-прежнему имеет определенные преимущества в высокопроизводительных вычислениях благодаря поддержке памяти с высокой пропускной способностью (HBM3) и экосистемы CUDA. В одной системе Blackwell может параллельно подключать до 576 графических процессоров для достижения мощной вычислительной мощности и гибкой масштабируемости.

Напротив, Google Trillium TPU фокусируется на эффективности и низкой задержке при крупномасштабном распределенном обучении. TPU спроектирован таким образом, чтобы оставаться эффективным при обучении крупномасштабных моделей и повышать общую эффективность вычислений за счет сокращения задержек связи благодаря сверхвысокоскоростным сетевым соединениям.

И не только на чипах искусственного интеллекта последнего поколения.«Тайная война» между Google и Nvidia фактически существует уже восемь лет, начиная с 2016 года, когда Google разработала собственный AI-чип TPU.

По сей день графический процессор NVIDIA H100 является самым популярным чипом искусственного интеллекта на массовом рынке. Он не только обеспечивает память с высокой пропускной способностью до 80 ГБ, но также поддерживает память HBM3 и обеспечивает эффективную связь нескольких графических процессоров через соединение NVLink. Основанный на технологии Tensor Core, графический процессор H100 обладает чрезвычайно высокой вычислительной эффективностью в задачах глубокого обучения и вывода.

Но в то же время TPUv5e имеет значительные преимущества в экономической эффективности и особенно подходит для обучения моделей малого и среднего размера. Преимущество TPUv5e заключается в его мощной распределенной вычислительной мощности и оптимизированном соотношении энергопотребления, что позволяет ему хорошо работать при обработке крупномасштабных данных. Кроме того, TPUv5e также доступен через Google Cloud Platform, что позволяет пользователям проводить гибкое обучение и развертывание в облаке.

Дата-центр Google, фото/Google

В целом, NVIDIA и Google имеют разные стратегии в отношении чипов искусственного интеллекта: NVIDIA расширяет границы производительности моделей искусственного интеллекта, предоставляя мощные вычислительные мощности и обширную поддержку разработчиков, в то время как Google повышает производительность чипов искусственного интеллекта за счет эффективной архитектуры распределенных вычислений. . Эти два разных пути позволяют им демонстрировать уникальные преимущества в соответствующих областях применения.

Но что еще более важно, единственные, кто может победить Nvidia, — это те, кто применяет стратегии совместного проектирования программного и аппаратного обеспечения и имеет сильные возможности чипов и программного обеспечения.

Google — один из таких противников.

Самый сильный претендент на гегемонию Nvidia

Blackwell — еще одно крупное обновление NVIDIA после Hopper. Оно обладает мощными вычислительными возможностями и предназначено для крупномасштабных языковых моделей (LLM) и генеративного искусственного интеллекта.

По имеющимся данным, графический процессор B200 изготавливается с использованием процесса N4P компании TSMC, имеет до 208 миллиардов транзисторов, «состоит» из двух чипов графического процессора с использованием технологии межсоединений и оснащен до 192 ГБ HBM3e (памяти с высокой пропускной способностью) с пропускная способность до 8 ТБ/с.

Что касается производительности, Google Trillium TPU улучшился в 4,7 раза под BF16 по сравнению с TPU предыдущего поколения v5e, а емкость и пропускная способность HBM, а также пропускная способность межкомпонентного соединения чипов также увеличились вдвое. Кроме того, Trillium TPU также оснащен SparseCore третьего поколения, который может ускорить обучение базовых моделей нового поколения с меньшей задержкой и меньшей стоимостью.

Trillium TPU особенно подходит для обучения крупномасштабным языковым моделям и рекомендательным системам. Его можно расширить до сотен наборов и подключать десятки тысяч чипов через технологию сетевого соединения на уровне PB в секунду, реализуя новый уровень суперкомпьютера. ", что значительно повышает эффективность вычислений и снижает задержку в сети.

Изображение/Google

Начиная со второй половины этого года пользователи Google Cloud первыми примут этот чип.

В целом аппаратное преимущество Google TPU заключается в его эффективной вычислительной мощности и архитектуре распределенного обучения с малой задержкой. Благодаря этому ТПУ хорошо справляется с обучением крупномасштабных языковых моделей и рекомендательных систем. Однако преимущество Google TPU заключается в другой полноценной экосистеме, независимой от CUDA, и более глубокой вертикальной интеграции.

С помощью платформы Google Cloud пользователи могут гибко обучаться и развертываться в облаке. Эта модель облачных сервисов не только снижает инвестиции предприятий в оборудование, но и повышает эффективность обучения моделей ИИ. Google и Cloud также предоставляют ряд инструментов и сервисов, поддерживающих разработку искусственного интеллекта, таких как TensorFlow и Jupyter Notebook, которые упрощают разработчикам обучение и тестирование моделей.

Google TPU v5p, используемый Apple, фото/Google

Экосистема искусственного интеллекта Google также включает в себя различные инструменты и платформы разработки, такие как TensorFlow, широко используемую среду машинного обучения с открытым исходным кодом, которая может в полной мере использовать возможности аппаратного ускорения TPU. Google также предоставляет другие инструменты для поддержки разработки ИИ, такие как TPU Estimator и Keras. Бесшовная интеграция этих инструментов значительно упрощает процесс разработки.

Кроме того, преимущество Google состоит в том, что сама Google является клиентом с наибольшим спросом на вычислительную мощность TPU. От обработки огромного видеоконтента YouTube до каждого обучения и вывода Gemini, TPU уже давно интегрирован в бизнес-систему Google, а также удовлетворяет огромные потребности Google в вычислительной мощности.

Можно сказать, что вертикальная интеграция Google гораздо более тщательна, чем у Nvidia, и она почти полностью освоила ключевые узлы: от обучения моделей до приложений и пользовательского опыта. Это на самом деле дает Google больше возможностей начать с самых низов в соответствии с технологиями и опытом. рыночные тенденции. Начните оптимизировать эффективность.

Поэтому, хотя Trillium TPU по-прежнему сложно конкурировать с Blackwell GPU по показателям производительности чипов, когда дело доходит до обучения крупных моделей, Google все же может систематически оптимизировать эффективность, чтобы конкурировать или даже превосходить экосистему CUDA NVIDIA.

Использование TPU в Google Cloud — лучший выбор Apple

Короче говоря, производительность, стоимость и экологические преимущества кластера Google TPU делают его идеальным выбором для крупномасштабного обучения моделей ИИ. В свою очередь, использование TPU в Google Cloud также является лучшим выбором Apple на данном этапе.

Супервычисления на базе TPU v4 также используются Apple.Изображение/Google

С одной стороны, это производительность и стоимость. TPU хорошо справляется с крупномасштабными задачами распределенного обучения, обеспечивая эффективные вычислительные возможности с малой задержкой для удовлетворения потребностей Apple в обучении моделей искусственного интеллекта. Используя платформу Google Cloud, Apple может сократить затраты на оборудование, гибко настраивать вычислительные ресурсы и оптимизировать общие затраты на разработку ИИ.

Другой аспект – экология.Экосистема разработки искусственного интеллекта Google также предоставляет множество инструментов и поддержки, позволяя Apple более эффективно разрабатывать и развертывать свои модели искусственного интеллекта. В сочетании с мощной инфраструктурой и технической поддержкой Google Cloud она также обеспечивает прочную основу для проектов Apple в области искусственного интеллекта.

В марте этого года Сумит Гупта, работавший в Nvidia, IBM и Google, присоединился к Apple, чтобы возглавить облачную инфраструктуру. Согласно сообщениям, Сумит Гупта присоединился к команде Google по инфраструктуре искусственного интеллекта в 2021 году и в конечном итоге стал менеджером по продуктам Google TPU, самостоятельно разработанного процессора Arm и другой инфраструктуры.

Сумит Гупта понимает преимущества TPU Google лучше, чем большинство людей в Apple.

В первой половине 2024 года технологический круг будет неспокойным.
Внедрение крупных моделей ускоряется: мобильные телефоны с искусственным интеллектом, компьютеры с искусственным интеллектом, бытовая техника с искусственным интеллектом, поиск с использованием искусственного интеллекта, электронная коммерция с искусственным интеллектом... Приложения искусственного интеллекта появляются бесконечно;
Vision Pro поступит в продажу и появится на китайском рынке, положив начало новой волне пространственных вычислений XR;
Официально выпущена HarmonyOS NEXT, меняющая экосистему мобильных ОС;
Автомобили полностью вошли во «вторую половину», а разведка стала главным приоритетом;
Конкуренция в электронной коммерции становится все более жесткой, цены снижаются, а услуги становятся все лучше;
Волна зарубежной экспансии набирает обороты, и китайские бренды вступают в путь глобализации;

В июле будет запущена тема полугодового обзора Lei Technology·, в которой будут обобщены бренды, технологии и продукты, которые стоит отметить в первой половине 2024 года в технологической отрасли, зафиксировано прошлое и с нетерпением ждем будущего, так что следите за обновлениями.