новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

автор: barry

редактор 丨 гуань цзюй

источник изображения: midjourney

кто может заменить nvidia?

в области графических процессоров для центров обработки данных поставки nvidia достигнут 3,76 миллиона единиц в 2023 году, что составит почти 98% доли мирового рынка, что можно назвать непревзойденным.

чипы искусственного интеллекта, также известные как ускорители искусственного интеллекта или вычислительные карты, представляют собой модули, специально используемые для решения большого количества вычислительных задач в приложениях искусственного интеллекта. в основном они включают в себя графические процессоры (gpu), программируемые вентильные матрицы (fpga) и специализированные приложения. интегральные схемы (asic) и т. д.

по данным gartner, рынок ии-чипов достигнет 53,4 млрд долларов сша в 2023 году, что на 20,9% больше, чем в 2022 году, и вырастет на 25,6% до 67,1 млрд долларов сша в 2024 году. ожидается, что к 2027 году доход от чипов искусственного интеллекта более чем удвоит размер рынка в 2023 году и достигнет 119,4 миллиарда долларов.

гонка вооружений в области вычислительных мощностей, организованная крупными компаниями-гигантами, несомненно, стала мощной движущей силой рынка чипов искусственного интеллекта.

начиная с 2024 года почти все основные крупные модели будут иметь более 100 миллиардов параметров, llama3 — 400 миллиардов параметров, а gpt4 — 1,8 триллиона параметров. большая модель с триллионами параметров соответствует сверхбольшому кластеру вычислительной мощности масштабом более 10 000 килобайт.

openai имеет как минимум 50 000 высокопроизводительных графических процессоров nvidia, meta построила собственный кластер из супер-10 000 карт, состоящий из 24 576 h100, а у google есть суперкомпьютер a3, состоящий из 26 000 h100... более 40 000 компаний приобрели графические процессоры nvidia, компании такие как meta, microsoft, amazon и google, принесли в общей сложности 40% ее дохода.

финансовый отчет показывает, что валовая прибыль nvidia достигла 71%, из которых валовая прибыль серий a100 и h100 достигла 90%. как производитель оборудования, nvidia имеет более высокую валовую прибыль, чем интернет-компании.

сообщается, что ai-чипы nvidia для центров обработки данных стоят $25 000–40 000 за штуку, что в 7–8 раз превышает стоимость традиционных продуктов. кадзухиро сугияма, директор по консалтингу исследовательской фирмы omdia, сказал, что высокие цены на продукты nvidia являются бременем для компаний, которые хотят инвестировать в искусственный интеллект.

высокая отпускная цена также заставила многих крупных клиентов начать искать альтернативы. 30 июля apple объявила, что ее модель искусственного интеллекта была обучена с использованием 8000 tpu google. сегодня также был представлен первый чип openai. он будет использовать самый передовой процесс tsmc на уровне ангстрема a16 и специально создан для видеоприложений sora.

по всему миру один за другим появляются стартапы и единороги, занимающиеся разработкой чипов искусственного интеллекта, которые пытаются украсть еду у nvidia. среди них есть поддерживаемые китаем единороги sambanova и недавно появившаяся etched, а также cerebras systems, единорог, в которого инвестировал генеральный директор openai альтман, который стремится к ipo президента группы softbank масаеши сона после успешного листинга arm в прошлом году. в июле этого года она приобрела британскую компанию по производству чипов искусственного интеллекта graphcore, пытаясь создать следующую nvidia.

sambanova, единорог на базе искусственного интеллекта, созданный китайцами в стэнфорде

27 августа американский стартап по производству ии-чипов sambanova впервые подробно представил свою недавно выпущенную первую в мире систему ии-чипов для моделей искусственного интеллекта (ии) масштаба в триллион параметров, основанную на ии-чипе sn40l с реконфигурируемым блоком потока данных (rdu). .

по имеющимся данным, 8-чиповая система на базе sambanova sn40l может обеспечить поддержку 5 триллионов параметров моделей, а длина последовательности на одном узле системы может достигать 256 тыс.+. по сравнению с чипом yingwei h100, sn40l не только обеспечивает в 3,1 раза большую производительность вывода, чем h100, но также удваивает производительность обучения, а общая стоимость владения составляет всего 1/10.

генеральный директор sambanova родриго лян

все трое соучредителей компании имеют опыт работы в стэнфорде. среди них генеральный директор родриго лян — бывший вице-президент sun/oracle по техническим вопросам. два других соучредителя — профессора стэнфорда. кроме того, в команде много китайских инженеров.

sambanova в настоящее время оценивается в 5 миллиардов долларов сша (примерно 36,5 миллиардов юаней) и завершила 6 раундов финансирования на общую сумму 1,1 миллиарда долларов сша. в число инвесторов входят intel, softbank, samsung, google venture и т. д.

они не только бросают вызов nvidia в области чипов, но и идут дальше nvidia с точки зрения бизнес-модели: напрямую участвуют в оказании помощи компаниям в обучении частных крупных моделей. и чипы продаются не сами по себе, а их индивидуальные технологические стеки, от чипов до серверных систем и даже развертывания крупных моделей.

ее амбиции в отношении целевых клиентов еще выше: она нацелена на 2000 крупнейших компаний мира. в настоящее время чипы и системы sambanova завоевали множество крупных клиентов, в том числе ведущие мировые суперкомпьютерные лаборатории, японскую fugaku, аргоннскую национальную лабораторию сша, национальную лабораторию лоуренса и консалтинговую компанию accenture.

родриго лян считает, что следующим полем битвы за коммерциализацию больших моделей и генеративного искусственного интеллекта станут частные данные предприятий, особенно крупных. в конечном итоге, вместо использования одной очень большой модели, такой как gpt-4 или google gemini, компания создаст 150 уникальных моделей на основе разных подмножеств данных с более чем триллионом агрегированных параметров.

эта стратегия резко контрастирует с такими подходами, как gpt-4 и google gemini, где большинство гигантов надеются создать гигантскую модель, которую можно будет обобщить для миллионов задач.

etched, компания по производству чипов для искусственного интеллекта, основанная двумя выпускниками гарварда, родившимися в 2000-х годах.

основателями etched являются двое выпускников гарварда, родившиеся в 2000 году. гэвин уберти занимал руководящие должности в octoml и xnor.ai, а крис чжу — китаец. помимо работы в качестве преподавателя-исследователя в области компьютерных наук в гарвардском университете, он также имеет опыт стажировки в таких компаниях, как amazon.

они с оптимизмом смотрели на развитие больших моделей до выпуска chatgpt, поэтому в 2022 году бросили гарвардский университет и вместе с робертом вахеном и бывшим техническим директором cypress semiconductor марком россом основали etched для создания больших моделей, предназначенных для ии-чипов.

гэвин уберти (слева) и крис чжу (справа)

они выбрали уникальный путь: они могли использовать только ai-чип transformer и приняли дизайн asic. в настоящее время почти все решения на рынке широко поддерживают модели искусственного интеллекта, и они определили, что модель transformer будет доминировать на всем рынке с конца 2022 года. они считают, что повышение производительности графического процессора происходит слишком медленно, и единственный способ — использовать специализированные чипы asic только так мы сможем добиться скачка в производительности.

спустя два года, 27 июня этого года, etched выпустила свой первый ai-чип sohu, став первым в мире чипом, предназначенным для вычислений transformer.

он запускает большие модели в 20 раз быстрее, чем nvidia h100, и более чем в 10 раз быстрее, чем топовый чип b200, выпущенный в марте этого года. сервер, оснащенный восемью чипами sohu, может заменить целых 160 графических процессоров nvidia h100. при значительном сокращении затрат потери производительности не будет.

поскольку sohu поддерживает только один алгоритм, большинство модулей потока управления можно исключить. чип может интегрировать больше блоков математических вычислений, а использование вычислительной мощности может достигать более 90%, в то время как графический процессор может выполнять только 30%. для небольшой команды разработчиков поддержка стека программного обеспечения с единой архитектурой, очевидно, менее утомительна.

одновременно с выпуском чипа sohu компания etched также объявила о завершении финансирования серии a на сумму 120 миллионов долларов сша под руководством primary venture partners и positive sum ventures.

основными инвесторами в этом раунде финансирования являются известный инвестор из кремниевой долины питер тиль, бывший технический директор криптовалютной торговой платформы coinbase и бывший генеральный партнер a16z баладжи сринивасан, генеральный директор github томас домке, соучредитель cruise кайл фогт и совместный основатель quora чарли чивер и более.

cerebras systems, единорог ai-чипов, вложенный ultraman, планирует выйти на ipo

самая уникальная особенность cerebras systems, основанной в 2015 году, заключается в том, что их чипы сильно отличаются от обычных графических процессоров nvidia. в прошлом чипы становились все меньше и меньше в соответствии с законом мура. если взять в качестве примера nvidia h100, то она имеет 80 миллиардов транзисторов на площади ядра 814 квадратных миллиметров.

искусственный интеллект компании cerebras решает делать весь чип все больше и больше, утверждая, что он «создал чип с самой большой площадью в мире». по имеющимся данным, чип wse 3, разработанный cerebras, вырезан из цельной пластины, которая больше пластины и требует от человека держать ее обеими руками. чип wse 3 имеет 4000 миллиардов транзисторов (в 50 раз больше, чем у h100) на площади ядра более 46 000 квадратных миллиметров.

чипсы размером больше тарелки нужно держать обеими руками. источник: арс техника

cerebras утверждает, что размер большой модели искусственного интеллекта, которую может обучить их чип, в 10 раз больше, чем у лучших крупных моделей отрасли (таких как gpt-4 от openai или gemini от google).

27 августа этого года компания cerebras systems объявила о запуске сервиса искусственного интеллекта cerebras inference, который позиционируется как «самый быстрый в мире». согласно официальному сайту, этот сервис вывода в 20 раз быстрее, чем сервис nvidia, обеспечивая при этом точность; пропускная способность памяти процессора в 7000 раз выше, чем у nvidia, при этом цена составляет всего 1/5 от стоимости графического процессора, а соотношение цена/производительность имеет хорошее соотношение цены и качества. увеличился в 100 раз. cerebras inference также предоставляет несколько уровней обслуживания, в том числе бесплатный, уровень для разработчиков и корпоративный, для удовлетворения различных потребностей — от мелкомасштабной разработки до крупномасштабного корпоративного развертывания.

соучредитель и генеральный директор эндрю фельдман получил степень магистра делового администрирования стэнфордского университета, а технический директор гэри лаутербах признан одним из лучших компьютерных архитекторов в отрасли. в 2007 году они стали сооснователями компании seamicro, производящей микросерверы, которая была приобретена amd за 334 миллиона долларов сша в 2012 году, а впоследствии они присоединились к amd.

по сообщениям зарубежных сми, cerebras systems тайно подала заявку на ipo в сша и выйдет на листинг уже в октябре 2024 года. в настоящее время компания привлекла 720 миллионов долларов сша и оценивается примерно в 4,2–5 миллиардов долларов сша. одним из крупнейших индивидуальных инвесторов является генеральный директор openai сэм альтман. сообщается, что альтман участвовал в финансировании cerebras серии d на сумму 81 миллион долларов.

tenstorrent, к которому присоединился легендарный чип-мастер, станет «заменой» nvidia

до 2021 года tenstorrent все еще была неизвестной компанией. однако на какое-то время компания прославилась после того, как джим келлер, выдающаяся фигура в полупроводниковой промышленности, известная как «кремниевый бессмертный», объявил, что присоединится к компании в качестве технического директора и президента.

карьеру джима келлера можно назвать историей компьютерной индустрии. с 1998 по 1999 год джим келлер работал над архитектурой k7/k8, поддерживавшей athlon, в amd, с 2008 по 2012 год возглавлял разработку процессоров a4 и a5 в apple, с 2012 по 2015 год руководил разработкой k12 arm; проект в amd, проект архитектуры zen, с 2016 по 2018 год разрабатывал чипы автопилота fsd в tesla, а с 2018 по 2020 год участвовал в загадочных проектах в intel.

джим келлер присоединяется к tenstorrent в надежде обеспечить «замену» дорогим графическим процессорам nvidia. он считает, что nvidia плохо обслуживает определенные рынки, а именно эти рынки пытается захватить tenstorrent.

tenstorrent заявляет, что ее система galaxy в три раза эффективнее и на 33% дешевле, чем nvidia dgx, самый популярный в мире сервер искусственного интеллекта.

по имеющимся данным, tenstorrent, как ожидается, выпустит свой многоцелевой процессор искусственного интеллекта второго поколения до конца этого года. согласно последней дорожной карте tenstorrent прошлой осенью, компания намерена выпустить автономный процессор искусственного интеллекта black hole и маломощные и недорогие чиплеты quasar для многочиповых решений искусственного интеллекта.

компания утверждает, что ее будущие процессоры обеспечивают эффективность производительности, сравнимую с графическими процессорами nvidia для искусственного интеллекта. в то же время компания tenstorrent утверждает, что ее архитектура потребляет меньшую пропускную способность памяти, чем ее конкуренты, что является основной причиной ее более высокой эффективности и более низких затрат.

основная особенность чипа tentorrent заключается в том, что каждое из его более чем 100 ядер имеет небольшой процессор, «мозг внутри мозга». ядра смогут «думать» самостоятельно, решая, какие данные обрабатывать в первую очередь, а какие — нет. следует ли отбрасывать определенные данные, которые считаются нежелательными для необходимых задач, тем самым повышая общую эффективность.

на данный момент tentorrent завершил как минимум 6 раундов финансирования. раньше инвесторами tentorrent были в основном венчурные капиталисты, то есть после прихода джима келлера компания в августе 2023 года завершила новый раунд финансирования на сумму $100 млн, а среди инвесторов стал появляться промышленный капитал - hyundai automotive group и samsung catalyst fund. , венчурное подразделение samsung.

softbank приобретает graphcore со скидкой, чтобы создать конкурента nvidia

graphcore была основана в 2016 году техническим директором саймоном ноулзом и генеральным директором найджелом туном. компания стремится разработать блок обработки данных (ipu), процессор, специально разработанный для искусственного интеллекта и машинного обучения, с уникальной архитектурой и преимуществами, такими как архитектура mimd с массовым параллелизмом, высокая пропускная способность памяти и тесно связанная локальная распределенная sram и т. д.

graphcore последовательно выпустила ряд продуктов на базе ipu, таких как процессор ipu gc200, bow ipu и т. д., и продолжает проводить технические обновления и улучшения.

однако в июле этого года эта переживающая трудности британская компания по производству чипов для искусственного интеллекта была приобретена softbank.

по соглашению graphcore станет дочерней компанией softbank и продолжит работать под своим нынешним названием. по имеющимся данным, общая стоимость сделки может достичь около 400 миллионов фунтов стерлингов (около 500 миллионов долларов сша, 3,56 миллиарда юаней), что примерно на 82% ниже, чем оценка последнего раунда финансирования graphcore в 2,8 миллиарда долларов сша. softbank купил его только со скидкой 20%.

graphcore когда-то считался «британской версией nvidia». однако с 2020 года компания не получила новых инвестиций, а также потеряла важные заказы от microsoft. это сделало ее финансово ограниченной и операционной, и она не смогла идти в ногу с общей тенденцией в области ai-чипов. в то же время соединенные штаты продолжают ужесточать контроль над экспортом китайских полупроводников для искусственного интеллекта, что также влияет на развитие graphcore в китае. в конце концов, компании пришлось уйти с китайского рынка и потерять четверть своего общего дохода.

это приобретение graphcore не только укрепляет позиции softbank в области чипов искусственного интеллекта, но также является важным шагом в стратегии son в области искусственного интеллекта.

бывшие инженеры google основали groq для создания нового вида lpu

в августе этого года groq объявил о завершении финансирования серии d на сумму 640 миллионов долларов сша. в число инвесторов входят blackrock, cisco investments, samsung catalyst fund и т. д. с оценкой в ​​2,8 миллиарда долларов сша.

компания, основанная в 2016 году бывшим инженером google джонатаном россом, утверждает, что ее аппаратный блок языкового процессора lpu может запускать существующие модели genai, такие как gpt-4, в десять раз быстрее, потребляя при этом лишь одну десятую часть энергии. компания установила новый рекорд производительности модели большого языка (llm) с помощью meta llama 2 — 300 токенов в секунду на пользователя.

по сравнению с универсальностью графического процессора, хотя lpu хорошо справляется с языковой обработкой, диапазон его применения узок. это ограничивает их возможность обобщения на более широкий круг задач ии. кроме того, lpu, будучи новой технологией, еще не получила широкой поддержки со стороны сообщества, а удобство ее использования также сталкивается с проблемами.

groq планирует развернуть более 108 000 lpu к концу первого квартала 2025 года, что станет крупнейшим внедрением искусственного интеллекта за пределами крупных технологических гигантов.