Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

умные вещи
Составил Чэнь Джунда
РедактироватьПанкен

По сообщениям зарубежных СМИ, из-за высоких цен на кластеры вычислительных мощностей ИИ и набега заказов со стороны крупных предприятий многие американские университеты столкнулись с серьезной нехваткой вычислительных мощностей, что привело к отставанию исследований ИИ в университетах и ​​вузах. нехватка исследовательских талантов в области ИИ.

Нехватка вычислительной мощности в университетах существует уже давно, и даже ведущие университеты и академические лидеры обеспокоены этой проблемой. В мае этого года профессор Стэнфордского университета Ли Фейфей заявил, что академическое сообщество сталкивается с серьезной нехваткой вычислительных ресурсов искусственного интеллекта.В лаборатории НЛП Стэнфордского университета всего 64 графических процессора (Нвидиа А100). Лауреат премии Тьюринга Джеффри Хинтон даже прямо сказал, когда студенты обратились за помощью: «Я не знаю, что еще делать по этому вопросу, кроме как обратиться к правительству.”

Напротив, ожидается, что материнская компания Facebook MetaОн имеет огромный кластер вычислительной мощности, эквивалентный 600 000 NVIDIA H100, что почти в 10 000 раз превышает мощность кластера Стэнфордской лаборатории НЛП.

Но 64 графических процессора в лаборатории НЛП Стэнфордского университета уже являются фантастикой для многих студентов из других университетов. Фактически, за исключением нескольких ведущих университетов, таких как Принстонский университет и RWTH Ахенский университет в Германии,Во многих университетах даже нет графического процессора Nvidia A100.。

В ходе соответствующей дискуссии на форуме Reddit некоторые докторанты из университетов Северной Америки сообщили, что небольшие университеты могут получить только графический процессор V100, выпущенный Nvidia много лет назад.Ситуация в университетах Европы и Азии еще более тяжелая. Многие университеты могут только.Использование видеокарт Nvidia потребительского уровня для исследований в области искусственного интеллекта . Несмотря на это, вычислительной мощности крайне мало, и некоторым студентам приходится приобретать видеокарты за свой счет или подавать заявку на субсидии на вычислительную мощность от NVIDIA, Amazon Cloud Service (AWS) и т. д.

Многие университеты также усердно работают над изменением статус-кво, например, создавая кластеры общих вычислений посредством межшкольного сотрудничества или обращаясь к другим направлениям исследований в области ИИ, которые требуют меньшей вычислительной мощности.

1. Нехватка вычислительных мощностей и утечка мозгов. Насколько серьезна нехватка графических процессоров в университетах?

Фактически, в течение долгого времени университеты были в авангарде исследований ИИ.Многие прорывные разработки были сделаны исследователями в университетах.Например, в 2015 году Яша Золь-Дикштейн, постдок из Стэнфордского университета, изобрел первую в мире диффузионную модель, которая стала основой для многих последующих моделей генерации изображений и видео.

В то время как фундаментальные исследования в университетах имеют решающее значение для волны технологических инноваций, в недавних исследованиях в области генеративного ИИ доминируют частные компании. Это происходит главным образом потому, что у них есть доступ к вычислительным мощностям и данным, необходимым для создания и обучения больших моделей, таких как ChatGPT и Gemini.

Исследования генеративного ИИ стоят дорого. Генеральный директор OpenAI Сэм Альтман подсчитал, что обучение GPT-4 обойдется примерно в 100 миллионов долларов. Генеральный директор Meta Марк Цукерберг объявил в начале 2024 года о планах приобрести 350 000 графических процессоров NVIDIA H100, чтобы расширить вычислительную мощность Meta до уровня, эквивалентного 600 000 графических процессоров NVIDIA H100. Рассчитано на основе продажной цены H100, составляющей около 40 000 долларов США.Это будет крупный заказ в десятки миллиардов долларов.

В настоящее время ни один университет в мире не может позволить себе такой уровень инфраструктуры вычислительных мощностей искусственного интеллекта. Являясь сильной школой информатики, Принстонский университет имеет один из крупнейших кластеров вычислительной мощности искусственного интеллекта среди американских университетов.Но в этом кластере всего 300 графических процессоров NVIDIA H100., который был официально представлен только в марте этого года.

Санджив Арора, директор Центра языка и интеллекта Принстонского университета, сказал по этому поводу: «Если у вас нет вычислительной мощности, вы не сможете проводить масштабные исследования и даже не сможете участвовать в обсуждении.”。

В соответствующей дискуссии на форуме Reddit аспирант одной из пяти лучших лабораторий машинного обучения в США заявил, что у них пока нет ни одной NVIDIA H100.

▲Вопросы от аспирантов из пяти лучших лабораторий машинного обучения в США (Источник: Reddit)

Аспирант из Азии столкнулся с той же дилеммой. Большинство графических процессоров, которые он использует, — потребительского уровня, а вместо кластеров — только один или два. В его школе до недавнего времени был сервер с восемью H100, и доступ к нему был лишь ограниченным. Докторант сказал:За те две недели, что ему посчастливилось использовать графический процессор H100 для обучения, он получил больше данных, чем собрал за предыдущие шесть месяцев.

▲Студент, занимавшийся исследованием CV в Азии, вспомнил серию графических процессоров, которые он использовал (Источник: Reddit)

Другой ученик рассказал, что его школа не может обеспечить какую-либо вычислительную мощность. Он может получить только 1000 долларов США за облачные вычислительные мощности AWS через свою компанию, где проходит стажировку.Если вы используете эти квоты для запуска кластера H100 из 8 блоков, вы можете использовать его только в течение 1 дня. , такой уровень вычислительной мощности просто не может производить высококачественные исследования. Он также сказал, что это норма для исследований ИИ в странах третьего мира.

▲Магистр поделился опытом получения расчетных кредитов через стажерскую компанию (Источник: Reddit)

Вычислительные мощности европейских университетов также не вызывают оптимизма. Студент, обучающийся в Германии, поделился, что ему очень повезло, потому что его школа также может предоставить 16 графических процессоров A100 и десятки других моделей графических процессоров.В Европе многие университеты и исследовательские лаборатории практически не обеспечивают вычислительную мощность.

▲Европейский студент благодарен за имеющиеся у него компьютерные ресурсы (Источник: Reddit)

Другой студент из RWTH Ахенского университета в Германии рассказал, что в его школе установлено более 200 графических процессоров NVIDIA H100, что вызывает зависть многих пользователей сети. Однако эти ресурсы используются всеми колледжами, а также внешними учреждениями. Если требуется более длительное время расчета, требуется специальное приложение.

▲Студенты из RWTH Ахенского университета в Германии поделились вычислительной мощностью школы (Источник: Reddit)

Представители промышленности удивлены нехваткой графических процессоров в колледжах и университетах. Инсайдер отрасли сообщил, что он работает на крупного поставщика облачных вычислений.Ежедневный контакт с графическим процессором H100 , разработать и исправить программное обеспечение для него. Другой источник в отрасли сообщил, что крупные корпоративные клиенты часто делают предварительные заказы на востребованные передовые графические процессоры, такие как H100, прежде чем они будут добавлены в центры обработки данных, поэтому для большинства исследователей H100 является «редкостью».

▲Промышленники удивлены нехваткой графических процессоров в колледжах и университетах (Источник: Reddit)

В случае недостаточности вычислительных ресурсов долгосрочное обучение является чрезвычайно роскошным. Кластеры вычислительной мощности ИИ в университетах часто необходимо применять за несколько дней или даже недель. Даже если они используются, время использования ограничено. Многие более крупные задачи обучения сложно выполнить за один цикл использования, и исследователям также приходится тратить дополнительные усилия на создание контрольной точки и кода восстановления.

Нехватка вычислительных ресурсов также привела к проблеме утечки мозгов в колледжах и университетах. Студенты, заинтересованные в исследованиях генеративного ИИ, обратились в крупные компании. Поскольку крупные технологические компании обычно обладают в сотни или тысячи раз большей вычислительной мощностью, чем университеты, это чрезвычайно привлекательно для специалистов в области ИИ.

2. Создавать альянсы по вычислительной мощности и менять направления исследований. Университеты не желают и не могут отставать.

Столкнувшись с кризисом отставания в исследованиях ИИ и потерей талантливых специалистов в области ИИ, многие университеты стремятся к дополнительным вычислительным мощностям и смещают фокус своих исследований на невычислительные энергоемкие области исследований ИИ.

«Академические учреждения изо всех сил пытаются получить вычислительную мощность», — сказал Ход Липсон, заведующий кафедрой машиностроения Колумбийского университета. Он также подчеркнул, что, хотя участие промышленности и правительства в исследованиях ИИ важно,Но чтобы сбалансировать эти две силы, ученые, разработчики открытого исходного кода и другие также должны иметь право голоса в развитии этой технологии.

Чтобы уменьшить нехватку вычислительной мощности в колледжах и университетах, многие колледжи и университеты привлекли правительство к процессу создания кластеров вычислительной мощности. В начале 2024 года семь университетов и исследовательских институтов, в том числе Колумбийский университет, Корнеллский университет, Нью-Йоркский университет и Политехнический институт Ренсселера, объединили усилия с правительством штата Нью-Йорк и благотворительными организациями, чтобы создать альянс вычислительных мощностей под названием Empire AI.

▲Члены альянса Empire AI (Источник: официальный сайт Empire AI)

Этот альянс вычислительных мощностей собрал почти 400 миллионов долларов финансирования. Из них 275 миллионов долларов США поступает от правительства, а остальные средства поступают от семи университетов и исследовательских институтов, участвующих в альянсе. Они будут использовать средства для создания передового вычислительного центра искусственного интеллекта, а члены альянса смогут делиться этими вычислительными ресурсами, одновременно эффективно разделяя расходы на содержание.

Говоря о причинах создания этого альянса, администрация губернатора штата Нью-Йорк заявила:В настоящее время вычислительные ресурсы ИИ все больше концентрируются в руках крупных технологических компаний, которые имеют огромный контроль над экосистемой разработки ИИ.В результате исследователи, некоммерческие организации и небольшие компании остаются позади.Это оказывает огромное влияние на безопасность ИИ и общества в целом.

Научные круги и промышленность также активно сотрудничают, что уже является обычным явлением в технологических центрах США, таких как Силиконовая долина, Сиэтл и Остин. Дэн Гроссман, заместитель декана Школы компьютерных наук и инженерии Вашингтонского университета, сказал, что у них есть программы, которые позволяют академическим исследователям также работать в промышленности. Академический персонал имеет доступ к лучшим ресурсам, и университеты могут сохранить эти таланты.

На самом деле, существует множество важных исследовательских проектов в области искусственного интеллекта, которые не требуют высоких вычислительных мощностей. , такие как исследования объяснимости ИИ, исследования способностей ИИ к планированию и рассуждению и т. д. Из-за ограничений вычислительных мощностей университетские исследователи начали проводить более целенаправленные исследования, чтобы гарантировать, что академическое сообщество не будет полностью превзойдено промышленностью.

Кавита Бала, декан Школы компьютерных и информационных наук Корнелльского университета, сказала, что университеты могут меньше инвестировать в создание и обучение больших языковых моделей и больше сосредоточиться на разработке приложений на основе больших языковых моделей. Такие приложения по-прежнему могут оставаться передовыми и играть огромную роль в уникальных областях применения.

Профессор Массачусетского технологического института Армандо Солар-Лезама, чья работа сосредоточена на использовании искусственного интеллекта для разработки кода, считает, что создание больших моделей с нуля просто невозможно в научных кругах. Студенты и исследователи могут сосредоточиться на разработке приложений или даже создании синтетических данных, которые можно использовать для обучения больших языковых моделей.

Солар Лесама сказал, что профессора его колледжа также выступили с инициативой профинансировать покупку серверов и чипов, но финансирование было не единственной проблемой.Даже если у вас есть деньги, получить первоклассный графический процессор сложно.

Вывод: нехватка вычислительных мощностей ИИ в университетах сохраняется, и сотрудничество между несколькими сторонами может помочь исправить ситуацию.

В нынешней ситуации, когда крупные технологические компании доминируют в исследованиях ИИ, исследования ИИ в университетах являются эффективным дополнением к этим исследованиям. На исследователей в университетах не будут влиять краткосрочные факторы, такие как финансовые отчеты и рыночный спрос, как на исследователей в компаниях. Если они смогут получить больше вычислительных ресурсов, они смогут добиться значительных результатов в областях, на которые компании не обращают внимания или не желают обращать внимание.

Фактически, в последние несколько десятилетий искусственный интеллект всегда был недооцененной областью исследований, и ему приходилось носить жилет глубокого обучения и машинного обучения. Но именно благодаря настойчивым исследователям в университетах, таким как Хинтон, Ян ЛеКун и Йошуа Бенджио, которые десятилетиями упорно занимались соответствующими исследованиями, нынешний бум искусственного интеллекта стал реальностью.

В дополнение к альянсам вычислительных мощностей, таким как Empire AI в штате Нью-Йорк, многие университеты и исследовательские институты в Северной Америке также осуществляют межинституциональное сотрудничество различного масштаба для совместного использования вычислительных ресурсов. В конце 2023 года более десяти университетов Китая также создали Альянс вычислительных мощностей китайских университетов. Возможно, такое сотрудничество может дать надежду на решение проблемы нехватки вычислительной мощности в университетах.

Источник: Wall Street Journal, Reddit.