ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

賢いもの
チェン・ジュンダ編纂
編集パンケン

外国メディアの報道によると、AIコンピューティングパワークラスターの価格の高さと大企業からの注文に追われているため、多くのアメリカの大学はコンピューティングパワーの深刻な不足に直面しており、そのことが大学におけるAI研究の遅れにつながっており、 AI研究の人材不足。

大学におけるコンピューティング能力の不足は長い間存在しており、トップクラスの大学や学術指導者でさえこの問題に悩まされています。今年5月、スタンフォード大学のリー・フェイフェイ教授は、学術界はAIコンピューティング・リソースの深刻な不足に直面していると述べた。スタンフォード大学の NLP 研究室には 64 個の GPU しかありません (NVIDIA A100)。チューリング賞受賞者のジェフリー・ヒントンは、生徒たちが助けを求めたとき、率直にこう言いました。この問題については政府に問い合わせる以外に何をすべきか分かりません。”

まったく対照的に、Facebook の親会社である Meta は、これは、スタンフォード NLP 研究所のクラスターのほぼ 10,000 倍である、600,000 台の NVIDIA H100 に相当する巨大なコンピューティング能力クラスターを備えています。

しかし、スタンフォード大学 NLP 研究室にある 64 基の GPU は、他大学の多くの学生にとってすでに幻想となっています。実際、ドイツのプリンストン大学やアーヘン工科大学などの一部のトップ大学を除いて、多くの大学には Nvidia A100 GPU さえありません。。

Reddit フォーラムの関連する議論の中で、北米の大学の一部の博士課程の学生は、小規模大学では何年も前に Nvidia がリリースした V100 GPU しか入手できないと報告しました。ヨーロッパやアジアの大学の状況はさらに厳しい。Nvidia の一般向けグラフィックス カードを AI 研究に使用する 。それでも計算能力は極めて不足しており、グラフィックスカードを自費で購入したり、NVIDIAやAmazon Cloud Service（AWS）などの計算能力補助金を申請しなければならない学生もいる。

多くの大学も、学校間の協力を通じて共有コンピューティング クラスターを確立したり、より低いコンピューティング能力を必要とする他の A​​I 研究の方向に目を向けたりするなど、現状を変えるために懸命に取り組んでいます。

1. 計算能力不足と頭脳流出 大学における GPU 不足はどれほど深刻ですか?

実際、過去の長い間、大学は AI 研究の最前線に立ってきました。大学の研究者によって多くの画期的な開発が行われてきました。たとえば、2015 年にスタンフォード大学の博士研究員である Jascha Sohl-Dickstein は世界初の拡散モデルを発明し、これがその後の多くの画像およびビデオ生成モデルの基礎となりました。

大学における基礎研究は技術革新の波にとって極めて重要ですが、最近の生成AI研究は民間企業が独占しています。これは主に、ChatGPT や Gemini などの大規模なモデルの構築とトレーニングに必要なコンピューティング能力とデータにアクセスできるためです。

生成 AI 研究には費用がかかります。 OpenAI CEO の Sam Altman 氏は、GPT-4 のトレーニングには約 1 億ドルかかると見積もっています。 Meta の CEO である Mark Zuckerberg は、2024 年初頭に 350,000 個の NVIDIA H100 GPU を購入して、Meta のコンピューティング能力を 600,000 個の NVIDIA H100 GPU に相当するレベルに拡張する計画を発表しました。 H100の販売価格4万ドル近くをベースに計算すると、数百億ドル規模の大型受注となる。

現在、このレベルの AI コンピューティング能力インフラストラクチャを用意できる大学は世界中にありません。 CS の強力な学校として、プリンストン大学は、米国の大学の中で最大規模の単一 AI コンピューティング能力クラスターの 1 つを持っています。ただし、このクラスターには 300 個の NVIDIA H100 GPU しかありません、今年3月に正式に導入されたばかりです。

プリンストン大学言語知性センター所長のサンジーブ・アローラ氏は、この問題について次のように述べています。計算能力がなければ、大規模な研究を行うことはできませんし、会話に参加する資格すらありません。”。

Reddit フォーラムの関連するディスカッションの中で、米国のトップ 5 に入る機械学習研究室の 1 つの博士課程の学生は、現時点では NVIDIA H100 を 1 台も持っていないと述べました。

▲米国トップ5の機械学習研究室の博士課程学生からの質問（出典：Reddit）

アジアから来た博士課程の学生も同じジレンマに直面していました。彼が使用する GPU のほとんどはコンシューマー グレードであり、クラスターではなく 1 つか 2 つしかありません。彼の学校には最近まで 8 台の H100 を備えたサーバーがあり、アクセスは限られていました。博士課程の学生はこう言いました。彼は幸運にも H100 GPU をトレーニングに使用できた 2 週間で、過去 6 か月で収集したよりも多くのデータを取得しました。

▲アジアで CV 研究に従事する学生は、自分が使用した一連の GPU を思い出しました (出典: Reddit)

別の学生は、学校がコンピューティング能力のサポートを提供できなかったと共有しました。彼は、インターン先の会社を通じて AWS クラウド コンピューティングの能力を 1,000 米ドルしか入手できません。これらのクォータを使用して 8 ブロック H100 クラスターを実行する場合、使用できるのは 1 日だけです。 、このレベルのコンピューティング能力では、質の高い研究を生み出すことはできません。同氏はまた、これが第三世界諸国におけるAI研究の標準であるとも述べた。

▲インターンシップ企業を通じて計算単位を取得した修士課程の学生の体験談（出典：Reddit）

欧州の大学の計算能力リソースも楽観視できるものではありません。ドイツに留学しているある学生は、学校では 16 個の A100 GPU と他の数十の GPU モデルも提供できるので、とても幸運だと語っていました。欧州では基本的に計算能力のサポートを提供していない大学や研究所が多い。

▲自分が持っているコンピューティングリソースに感謝するヨーロッパの学生（出典：Reddit）

ドイツのアーヘン工科大学の別の学生は、彼の学校には 200 個を超える NVIDIA H100 GPU があり、多くのネチズンの羨望の的となっていると共有しました。ただし、これらのリソースは全大学で共有されるほか、外部機関とも共有されます。計算に時間がかかる場合は、特別な申請が必要です。

▲ドイツのアーヘン工科大学の学生が学校のコンピューティング能力を共有（出典：Reddit）

産業界の人々は、大学における GPU 不足に驚いています。業界関係者によると、同氏は大手クラウドコンピューティングプロバイダーに勤務しているという。H100 GPU を毎日使用する 、そのためのソフトウェアを開発および修正します。別の業界関係者によると、H100のような需要の高い最先端GPUは、データセンターに追加される前に大企業の顧客によって大量に予約注文されることが多いため、ほとんどの研究者にとってH100は「希少」だという。

▲業界関係者は大学のGPU不足に驚いている（出典：Reddit）

コンピューティングリソースが不足している場合、長期にわたるトレーニングは非常に贅沢です。大学の AI コンピューティング パワー クラスターは、多くの場合、数日、場合によっては数週間前に申請する必要があります。たとえ使用したとしても、使用時間は限られています。大規模なトレーニング タスクの多くは 1 回の使用サイクル内で完了するのが難しく、研究者はチェックポイントとリカバリ コードの構築にも余分な労力を費やす必要があります。

コンピューティングリソースの不足は、大学における頭脳流出の問題も引き起こしています。 、生成 AI 研究に興味のある学生は大企業に目を向けました。一般に、大手テクノロジー企業は大学の数百倍、数千倍のコンピューティング能力を備えているため、これは AI の人材にとって非常に魅力的です。

2. コンピューティングパワーアライアンスを確立し、研究の方向性を変えることは大学には遅れを取るつもりもありません。

AI 研究での遅れと AI 人材の喪失という危機に直面している多くの大学は、さらなるコンピューティング能力の獲得に努め、研究の焦点をコンピューティング能力をあまり消費しない AI 研究分野に移しています。

コロンビア大学機械工学部のホッド・リプソン学部長は、「学術機関はコンピューティング能力の獲得に躍起になっている」と述べ、AI研究への産業界と政府の参加は重要であると強調した。しかし、これら 2 つの力のバランスをとるために、学者やオープンソース開発者などもこのテクノロジーの開発に発言権を持つ必要があります。

大学におけるコンピューティング能力の不足を軽減するために、多くの大学はコンピューティング能力クラスターの構築プロセスに政府を関与させてきました。 2024 年初頭、コロンビア大学、コーネル大学、ニューヨーク大学、レンセラー工科大学を含む 7 つの大学と研究機関が、ニューヨーク州政府および慈善団体と協力して、Empire AI と呼ばれるコンピューティングパワーアライアンスを設立しました。

▲Empire AIのアライアンスメンバー（出典：Empire AI公式サイト）

このコンピューティングパワーアライアンスは、約 4 億ドルの資金を調達しました。このうち 2 億 7,500 万米ドルは政府から提供され、残りの資金は提携に参加する 7 つの大学および研究機関から提供されます。彼らはその資金を使って高度な AI コンピューティング センターを構築し、アライアンス メンバーはこれらのコンピューティング リソースを共有しながら、保有コストも効果的に共有できます。

この提携を設立する根拠について、ニューヨーク州知事室は次のように述べています。現在、AI コンピューティング リソースは大手テクノロジー企業の手にますます集中しており、AI 開発エコシステムに対して大きな支配力を持っています。その結果、研究者、非営利団体、中小企業が取り残されており、これはAIの安全性と社会全体に大きな影響を与えます。

学界と産業界も積極的に協力しており、これはシリコンバレー、シアトル、オースティンなどの米国のテクノロジーハブではすでに一般的になっています。ワシントン大学コンピュータサイエンス工学部副学部長のダン・グロスマン氏は、大学には学術研究者が産業界で働くことを可能にするプログラムがあると語った。学術スタッフはより優れたリソースにアクセスでき、大学はこれらの人材を保持することができます。

実際、高いコンピューティング能力を必要としない重要な AI 研究プロジェクトが数多くあります。 、AI説明能力研究、AI計画・推論能力研究など。コンピューティング能力の制約の下で、大学の研究者は、学術コミュニティが業界に完全に追い越されないように、より的を絞った研究を実施し始めました。

コーネル大学コンピューティング情報科学学部長のカビタ・バラ氏は、大学は大規模な言語モデルの構築とトレーニングへの投資を減らし、大規模な言語モデルに基づくアプリケーションの開発により集中できると述べた。このようなアプリケーションは依然として最先端であり、独自のアプリケーション分野で大きな役割を果たします。

MIT 教授のアルマンド・ソーラー・レザマ氏は、コード開発に AI を活用することに重点を置いた研究を行っていますが、大規模なモデルをゼロから構築することは学界ではまったく実現不可能であると考えています。学生や研究者は、アプリケーションの開発や、大規模な言語モデルのトレーニングに使用できる合成データの作成に集中できます。

ソーラー・レサマ氏は、大学の教授らも率先してサーバーとチップの購入に資金を提供したが、資金だけが問題ではなかったと語った。たとえお金があっても、最高の GPU を入手するのは困難です。

結論: 大学における AI コンピューティング能力の不足は続いており、複数の関係者が協力することで状況を打開できる可能性があります。

大手テクノロジー企業が AI 研究を独占している現状では、大学における AI 研究はこれらの研究を効果的に補完するものです。大学の研究者は、企業内の研究者とは異なり、財務報告や市場の需要などの短期的な要因に影響されません。より多くのコンピューティングリソースを入手できれば、企業が注目していない、あるいは注目したくない分野で大きな影響を与える結果を生み出すことができるかもしれない。

実際、過去数十年間、AI は常に過小評価されてきた研究分野であり、ディープラーニングと機械学習のベストを着なければなりませんでした。しかし、ヒントン氏、ヤン・ルカン氏、ヨシュア・ベンジオ氏など、何十年も研究を続けてきた根気強い研究者がいるからこそ、現在のAI財団は実現しているのです。

ニューヨーク州の Empire AI のようなコンピューティングパワーアライアンスに加えて、北米の多くの大学や研究機関は、コンピューティングリソースを共有するためにさまざまな規模の機関間の協力も行っています。 2023年末には、中国の10以上の大学も中国大学コンピューティングパワーアライアンスを設立した。おそらくこの種の協力は、大学のコンピューティング能力不足を打開する希望をもたらすかもしれない。

出典: ウォール・ストリート・ジャーナル、レディット