2024-10-03
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
nvidiaの「gpuフェスティバル」は終了するのか？
2022年11月30日に米国でopen ai社のchatgptがリリースされて以来、生成ai（人工知能）が大ブームとなり、ai半導体としてnvidiaのgpuが人気を集めている。しかし、gpu の生産には 2 つのボトルネックがあります。1 つは tsmc のミッドレンジ プロセスと、dram とスタックされた高帯域幅メモリ (hbm) であり、世界的な gpu 不足につながっています。 tsmc？」
これらのgpuの中でも「h100」の需要は特に高く、価格は4万ドルまで高騰し、いわゆるnvidiaの「gpuフェスティバル」を引き起こした。
このような状況下、tsmcは中工程のインターポーザー生産能力を2倍に増やし、skハイニックスなどのdramメーカーはhbmの生産を増やし、その結果「h100」のリードタイムは52週間から20週間に短縮された。
では、nvidiaの「gpuフェスティバル」は終了するのでしょうか？
そこでこの記事では、nvidia の「gpu day」が終了するかどうかについて説明します。結論から先に話しましょう。chatgptレベルのai開発・運用に必要なハイエンドaiサーバー（定義は後述）は2024年になっても3.9％しか出荷されないと予想されています。そのため、google、amazon、microsoftなどのクラウドサービスプロバイダー（csp）のニーズには全く応えられないと思われます。つまり、現時点ではnvidiaの「gpuフェスティバル」は始まりにすぎず、総合的な生成aiブームが到来しているということだ。
次に、nvidia gpu の 2 つの主要なボトルネックを簡単に確認してみましょう。
2 つの nvidia gpu ボトルネック
nvidia gpu の生産では、ファウンドリ tsmc が前工程、中間工程、後工程のすべてを担当します。ここで中間工程とは、gpu、cpu、hbmなどのチップを個別に製造し、12インチのシリコンウェハーから切り出した正方形の基板上に搭載する工程を指します。この基板はシリコンインターポーザーと呼ばれます（図1）。
図 1 nvidia gpu など、2.5d から 3d への中間プロセス (出典: 亀和田正)
また、tsmcが開発したnvidia gpuパッケージはcowos（chip on wafer on substrate）と呼ばれるものですが、ボトルネックとなるのはシリコンインターポーザーの容量とhbmの2つです（図2）。状況は以下の通りです。
図 2 cowos 構造と nvidia gpu の 2 つのボトルネック (出典: wikichip)
cowosは2011年に開発されましたが、その後、gpuの性能向上に伴いgpuチップのサイズは増大し続け、gpuに搭載されるhbmの数も増加してきました（図3）。その結果、シリコンインターポーザーは年々大型化しており、1 枚のウェハー上で利用できるインターポーザーの数は反比例して減少しています。
図 3 世代ごとに増加するインターポーザー面積と hbm 数 (出典: kc yee (tsmc))
また、gpuに搭載されるhbmの数も増加し、hbm内に積層されるdramチップの数も増加します。さらに、dram は 2 年ごとに微細化され、hbm 規格は 2 年ごとに更新され、性能が向上しています。そのため、最先端のhbmが不足しています。
このシナリオに基づき、tsmcはシリコンインターポーザーの生産能力を、2023年の夏頃に月当たり1万5000枚のウェハーから、今年の夏頃に月当たり3万枚以上のウェハーに倍増する予定だ。さらに、samsung electronicsとmicron technologyがnvidiaの認証を取得し、これまでsk hynixが独占していた最先端のhbmの供給を開始した。
上記の影響を受け、最も需要の高いnvidia h100の納期は52週間から20週間へと大幅に短縮されました。では、その結果、aiサーバーの出荷台数はどれくらい増加したのでしょうか？
2種類のaiサーバーの定義
digitimes research が発表した「global annual server shippings, 2023-2024」（servers report database, 2024）によると、ai サーバーには次の 2 種類があります。
hbm を搭載せず、2 つ以上の ai アクセラレータを搭載したシステムを「ユニバーサル ai サーバー」と呼びます。
hbm を利用した ai アクセラレータを少なくとも 4 つ搭載したシステムは、「ハイエンド ai サーバー」と呼ばれます。
ここでの ai アクセラレーターとは、ai アプリケーション、特にニューラル ネットワークや機械学習を高速化するために設計された特別なハードウェアを指します。代表的な例としては、nvidia の gpu があります。また、chatgptレベルの生成aiの開発・運用には、汎用aiサーバーではなく、ハイエンドaiサーバーが多数必要となります。
では、一般的なaiサーバーとハイエンドaiサーバーの出荷台数はどれくらいなのでしょうか？
一般的なaiサーバーとハイエンドaiサーバーの出荷
図4は、2022年から2023年までの汎用aiサーバーとハイエンドaiサーバーの出荷台数を示しています。一般的なaiサーバーの出荷台数は2022年に34万4,000台、2023年に47万台、2024年に72万5,000台と予想されている。
図 4 一般的な ai サーバーとハイエンド ai サーバーの出荷台数 (2022 ～ 2024 年) (出典: digitimes research)
同時に、chatgptレベルの生成aiの開発・運用に必要なハイエンドaiサーバーは、2022年に3万4,000台、2023年に20万台、2024年に56万4,000台の出荷が見込まれている。
では、ハイエンド ai サーバーの出荷は米国の csp のニーズを満たすことができるのでしょうか?
図5にサーバ、一般aiサーバ、ハイエンドaiサーバの出荷台数を示します。この図を描いて見たときに、「ハイエンドのaiサーバーがこれだけ出荷されているのか？」と驚いたのは、サーバー全体で見ると、汎用のaiサーバーなのかどうかが分からないからです。は依然としてハイエンドの人工知能サーバーであり、出荷台数は非常に少ないです。
図5 サーバ、汎用aiサーバ、ハイエンドaiサーバの出荷台数
出典：mic、digitimesより筆者作成
chatgpt レベルの生成 ai を開発して実行するには、何台のハイエンド ai サーバーが必要になるかを調べたとき、さらにがっかりしました。
chatgpt レベルで ai を生成するにはハイエンド ai サーバーが必要
chatgptの開発と運用には、30,000台のnvidia dgx h100ハイエンドaiサーバーが必要であると報告されています（図6）。この3万台という数字を見たときは、目眩がしてしまいました。
図 6 chatgpt を実行するにはハイエンド ai サーバーが何台必要ですか? （出典：hpcウェブサイト）
ちなみに、「nvidia dgx h100」は「h100」チップを8個搭載しており、各チップの価格は4万ドルまで高騰しており、システム総額は46万ドルとなっている。つまり、chatgptレベルのaiを生成するには、3万台×46万ドル＝138億ドル（1ドル＝145円換算で約2兆円！）の投資が必要となる。
世の中には生成aiシステムがあふれていると思いますが、chatgptのような生成aiは実際にどれくらい構築されている（あるいはこれから構築される予定）のでしょうか？ (図7)
図 7 サーバー出荷台数、ハイエンド ai サーバー出荷台数、および chatgpt レベルで生成された ai システムの数 (出典: mic および digitimes)
2022 年のハイエンド ai サーバーの出荷台数は 34,000 台であるため、chatgpt レベルの ai システムは 1 つしか構築できません (これが chatgpt です)。翌2023年にはハイエンドaiサーバーの出荷台数が20万台に達すると予想されており、chatgptレベルのaiシステムを6～7台構築できるようになる。 2024年には56万4,000台のハイエンドaiサーバーが出荷される予定なので、18～19台のchatgptレベルのaiシステムを構築できることになる。
ただし、上記の試算は、3万台のハイエンドaiサーバー「nvidia dgx h100」でchatgptレベルのaiを構築できることを前提としている。ただし、ai の世代はさらに複雑になる可能性があるため、この場合は 30,000 台を超える nvidia dgx h100 が必要になる可能性があります。すべてを考慮すると、米国の通信サービス プロバイダーが現在のハイエンド ai サーバーの出荷に満足している可能性は低いです。
ここで、各エンド ユーザー (米国の csp など) が何台のハイエンド ai サーバーを所有しているかを見てみましょう。
エンドユーザー向けのハイエンド ai サーバーの数
図 8 は、エンド ユーザーごとのハイエンド ai サーバーの数を示しています。 2023年には、openaiを所有するmicrosoftが6万3000台のハイエンドaiサーバーを保有し最多となるが、2024年にはgoogleがmicrosoftを追い抜き、ハイエンドaiサーバーの台数が最多となる。
図 8 エンド ユーザー別のハイエンド人工知能サーバー (2023 ～ 2024 年) (出典: digitimes research)
2024年のトップ5は、googleが16万2000台（5システム）で1位、マイクロソフトが9万台（3システム）で2位、super microが6万8000台（2システム）で3位、アマゾン（6万7000台）が4位となった。次いで meta が 46,000 台 (1 システム) で 5 位にランクインしました (括弧内は chatgpt クラス生成 ai が構築できるシステム数)。米国の太陽熱発電会社上位5社が約8割のシェアを独占していることがわかる。
次に、ai アクセラレータのハイエンド ai サーバーの出荷台数を見てみましょう (図 9)。予想通り、nvidia の gpu が ai アクセラレータに最も多く使用されており、2024 年には 336,000 ユニットに達します。しかし、驚いたことに、2番目に人気のある企業はamdではなくgoogleです。
図 9 ai アクセラレータ別のハイエンド ai サーバー (2023 ～ 2024 年) (出典: digitimes research)
google は ai アクセラレータとして独自の tensor processing unit (tpu) を開発しました。このtpuを搭載したハイエンドaiサーバーは2024年までに13万8000台に達する。ここで、図 8 から、google は 2024 年までに 162,000 台のハイエンド ai サーバーを保有することがわかります。そのため、13万8000台にはgoogle独自のtpuが搭載され、残りの2万4000台にはnvidiaのgpuが搭載されると予想される。つまり、nvidia にとって、google は顧客であると同時に手強い敵でもあるのです。
また、2024年の出荷台数を見ると、3位のamdが4万5000台、次いで4位のamazonが4万台となっている。 amazon は、人工知能アクセラレーターとして aws trainium も開発しています。これ以上待てばamdがamazonに追い抜かれるかもしれない。
要約すると、現在 ai アクセラレータの出荷量が最も多いのは nvidia ですが、google と amazon がその強力な競争相手になりつつあります。 nvidia の競合相手は、プロセッサ メーカー amd ではなく (もちろん、絶滅危惧種の intel ではありません)、米国の csp である google と amazon です。
本格的な生成aiブームが到来
これまでのことをまとめてみましょう。 digitimes research のレポートによると、chatgpt レベルの生成 ai を開発および実行できるハイエンド ai サーバーの出荷台数は、2024 年までに全サーバーの 3.9% にとどまると予想されています。この出荷量では csp のニーズを満たすことができないと考えられます。
つまり、2023年から2024年にかけてのnvidiaの「gpuフェスティバル」は、まだ序章にすぎない。その結果、本格的な生成aiブームが到来する可能性がある。以下にその基本を示しましょう。
図 10 は、半導体工業会 (sia) が発表したアプリケーション別の半導体市場とその将来予測を示しています。 sia の予測によると、世界の半導体市場は 2030 年に 1 兆米ドルを超えると予想されています。
図10 用途別半導体出荷予測（出典：siaブログ）
2030 年までに、最大の市場はコンピューティングとデータ ストレージになるでしょう。これにはpcとサーバー（もちろんハイエンドaiサーバーも）が含まれるが、pcの出荷台数が大幅に増える可能性は低いため、サーバーが大半を占めることになるだろう。
有線通信とは、データセンターで使用される半導体のことを指します。これは、2030年までにコンピューティングとデータストレージ（3,300億ドル）＋有線通信（600億ドル）＝合計3,900億ドルがデータセンター用半導体（pc含む）となり、世界最大の市場になることを意味する。
もう一つ注目すべきはデータセンター市場とその展望です。図 11 に示すように。 2022 年の chatgpt リリース後、データセンター市場は着実に成長すると予想されます。データセンターはネットワークインフラ、サーバー、ストレージの3要素で構成されており、サーバーとストレージは2023年から2029年にかけてそれぞれ約2倍に増加すると予想されている。
図11 データセンター市場の見通し（総合的な生成aiブームはまだ到来していない） （出典：statista market insightsのデータをもとに筆者作成）
これにより、サーバー半導体（ハイエンドaiサーバー含む）が世界市場で最大のシェアを占め、データセンター市場も拡大すると考えられます。
最後にもう一度繰り返します。今のところ、nvidia の「gpu festival」は単なるホリデー前のイベントです。本格的な生成aiブームが到来しています。
