ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

新しい知恵のレポート

編集者: タオジ

【新しい知恵の紹介】意外なことに、マルチモーダルなラマ 4 はすでに本格的にトレーニングを開始しています。 Xiao Zha氏は、2025年にリリースされる予定のモデルのトレーニングにLlama 3の計算量の10倍を投資すると述べた。彼は大金を投じて GPU を購入しましたが、手遅れになるのではないかと心配していました。

Llama 3.1 がリリースされたばかりで、Llama 4 は完全にトレーニングされています。

ここ数日、Xiao Zha氏は第2四半期の財務報告で、Metaは2025年にリリースされる予定の次世代マルチモーダルLlama 4のトレーニングにLlama 3の10倍の計算能力を使用すると述べた。

この法案により、老黄氏が再び最大の勝者となった

計算量10倍とはどういう概念でしょうか？

ご存知のとおり、Llama 3 は 24,000 個の GPU を備えた 2 つの GPU クラスターでトレーニングされています。言い換えれば、Llama 4 のトレーニングには 240,000 の GPU が必要です。

では、メタインベントリは十分なのでしょうか?

Xiao Zha氏が今年の初めに、年末までに35万台のNvidia H100を導入する計画だと発表したことを今でも覚えています。

同氏はまた、Meta が LLM のトレーニング用に 2 つの単一クラスターを内部で構築し、1 つは 22,000 の H100 ブロックを備え、もう 1 つのクラスターは 24,000 のブロックを備えていることも明らかにしました。

一部のネチズンは、Llama モデルの反復プロセス中に GPU 使用率がどのように増加したかをレビューしたことがあります。

ラマ 1: 2048 GPU

Llama 2: 4096 GPU

ラマ 3.1: 16384 GPU

さもなければ400億米ドルを費やす、シャオ・ザーは手遅れになることを望んでいない

大規模なモデルのトレーニングにはコストがかかることがわかります。

財務報告書によると、メタ社のサーバー、データセンター、ネットワークインフラへの資本支出は第2四半期に33%近く増加しました。

前年同期の64億米ドルから85億米ドルに増加した。

年間支出は370億～400億ドルと予想されており、これまでの予想の350億～400億ドルから増加した。

Informationの報告書によると、OpenAIはトレーニングモデルに30億ドルを費やし、さらに40億ドルをMicrosoftから割引価格でサーバーをレンタルしたという。

大規模なモデルをトレーニングするためにコンピューティング能力を費やすことがいかに皮肉なことであるかがわかります。

しかし重要なのは、Llama 3.1 のオープンソースが AI 業界の重要な転換点となり、オープンソースの人工知能が Linux のような業界標準になり始めることです。

Meta は、次世代の AI モデルをサポートするために、今後数年間にコンピューティング クラスターとデータ センターを計画しています。

Xiao Zha氏は、AI技術の将来の発展経路を予測するのは難しいが、インフラストラクチャの構築はすぐには進まないと認めた。

不確実性はありましたが、準備不足で競合他社に後れを取るのではなく、事前に構築するリスクを負うつもりでした。

Xiao Zha の先見の明により、同社はかつてメタバースの波の中で目立つ存在になりました。

2022年に同社の株価が大打撃を受けたときも、シャオ・ザ氏はリスクを冒して大量のH100を購入した。

同年の第 3 四半期財務報告書によると、メタの資本支出は 320 億米ドルから 330 億米ドルにも達しました。

その多くは、データ センター、サーバー、ネットワーク インフラストラクチャの構築と、メタバースへの巨額の投資に当てられます。

インタビューの中で Xiao Zha 氏は、「当時、Meta は短編ビデオ ツール Reels を精力的に開発していたため、モデルをトレーニングするにはさらに多くの GPU が必要でした。」と説明しました。

Meta にとってモデル推論は重要な問題であるため、Facebook や Ins などの独自のアプリケーションのユーザーにサービスを提供する必要があります。

Xiao Zha の原文の言葉では次のようになります。

当社が必要とする推論計算とトレーニングの割合は、この分野に携わる他の企業よりもはるかに高い場合があります。これは、当社がサービスを提供しているコミュニティ ユーザーの数が非常に多いためです。

誰もが AI エージェントを持っています

少し前に、メタAI科学者のトーマス・シャイロム氏もブログインタビューで、ラマ4が6月に訓練を開始したと述べた。

同氏は、新しいモデルはエージェント技術に焦点を当てている可能性があり、Toolformerなどのエージェントツールについていくつかの研究が行われていると述べた。

Xiao Zha氏は、AIエージェントが間もなくオンライン企業の「標準装備」になるだろうと信じている。

「時間が経つにつれて、すべての企業が Web サイト、ソーシャル メディア アカウント、電子メール アドレスを持つように、将来的にはすべての企業が顧客と対話できる AI エージェントを持つようになると思います。」

Meta の目標は、すべての中小企業、そして最終的にはすべての大企業さえも、自社のコンテンツや製品を AI エージェントに簡単に統合できるようにすることです。

この技術が大規模に実用化されれば、当社のビジネス情報収入は大幅に加速するでしょう。

メタ社のAIとメタバースへの多額の支出に対する投資家からの批判にもかかわらず、ザッカーバーグ氏は自身の戦略にコミットし続けている。

Metaではここ数四半期、仮想現実は後回しになっているようだが、ザッカーバーグ氏はQuest 3の売上が同社の予想を上回ったと確かに言及した。

第 2 四半期の数字によると、この分野の収益は 22% 増加して 391 億米ドルとなり、利益は 73% 増加して 135 億米ドルとなりました。

メタ社は第３・四半期の売上高が３８５億─４１０億ドルの範囲になると予想している。

関係者によると、同社は9月のConnectカンファレンスでより安価なヘッドフォンを発表する予定だという。

さらに、AIアシスタントのMeta AIはますます人気が高まっており、年末までに最も広く使用されるAIアシスタントになるとシャオ・ザー氏は述べた。

参考文献:

https://the-decoder.com/meta-plans-to-use-10-times-more-compute-power-to-train-its-next-generation-lama-4-ai-model/

https://www.theverge.com/2024/7/31/24210786/meta-earnings-q2-2024-ai-llama-zuckerberg