ニュース

Apple公式発表:Apple IntelligenceをサポートするモデルはGoogleのカスタムチップでトレーニングされる

2024-07-30

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

この記事の著者: 李丹

出典: ハード AI

公開文書によると、Apple による独自の人工知能 (AI) システム「Apple Intelligence」の開発は、Google のカスタム チップのサポートと切り離せないものとなっています。

東部標準時間の 7 月 29 日月曜日、Apple の公式 Web サイトは、Apple のパーソナル インテリジェンス システムである Apple Intelligence をサポートするために開発されたいくつかの基本的な言語モデルを詳しく説明した技術文書を公開しました。これには、デバイス上で効率的に実行するために使用される約 30 億の言語モデル (パラメトリック モデル) が含まれます。クライアント側の「Apple Basic Model」(AFM)と、Apple のクラウド AI アーキテクチャ「Private Cloud Compute」用に設計された大規模なサーバー言語モデルであるサーバー AFM です。

この論文の中で Apple は、クライアントサイド AFM とサーバー AFM が Apple によって開発された生成モデルのファミリーのメンバーであり、これらのモデルはユーザーと開発者をサポートするために使用されていると紹介しました。 Appleは論文の中で、トレーニングモデルに第4世代AI ASICチップTPUv4とGoogleが開発した新世代チップTPUv5を使用していることを明らかにした。記事には次のように書かれています。

「私たちは、シーケンス長 4096 シーケンスとバッチ サイズ 4096 シーケンスを使用して、8192 個の TPUv4 チップ上でサーバー AFM をゼロからトレーニングし、6 兆 3000 億のトークン トレーニングを実施しました。」
「端末側の AFM は 2048 TPUv5p チップでトレーニングされています。」

47ページの論文の中でAppleはGoogleやNvidiaの名前には言及しなかったが、同社のAFMとAFMサービスは「クラウドTPUクラスタ」でトレーニングされていると述べた。これは、Apple がクラウド サービス プロバイダーからサーバーを借りて計算を実行することを意味します。

実際、今年6月のワールドワイド開発者会議(WWDC)中に、メディアはAppleが公開した技術文書の詳細から、GoogleがAI分野におけるAppleの取り組みのもう一つの勝者となったことを発見した。 Apple のエンジニアは、同社が自社開発したフレームワーク ソフトウェアとさまざまなハードウェアを使用して、Google Cloud でのみ利用できるテンソル プロセッシング ユニット(TPU)などの基本モデルを構築しました。ただし、AppleはNvidiaなど他のAIハードウェアサプライヤーと比較して、Googleのチップやソフトウェアにどの程度依存しているかは明らかにしなかった。

したがって、月曜日のソーシャルメディア X のコメントでは、6 月に Apple が Google チップを使用しているというニュースがあったと指摘されており、今回トレーニング スタックに関する詳細が判明しました。


Apple は Nvidia を嫌っているわけではないが、TPU の方が速いというコメントもありました。 TPUのほうが速いという意見もあるので、AppleがTPUを使うのは当然だが、もちろんNvidiaのチップよりも安いかもしれない。


月曜日のメディアコメントによると、GoogleのTPUはもともと社内ワークロード用に開発され、現在はより広く使用されているという。モデルのトレーニングに Google チップを使用するという Apple の決定は、一部のテクノロジー大手が AI トレーニングに関して Nvidia の AI チップの代替品を探し、見つけている可能性があることを示唆しています。

ウォール・ストリート・ジャーナルは、先週、メタ社のザッカーバーグCEOとアルファベットとグーグルのピチャイCEOが、自社や他のテクノロジー企業がAIインフラに過剰投資している可能性があると示唆したと述べた。しかし、そうしない場合のビジネスリスクが高すぎることは全員が認めています。

ザッカーバーグ氏はこう語った。

「遅れをとれば、今後 10 ~ 15 年で最も重要なテクノロジーで不利な立場に置かれることになります。」

ピチャイ氏はこう語った。

AI は高価ですが、投資不足のリスクはさらに大きくなります。 Google は、主に Nvidia GPU の購入など、AI インフラストラクチャに投資しすぎた可能性があります。たとえAIブームが鈍化したとしても、企業が購入したデータセンターやコンピューターチップは他の目的に使用できる。私たちにとって、過小投資のリスクは過剰投資のリスクよりもはるかに大きいです。