ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

賢いもの
著者：志東熙編集部

Zhidongxi は 7 月 24 日、昨夜 Meta がこれまでで最も強力なオープンソース モデルの立ち上げを発表したと報じました—ラマ 3.1 405B、新しくアップグレードされた Llama 3.1 70B および 8B モデルもリリースされました。

Llama 3.1 405B は、次のコンテキスト長をサポートします。128Kトークン、 に基づく15兆トークン、16,000 を超える H100 GPUこれは、Meta がこの規模でトレーニングした最初のラマ モデルです。

150 を超えるベンチマーク テスト セットに基づいた研究者の評価結果は、次のことを示しています。Llama 3.1 405B は GPT-4o で動作します、Claude 3.5 Sonnet、Gemini Ultra、その他の業界の主要モデル。。

Meta の創設者兼 CEO の Mark Zuckerberg 氏は、その優れたパフォーマンスに加えて、クローズドソース モデルよりも優れたコストとパフォーマンスを備えていると個人的に記事を発表しました。405B オープンソース モデルは、企業が小規模なモデルを微調整してトレーニングするための最良の選択肢となるでしょう。

Meta AI は、Llama 3.1 405B へのアクセスを発表し、AI 画像編集、AI プログラミング、VR/AR デバイス インテリジェント アシスタントなどの新機能を開始しました。ザッカーバーグ氏はこう予言した。メタ AI アシスタントの使用量は数か月以内に ChatGPT を超える。

▲Meta AI は、Quest ヘッドセットとユーザー間のリアルタイムのオーディオおよびビデオ インタラクションをサポートします

Meta のオープンソース エコシステムも準備が整っています。 メタと25 社以上のパートナーLlama 3.1 モデルには、Amazon AWS、NVIDIA、Databricks、Groq、Dell、Microsoft Azure、Google Cloud などが含まれます。

現在までに、Llama モデルのすべてのバージョンの合計ダウンロード数は次を超えています。3億回、主流のクローズドソースモデルに相当するLlama 3.1モデルのリリースは、Metaが伝えたいオープンソースモデルの物語がまだ始まったばかりであることを意味しているのかもしれません...

モデルのダウンロード リンク:

https://llama.meta.com/

https://huggingface.co/meta-llama

論文リンク:

https://t.co/IZqC6DJkaq

▲Meta Llama 3.1 モデル論文解釈の要旨

1. 405B オープンソース モデルは GPT-4o に対してベンチマークされており、25 のパートナーが準備を整えています

Meta は 150 以上のベンチマーク データセットのパフォーマンスを評価し、常識、操作性、数学、ツールの使用法、多言語翻訳などの一連のタスクにおいて、Llama 3.1 405B が GPT-4o、Claude 3.5 Sonnet、および Gemini Ultra に匹敵することを発見しました。 。

現実のシナリオでは、Llama 3.1 405B が人間による評価と比較されました。全体的なパフォーマンスは GPT-4o および Claude 3.5 Sonnet よりも優れています。

アップグレードされたラマ 3.1 8B および 70Bまた、これらの小さいパラメーター モデルは、同じ 128K トークンのコンテキスト ウィンドウ、多言語、改良された推論、およびより高度なアプリケーションをサポートする最先端のツールの使用をサポートしています。

Meta はライセンスを更新し、開発者が 405B パラメータ スケールを含む Llama モデルの出力を使用して他のモデルを改善できるようになりました。

同時に、Meta のオープンソース エコシステムはさらに拡大し、25 社以上の企業が新しい Llama 3.1 モデルを立ち上げました。

で、Amazon クラウド テクノロジー、Databricks、Nvidia開発者が独自のモデルを微調整してトレーニングできるように、サービスの完全なスイートが展開されています。 AIチップスタートアップのGroqらは、今回Metaが発表したすべての新モデルに対して低遅延・低コストの推論サービスを構築した。

同時に、これらのモデルは、Amazon クラウド テクノロジー、Microsoft Azure、Google Cloud、Oracle主要なクラウドプラットフォーム上でサービスを提供します。

AI のスケール、デル、デロイトLlama のような企業は、企業が Llama モデルを導入し、独自のデータを使用してカスタム モデルをトレーニングできるよう支援する準備ができています。

Llama 3.1 405B は最強のオープンソース モデルであるだけでなく、オープンソースとクローズド ソースの距離が再び大幅に縮まると期待されています。

2. トレーニング スタックを完全に最適化し、モデルをスケーラブルにすることに重点を置きます

研究者が望む結果を妥当な時間内で達成しながら、15 兆のトークンに基づいてモデルをトレーニングできるようにするために、Meta はトレーニング スタックを完全に最適化しました。

上記の課題に対処するにあたり、Meta は、モデル開発プロセスをスケーラブルかつより簡単に保つ戦略に重点を置くことを選択しました。

1. 研究者が選んだのは標準デコーダ専用の Transformer モデル アーキテクチャMoE ハイブリッド エキスパート モデルを使用する代わりに小さな調整を行うと、トレーニングの安定性を最大限に高めることができます。

2. 研究者が使用したのはトレーニング後の反復手順 、各ラウンドで監視付き微調整と直接優先最適化を使用します。これにより、モデルはラウンドごとに最高品質の合成データを作成でき、あらゆる機能のパフォーマンスが向上します。

以前の Llama シリーズ モデルと比較して、Meta はトレーニング前とトレーニング後に使用されるデータの量と質を向上させます。これらの改善には以下が含まれますトレーニング前データのためのより慎重な前処理と管理パイプラインを開発し、より厳格な品質保証を開発し、トレーニング後データのフィルター方法を開発します。。

大規模な言語モデルのスケーリングの法則から予想されるように、Meta の新しい主力モデルは、同じ戦略を使用してトレーニングされた小規模なモデルよりも優れたパフォーマンスを発揮します。 Meta は、405B パラメーターを備えたモデルを使用して、より小規模なモデルのトレーニングの品質も向上させました。

同時に、405B パラメータ モデルの大規模な推論をサポートするために、研究者らはモデルを BF16 から FP8 に量子化し、必要なコンピューティング要件を効果的に削減し、単一のサーバー ノード内でモデルを実行できるようにしました。

指示とチャットの微調整に関して、研究者らは、事前トレーニングされたモデル上で数回のアライメントを実行することで最終モデルを生成しました。各ラウンドには教師あり微調整 (SFT)、拒絶サンプリング (RS)、および直接優先最適化 (DPO)。SFT サンプルの大部分は、すべての機能にわたって高品質の合成データを生成する合成データ生成を使用して生成されます。

さらに、Meta は複数のデータ処理技術を採用してこれらの合成データを最高品質にフィルタリングし、新しいモデルが機能のスケーラビリティ全体にわたってデータ量を微調整できるようにします。

データ面でも、研究者はデータのバランスを注意深く調整して、すべての機能を備えた高品質のモデルを作成しました。たとえば、短いコンテキストのベンチマークでモデルの品質を維持すると、128K のコンテキスト長まで拡張できます。

さらに、Meta は総合的なサービスの開始も発表しました。ラマシステム 。 Llama モデルをカバーすることに加えて、このシステムには複数のコンポーネントの調整と外部ツールの呼び出しも含まれており、開発者が基本モデルよりも強力なカスタマイズされた製品を開発できるようにします。

Llama システムは、オープンソースの新しいコンポーネントを含む、さまざまな新しいコンポーネントをカバーします。セキュリティツール Llama Guard 3 (多言語セキュリティ モデル) や Prompt Guard (インスタント インジェクション フィルター) など。異種コンポーネントを接続するために、Meta は、サードパーティ プロジェクトが Llama モデルを活用しやすくするための標準インターフェイスである Llama Stack API に関するコメントのリクエストも発行しました。

一般の開発者にとって、405B スケール モデルの使用は依然として困難であり、多くのコンピューティング リソースと専門知識が必要です。

Llama システムに基づく生成 AI 開発は、モデルをプロンプトするだけではなく、リアルタイムおよびバッチ推論、教師付き微調整、特定のアプリケーション向けのモデル評価、継続的など、より多くのタスクを実行するために 405B モデルを使用できるようにする必要があります。事前トレーニング、検索強化生成 (RAG)、関数呼び出し、合成データ生成など。

これは、これまでに Meta によって発売された最大のモデルであり、将来的には、よりデバイスに適したサイズ、より多くのモード、およびエージェント レベルのアップデートがリリースされる予定です。

三つ、405B大型モデル爆発改造メタAI、クエストインテリジェント音声アシスタントアップグレード

現在、Meta が所有する複数の端末、WhatsApp とメタ AI チャットボットZhongdu は Llama 3.1 405B を使い始めました。

Meta AI は現在、7 つの新しい言語をサポートしています。今回、Meta は、主にビジュアル生成、数学、コーディングなどの分野に焦点を当てた、一連の新しい Meta AI クリエイティブ ツールを発表します。

ビジュアル生成の初見、Meta AI が起動「Imagine Me」画像生成プロンプト機能これにより、ユーザーはメタ AI チャットに「私を想像してください」と入力し、「私を王族として想像してください」や「超現実的な絵画の中の私を想像してください」などのプロンプトを追加して画像を生成し、友人や家族と共有できるようになります。

メタAIがオンラインになる「AIで編集」この機能を使用すると、ユーザーはマウスをクリックするだけでオブジェクトを簡単に追加または削除したり、「猫をコーギーに変更」など、画像の残りの部分を変更せずにオブジェクトを変更および編集したりできます。 Meta AI は、Instagram、Messenger、WhatsApp などのソーシャル プラットフォームだけでなく、Facebook の投稿への新しく作成した画像の追加もサポートします。

数学とプログラミングでは、ユーザーはステップバイステップの説明とフィードバックで数学の課題をサポートし、デバッグのサポートと最適化の提案でより速くコードを記述し、専門家の指導で複雑な技術的および科学的概念を習得できます。

ユーザーは、Meta AI のコーディング専門知識と画像生成機能を組み合わせて、新しいゲームを最初から構築したり、古典的なゲームに新たな解釈を加えたりすることができます。素晴らしいアイデアを実現するのに数分しかかかりません。さらに、ユーザーがゲームを直接プレビューできるようになります。

メタAIは次のような用途にも適していることは言及する価値があります。Ray-Ban メタ スマートグラス 、来月、米国とカナダのメタクエストで実験モードで開始されます。 メタ AI は Quest の現在の音声コマンドを置き換え、ユーザーがヘッドセットをハンズフリーで制御したり、質問に答えたり、リアルタイムの情報を入手したり、天気を確認したりできるようにします。

ユーザーは、物理環境で見ているものについて質問するなど、ヘッドセットで見ているビューで Meta AI を使用することもできます。

4. ザッカーバーグの公開書簡: オープンソースは開発者、メタ、そして世界にとってより良い

Llama 3.1シリーズがリリースされたばかりだが、同時にザッカーバーグ氏の長いブログが公式サイトに開設され、オープンソースモデルとクローズドソースモデルの火薬の匂いがさらに強くなっている。

▲ザッカーバーグ氏の公開書簡の一部のスクリーンショット

ザッカーバーグ氏は冒頭、オープンソースモデルとクローズドソースモデルの間の差が徐々に縮まりつつあると述べた。昨年の Llama 2 は、前世代の最も先進的なクローズドソース モデルと同等のレベルにすぎませんでした。今年、Llama 3 は最先端のモデルと同等の性能を発揮し、いくつかの分野でリードしています。

来年からはラマモデルが業界で最も先進的なモデルになると彼は予想している 。そして、現在の Llama シリーズ モデルは、オープン性、変更可能性、費用対効果の点ですでに主導的な地位にあります。

彼はブログの中で、クローズドソース モデルを直接指摘し、オープンソース AI がなぜ開発者にとって良いのか、なぜオープンソース AI がメタにとって良いのか、そしてなぜオープンソース AI が世界にとって良いのかという 3 つの主要な質問に答えました。

まず、なぜオープンソース AI が開発者にとって良いのでしょうか?

彼は、開発者は特定のニーズに合わせて独自のモデルをトレーニングし微調整する必要がある、開発者は閉鎖的なサプライヤーに縛られるのではなく、自分たちの運命をコントロールする必要がある、と考えています。開発者は長期的な標準となるエコシステムに投資したいと考えています。

Meta にとってオープンソース AI の利点は、Meta のビジネス モデルが人々に最高のエクスペリエンスとサービスを構築することであり、そのためには常に最高のテクノロジーにアクセスできるようにし、閉鎖的なものに陥らないようにする必要があると彼は考えています。競合他社のエコシステム。

同時に、オープンソース AI は、Meta が Llama を業界標準となる可能性のある完全なエコシステムに開発することを促進します。

同氏はまた、Meta とクローズドソース モデルのプレーヤーとの主な違いの 1 つは、AI モデルへのアクセスを販売することが Meta のビジネス モデルではないことであると述べました。つまり、オープンソースは収益、持続可能性、研究能力への継続的な投資を妨げないということです。 。

最後に、Meta にはオープンソース プロジェクトと成功の長い歴史があります。

オープンソース AI モデルの安全性をめぐる議論について、ザッカーバーグ氏は次のように述べています。オープンソース AI は他の選択肢より安全です 。彼は、オープンソースによって、世界中のより多くの人々が AI によってもたらされる恩恵と機会を確実に享受できるようになり、権力が少数の企業の手に集中せず、テクノロジーが社会全体により均等かつ安全に適用できるようになると信じています。

結論: Meta は新たな動きを見せ、大規模モデルのオープン ソースとクローズド ソースに関する議論は変わりました。

オープンソースの大規模モデルとクローズドソースの大規模モデルの戦いは続いています...

Meta Llama 3.1 シリーズのモデルのリリースから、大規模なオープンソース モデルとクローズドソース モデルの間の差が縮まりつつあり、互いに歩調を合わせ、追いつき合う傾向が強いことがわかります。 。オープンソースの大規模モデル陣営の忠実なサポーターであり、技術革新のパイオニアである Meta は、Llama シリーズのモデルのリリース以来、独自のオープンソース エコシステムを構築することを決意してきました。同時に、以前の Llama モデルと比較して、Meta はこの新しいモデルのリリースに向けて社内チームを構築し、できるだけ多くの開発者やパートナーが Llama シリーズを使用できるようにします。

Metaは新たな動きを見せており、オープンソースモデルとクローズドソースモデルの議論の結論はさらに混乱している。しかし、最終的には、実際のアプリケーションでは、多くの企業や開発者が特定のニーズや状況に応じてオープンソース モデルを使用するか、クローズド ソース モデルを使用するかを選択することになるため、モデルの具体的な機能とその適用可能な実際の機能を証明するには時間がかかります。人生のシナリオ。