ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

バイジャオはアオフェイ寺院から来ています

パブリックアカウント QbitAI

リアマ 3.1正式リリース、大型モデルの王座に浮上！

150 を超えるベンチマーク テスト セットにおいて、バージョン 405B のパフォーマンスは既存の SOTA モデルと同等かそれを上回っています。GPT-4oそしてクロード3.5ソネット。

つまり今回は、最強のオープンソースモデルは最強のモデルである。

これ以前にも、Llama 3.1は何度も暴露され、流出しており、現在では長い間待ち望まれていたと言えます。

本日より公式サイトでモデルをダウンロードして利用できるようになり、メタAIアプリもオンラインで試用できるようになりました。

研究コミュニティによってさらに高く評価されているのは、Llama 3.1 の作成プロセスのすべて (事前トレーニング データ、フィルタリング、アニーリング、合成データ、スケーリング則、インフラストラクチャ、並列処理、トレーニング) を網羅した 100 ページ近い詳細な論文のリリースです。レシピ、トレーニング後の適応、ツールの使用法、ベンチマーク、推論戦略、定量化、ビジョン、音声、ビデオ...

HuggingFace の主任科学者は次のように賞賛しました。大規模なモデルをゼロから研究し始めている場合は、この論文を読み始めてください。

シャオ・ジャザッカーバーグ彼はブルームバーグとの最新インタビューでもそれを嘲笑した。オープンAI。

アルトマン氏のリーダーシップは称賛に値しますが、OpenAI という名前の会社がクローズド人工知能モデル構築のリーダーになったのは少々皮肉なことです。

Xiao Zha もこれに特化した長い記事を書きました。オープンソース AI が前進への道。

以前は、オープンソース モデルは、パフォーマンスや機能などの点でクローズド ソース モデルに比べて遅れをとっていましたが、現在は次のようになります。

オープンソース Linux と同様に、クローズド ソース システムの中で目立って人気を博し、徐々に高度かつ安全になり、クローズド ソース システムよりも広範なエコシステムを持ちます。

私は Llama 3.1 が業界の転換点になると信じています。

現在までに、Llama のすべてのバージョンの合計ダウンロード数は 3 億回を超えており、Meta は次のような大胆な主張も行っています。

これは始まりにすぎない。

主要なクラウド ベンダーもできるだけ早く Llama 3.1 のサポートを開始しており、その価格は江おばさんの価格です。

LIama 3.1が正式リリース

まずモデルの機能を見てみましょう。

Llama 3.1 では、コンテキストの長さが 128K に拡張され、8 つの言語のサポートが追加されました。

中でも超大型カップ405Bバージョンは、常識性、操作性、数学性、ツールの使用性、多言語翻訳機能の点で既存の上位モデルに並び、それを上回りました。

さらに、8B モデルと 70B モデルのアップグレード バージョンも発売されており、それらの機能は、同じパラメータを持つ上位モデルと基本的に同じです。

もう一度見てみましょうモデルアーキテクチャ。

公式の紹介によると、15 兆を超えるトークンで Llama 3.1 405B モデルをトレーニングするのは非常に困難です。

この目的を達成するために、トレーニング スタック全体を大幅に最適化し、モデルの計算能力スケールを初めて 16,000 個を超える H100 GPU に拡張しました。

具体的には、標準のデコーダのみを引き続き使用します。変成器アーキテクチャを変更し、いくつかの小さな変更を加え、各ラウンドで SFT (教師あり微調整) と DPO (直接優先最適化) を使用した反復的なポストトレーニング プロセスを採用して、各機能のパフォーマンスを向上させます。

Llama の以前のバージョンと比較して、トレーニング前とトレーニング後に使用されるデータの量と質が向上しました。

405B サイズ モデルの量産推論をサポートするために、Meta はモデルを 16 ビット (BF16) 値から 8 ビット (FP8) 値に量子化し、必要なコンピューティング要件を効果的に削減し、モデルを単一のサーバー ノード内で実行できるようにしました。

存在する命令の微調整一方で、Meta は、ユーザーの指示に対するモデルの応答能力も向上させ、セキュリティを確保しながら詳細な指示に従う能力も強化します。

トレーニング後の段階では、Meta は事前トレーニングされたモデルに基づいて複数ラウンドの位置合わせを実行します。

各ラウンドには、教師あり微調整 (SFT)、拒否サンプリング (RS)、および直接優先最適化 (DPO) が含まれます。

彼らは合成データを使用して SFT サンプルのほとんどを生成し、数回繰り返しました。

さらに、これらの合成データを最高品質にフィルタリングするために、さまざまなデータ処理技術が使用されます。

合計 15T のトークンが Llama 2 モデルを使用してクリーニングおよびフィルタリングされ、コードおよび数学関連のデータ処理パイプラインは主に Deepseek のメソッドを利用します。

Meta 関係者は、プロンプトの言葉による最も基本的な応答に加えて、一般の開発者はこれを使用して次のような高度な操作を行うことができると述べました。

リアルタイムおよびバッチ推論

微調整を監督する

特定のアプリケーションのモデルを評価する

継続的な事前トレーニング

検索拡張生成 (RAG)

関数呼び出し

合成データの生成

そしてその背後には、強力な環境パートナーのサポートがあります。

Xiao Zha が長い記事を書いています: オープンソース AI が前進する道です

（以下はビ​​ッグモデルが翻訳し、主な内容を抜粋したものです。抜けや間違いがあれば修正してください！）

ハイ パフォーマンス コンピューティングの初期の頃、当時の大手テクノロジー企業は、独自のクローズド ソース バージョンの Unix の開発に多額の投資を行っていました。当時は、このような高度なソフトウェアがクローズド ソース以外の方法で作成できるとは想像するのが困難でした。しかし、オープン ソースの Linux オペレーティング システムは、最終的には広く普及しました。当初は、開発者が自由に、より安価にコードを変更できるため、時間の経過とともに、Linux はより高度で安全になっただけでなく、クローズド ソースの Unix よりも広範なエコシステムを構築しました。システム、より多くの機能をサポートします。今日、Linux は次のようになりました。クラウドコンピューティングほとんどのモバイル デバイス オペレーティング システムの業界標準の基盤であり、その結果、私たち全員がより優れた製品を享受できます。

人工知能も同じように発展すると信じています 。現在、いくつかのテクノロジー企業が主要なクローズドソース モデルを開発しています。しかし、オープンソースが急速にそのギャップを埋めつつあります。昨年、Llama 2 は 1 世代前のモデルとしか比較できませんでした。今年、Llama 3 は最先端のモデルと競合し、いくつかの分野でリードします。来年以降、将来の Llama モデルは業界で最も先進的なものになると予想されます。しかし、それ以前から、Llama はオープン性、変更可能性、コスト効率の面ですでに先頭に立っていました。

今日、私たちは次の方向に向かって進んでいます「オープンソースの人工知能が業界標準になる」方向。最初の最先端のオープンソース AI モデルである Llama 3.1 405B と、改良された Llama 3.1 70B および 8B モデルをリリースしました。 405B モデルは、クローズドソース モデルと比較してコスト/パフォーマンス比が大幅に優れていることに加えて、オープンであるため、小型モデルの微調整や抽出に最適な選択肢となります。

これらのモデルのリリースに加えて、私たちはより広範なエコシステムを成長させるためにさまざまな企業と協力しています。 Amazon、Databricks、Nvidia は、開発者が独自のモデルを微調整して抽出できるようにする一連のサービスを開始しています。 Groq のようなイノベーターは、すべての新しいモデルに対して低遅延、低コストの推論サービスを構築してきました。これらのモデルは、AWS、Azure、Google、Oracle などを含むすべての主要なクラウド プラットフォームで利用可能になります。 Scale.AI、Dell、Deloitte などの企業は、企業が Llama を導入し、独自のデータを使用してカスタム モデルをトレーニングできるよう支援する準備ができています。コミュニティが成長し、より多くの企業が新しいサービスを開発するにつれて、私たちは力を合わせて Llama を業界標準にし、AI のメリットをすべての人にもたらすことができます。

Meta はオープンソースの人工知能に特化しています。オープンソースが最良の開発スタックであると私が考える理由、オープンソース Llama がメタに適している理由、オープンソース AI が世界にとって有益であり、したがって長期的に持続可能なプラットフォームである理由を概説します。

オープンソース AI が開発者にとって良い理由

世界中の開発者、CEO、当局者と話すと、通常、次のようなテーマが聞かれます。

独自のモデルをトレーニング、微調整、抽出する必要がある 。 。各組織には独自のニーズがあり、特定のデータに基づいてトレーニングまたは微調整できるさまざまなサイズのモデルを使用するのが最適です。デバイス上のタスクや分類タスクの場合は小さなモデルで十分ですが、より複雑なタスクの場合は大きなモデルが必要です。最先端の Llama モデルを活用し、独自のデータでトレーニングを継続し、私たちや他の人にデータを見られることなく、ニーズに最適なモデル サイズに抽出できるようになりました。

私たちは自分自身の運命をコントロールする必要があり、クローズドソースベンダーに縛られないようにする必要があります 。多くの組織は、自分たちで実行および制御できないモデルに依存したくありません。彼らは、クローズド ソース モデルのプロバイダーがモデルを変更したり、利用規約を変更したり、さらにはサービスを完全に停止したりできることを望んでいません。また、1 つのクラウド プラットフォーム上でモデルを排他的に使用できるように制限されることも望んでいません。オープンソースにより、企業の幅広いエコシステムが互換性のあるツールチェーンを持つことができ、ツールチェーン間を簡単に移動できるようになります。

データを安全に保つ必要がある 。多くの組織は、保護する必要があり、クローズドソース モデルのクラウド API を介して送信できない機密データを扱います。また、データに関してクローズド ソース モデルのプロバイダーを単に信頼していない組織もあります。オープンソースは、どこでもモデルを実行できるようにすることで、これらの問題を解決します。オープンソース ソフトウェアは、開発プロセスの透明性が高いため、一般に安全であると一般に信じられています。

効率的に動作し、手頃な価格のモデルが必要です 。開発者は、ユーザー向けの推論タスクでもオフラインの推論タスクでも、GPT-4o などのクローズドソース モデルを使用する場合の約半分のコストで、独自のインフラストラクチャ上で Llama 3.1 405B 推論を実行できます。

長期的なスタンダードとなるエコシステムに投資したい 。多くの人は、オープン ソースの方がクローズド ソース モデルよりも速く進んでいると考えており、長期的に最大の利点をもたらすアーキテクチャ上にシステムを構築したいと考えています。

オープンソース AI がメタに適している理由

Meta のビジネス モデルは、人々に最高のエクスペリエンスとサービスを創造することです。そのためには、常に最高のテクノロジーにアクセスできるようにする必要があり、競合他社のクローズドソース エコシステムにロックインされてイノベーション能力が制限されないようにする必要があります。

私の重要な経験の 1 つは、Apple のプラットフォーム上に構築できるものに対する Apple の制限によって、私たちのサービスが制約されていたということでした。彼らが開発者に課税する方法から、彼らが無計画に適用するルール、彼らがリリースを妨げるすべての製品イノベーションに至るまで、私たちが製品の最高のバージョンを構築できれば、競合他社が私たちのイノベーション、メタ、そして多くのイノベーションを制限できないことは明らかです。他の企業も人々により良いサービスを提供できるようになるでしょう。哲学的には、これが、AI と AR/VR における次世代コンピューティングのためのオープン エコシステムの構築を私が強く信じている主な理由です。

Llama をオープンソース化することで技術的な利点を放棄することを心配しているのかとよく尋ねられますが、これはいくつかの理由から全体像を見逃していると私は考えています。

まず、最高のテクノロジーにアクセスし、長期的にクローズドソースのエコシステムに固定されないようにするために、Llama は、効率の向上、シリコンの最適化、その他の統合を含むツールの完全なエコシステムに進化する必要があります。 Llama を使用しているのが当社だけであれば、エコシステムは成長せず、クローズド ソース バージョンの Unix よりも優れたパフォーマンスを発揮することはできません。

第 2 に、AI の開発は今後も非常に競争が激しいと予想しています。つまり、特定のモデルをオープンソース化しても、その時点で次善のモデルよりも大きな利点が得られるわけではありません。 Llama が業界標準になるには、競争力、効率性、オープン性を維持し、世代から世代へと発展し続けることが必要です。

第三に、メタ プロバイダーとクローズド ソース モデル プロバイダーの主な違いは、AI モデルへのアクセスを販売することが当社のビジネス モデルではないことです。これは、Llama を一般公開しても、当社の収益、持続可能性、研究への投資能力が損なわれないことを意味しますが、クローズドソースプロバイダーの場合は当てはまりません。

最後に、Meta にはオープンソース プロジェクトと成功の長い歴史があります。私たちは、サーバー、ネットワーク、データ センターの設計をリリースし、サプライ チェーンが設計を標準化できるようにすることで、オープン コンピューティング プロジェクトを通じて数十億ドルを節約してきました。私たちは、PyTorch、React などの主要なツールをオープンソース化することで、エコシステムのイノベーションの恩恵を受けています。このアプローチは常に長期にわたって私たちにとって役に立ちました。

オープンソース AI が世界にとって良い理由

AI の前向きな未来を実現するには、オープンソースが不可欠であると私は信じています。人工知能は、人間の生産性、創造性、生活の質を向上させ、医学や科学研究の進歩を促進しながら経済成長を加速する、他の現代テクノロジーよりも大きな可能性を秘めています。オープンソースにより、世界中のより多くの人々が AI の利点と機会にアクセスできるようになり、少数の企業に権力が集中することがなくなり、社会全体にテクノロジーをより均等かつ安全に導入できるようになります。

オープンソース AI モデルの安全性については議論が続いていますが、私の見解では、オープンソース AI は代替モデルよりも安全であると考えています。

安全フレームワークとは、意図的でないものと意図的なものという 2 種類の危害から保護する必要があるということだと私は理解しています。意図しない危害とは、AI システムを実行している人が意図していないにもかかわらず、AI システムが危害を引き起こす可能性がある場合です。たとえば、最新の AI モデルは、誤って健康状態に悪いアドバイスをしてしまう可能性があります。あるいは、より未来的なシナリオでは、モデルが誤って自分自身を複製したり、目標を過剰に最適化して人間に不利益をもたらしたりする可能性を心配する人もいます。意図的な危害とは、悪意のある者が危害を引き起こす目的で AI モデルを使用することです。

AI システムが人工知能を使用する何十億もの人々に与える影響から、人類にとって真に破滅的な事態をもたらす SF シナリオのほとんどまで、人工知能について人々が抱いている懸念のほとんどが、意図しない危害によってカバーされることは注目に値します。この点において、オープンソースはシステムの透明性が高く、広く検査できるため、より安全であるはずです。したがって、歴史的には、オープンソース ソフトウェアの方が安全性が高かったのです。同様に、Llama と Llama Guard などのそのセキュリティ システムを使用すると、クローズド ソース モデルよりも安全で信頼性が高くなる可能性があります。その結果、オープンソース AI の安全性に関する会話のほとんどは、意図的な危害に焦点を当てています。

当社の安全プロセスには、リリース前にリスクを軽減することを目的として、当社のモデルが重大な危害を引き起こす能力を評価するための厳格なテストとレッドチームが含まれています。モデルはオープンなので、誰でも自分でテストできます。これらのモデルはすでにウェブ上にある情報に基づいてトレーニングされているということを覚えておく必要があります。そのため、害を考慮するときは、そのモデルが Google やその他の検索結果からすぐに取得できる情報よりも大きな害をもたらす可能性があるかどうかを出発点にする必要があります。

将来の機会を考えるときは、今日の主要なテクノロジー企業や科学研究のほとんどがオープンソース ソフトウェア上に構築されていることを思い出してください。私たちが一緒に投資すれば、次世代の企業や研究でオープンソース AI が使用されるようになります。

最も重要なことは、オープンソース AI は、このテクノロジーを活用してすべての人の経済的機会と安全性を最大化する世界最高の機会であるということです。

一緒に築きましょう

過去の Llama モデルと同様に、Meta はより広範なエコシステムの構築にあまり注意を払うことなく開発され、その後リリースされました。今回の立ち上げでは、これまでとは異なるアプローチを採用しました。私たちは、できるだけ多くの開発者やパートナーが Llama を利用できるようにするために社内でチームを構築しています。また、エコシステム内のより多くの企業が独自の機能を顧客に提供できるように、積極的にパートナーシップを構築しています。

私は信じているLlama 3.1のリリースは業界にとって転換点となる 、ほとんどの開発者は主にオープンソースを使用し始めるでしょう、そして私はこのアプローチがこれからさらに成長するだろうと予想しています。人工知能の恩恵を世界中のすべての人にもたらすという私たちの旅に、ぜひご参加ください。

最新インタビューのリンク:

https://x.com/rowancheung/status/1815763595197616155

参考リンク:

[1]https://about.fb.com/news/2024/07/open-source-ai-is-the-path-forward/

[2]https://ai.meta.com/blog/meta-llama-3-1/