ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

マシンハートレポート

マシーンハート編集部

たった今、待望の Llama 3.1 が正式にリリースされました。

Metaは「オープンソースは新たな時代を導く」と公式に声を上げた。

Meta 氏は公式ブログで次のように述べています。「今日まで、オープンソースの大規模言語モデルは、機能とパフォーマンスの点でクローズド モデルに比べてほとんど遅れをとっています。今、私たちはオープンソースが主導する新しい時代の到来を告げています。私たちは Meta Llama を一般公開しました」 3.1 405B は、これまでにすべての Llama バージョンで 3 億回以上ダウンロードされている、世界最大かつ最も強力なオープンソースのベース モデルであると私たちは信じていますが、私たちはまだ始まったばかりです。」

Meta の創設者兼 CEO のザッカーバーグ氏も、個人的に「オープンソース AI が前進への道」という長い記事を書き、オープンソースがすべての開発者、Meta、そして世界にとってなぜ良いことなのかを説明しました。

このリリースのハイライトは次のとおりです。

• 最新のモデル シリーズでは、コンテキストの長さが 128K に拡張され、8 つの言語のサポートが追加され、最上位のオープン ソース モデル Llama 3.1 405B が含まれています。
• Llama 3.1 405B は独自の製品であり、Meta は最高のクローズドソース モデルと同等であると公式に述べています。
• このリリースでは、Llama をシステムとして構築するためにモデルで使用できる追加のコンポーネント (参照システムを含む) も提供します。
• ユーザーはWhatsAppとmeta.aiを通じてLlama 3.1 405Bを体験できます。

アドレス：https://llama.meta.com/

ネチズンはダウンロードして試してみることができます。

ラマ 3.1 の概要

Llama 3.1 405B は、常識、操作性、数学、ツールの使用法、多言語翻訳の点でトップ AI モデルに匹敵する初の公開モデルです。

Meta 氏によると、最新世代の Llama は、合成データ生成を活用して小規模なモデルを強化およびトレーニングしたり、オープンソース領域ではこれまで実現できなかった機能であるモデル蒸留を活用したりするなど、新しいアプリケーションとモデリング パラダイムを刺激すると述べています。

同時に、Meta は 8B および 70B モデルのアップグレード バージョンも発売しました。これらは複数の言語をサポートし、コンテキスト長が 128K で、より強力な推論機能を備えています。最新モデルは、長文テキストの要約、多言語会話エージェント、コーディング アシスタントなどの高度なユースケースをサポートしています。

たとえば、Llama 3.1 はストーリーをスペイン語に翻訳できます。

ユーザーが「シャツが 3 枚、パンツが 5 枚、ドレスが 1 枚あります。10 日間の旅行に行くとします。服の準備は十分ですか?」と尋ねると、モデルはすぐに判断できます。

長いコンテキスト: アップロードされたドキュメントの場合、Llama 3.1 は最大 8,000 トークンの大きなドキュメントを分析して要約できます。

コーディング アシスタントは、ユーザーの要件に応じてコードをすばやく作成できます。

さらに、Llama 3.1 405Bの開発者も「ネタバレ」とツイートし、GPT-4oのような音声とビジュアル機能を統合したモデルの開発はまだ開発中であると述べた。

Meta はまた、開発者が Llama モデル (405B を含む) の出力を使用して他のモデルを改良できるように、オープンソース ライセンスを変更しました。さらに、オープンソースへの取り組みに従って、Meta は本日より、これらのモデルをコミュニティが llama.meta.com および Hugging Face でダウンロードできるようにします。

ダウンロードリンク:

• https://huggingface.co/meta-llama
• https://llama.meta.com/

モデルの評価

メタは、広範な人間による評価に加えて、150 を超えるベンチマーク データセットで評価されます。

実験結果は、フラッグシップ モデル Llama 3.1 405B が、さまざまなタスクにわたって GPT-4、GPT-4o、Claude 3.5 Sonnet などの主要なベース モデルと競合できることを示しています。さらに、8B および 70B の小型モデルは、同様の数のパラメータを持つクローズドソース モデルやオープンソース モデルと競合します。

モデルアーキテクチャ

Meta のこれまでで最大のモデルである Llama 3.1 405B を 15 兆を超えるトークンを使用してトレーニングすることは大きな課題です。この規模でのトレーニングを可能にするために、Meta はトレーニング スタック全体を最適化し、16,000 を超える H100 GPU でトレーニングしました。これにより、このモデルがこの規模でトレーニングされる最初の Llama モデルになりました。

この問題に対処するために、Meta はモデル開発プロセスをスケーラブルかつシンプルに保つことに重点を置き、次の設計上の選択を行いました。

• トレーニングの安定性を最大化するために、ハイブリッド エキスパート モデルの代わりに、わずかな調整のみを備えた標準デコーダー Transformer モデル アーキテクチャが選択されました。
• 各ラウンドで教師付き微調整と直接優先最適化を使用する、反復後のトレーニング手順が採用されています。これにより、Meta はラウンドごとに最高品質の合成データを作成し、すべての機能のパフォーマンスを向上させることができます。

以前のバージョンの Llama と比較して、Meta は、トレーニング前データのより慎重な前処理と管理パイプラインの開発、より厳格な品質保証の開発など、トレーニング前とトレーニング後で使用されるデータの量と質を向上させました。トレーニング後のデータの管理。

言語モデルのスケーリングの法則から予想されたように、Meta の新しい主力モデルは、同じ手順を使用してトレーニングされた小規模なモデルよりも優れたパフォーマンスを発揮しました。 Meta はまた、405B パラメーター モデルを使用して、より小さなモデルのトレーニング後の品質を向上させます。

405B モデルの大規模な推論出力をサポートするために、Meta はモデルを 16 ビット (BF16) から 8 ビット (FP8) に量子化し、必要なコンピューティング要件を効果的に削減し、モデルを単一のサーバー ノードで実行できるようにしました。

コマンドとチャットの調整

Llama 3.1 405B は、高レベルの安全性を確保しながら、ユーザーの指示に応答するモデルの有用性、品質、および詳細な指示への準拠性の向上に努めています。

トレーニング後のフェーズでは、研究チームは事前トレーニングされたモデルに基づいて数ラウンドの調整を実行して、最終的なチャット モデルを構築しました。各ラウンドには、教師あり微調整 (SFT)、拒否サンプリング (RS)、および直接優先最適化 (DPO) が含まれます。

研究チームは合成データ生成を使用して SFT サンプルの大部分を生成し、複数の反復を行ってすべての機能にわたってますます高品質な合成データを生成します。さらに、研究チームは複数のデータ処理技術を採用して、これらの合成データを最高品質にフィルタリングし、機能のスケーラビリティ全体にわたってデータ量を微調整しました。

ラマシステム

Llama モデルは常に AI システムの一部として存在しており、外部ツールの呼び出しを含む複数のコンポーネントを調整できます。 Meta は、基本モデルを超えて、開発者が自分たちのビジョンに合ったカスタム製品を柔軟に設計および作成できるように設計されています。

モデル層を超えて責任を持って AI を開発するために、Meta は、複数のサンプル アプリケーションと、多言語セキュリティ モデルである Llama Guard 3 やプロンプト インジェクション フィルターである Prompt Guard などの新しいコンポーネントを含む完全なリファレンス システムをリリースしました。これらのサンプル アプリケーションはオープン ソースであり、オープン ソース コミュニティによって構築できます。

業界、新興企業、オープンソース コミュニティとより広範に連携して、コンポーネントのインターフェイスをより適切に定義できるようにするために、Meta は GitHub で「Llama Stack」に対するコメント リクエストを公開しました。 Llama Stack は、正規のツールチェーン コンポーネント (微調整、合成データ生成) およびエージェント アプリケーションを構築するための標準化されたインターフェイスのセットです。これにより、相互運用性をより簡単に実現できます。

クローズド モデルとは異なり、Llama モデルのウェイトはダウンロードできます。開発者は、ニーズやアプリケーションに合わせてモデルを完全にカスタマイズし、新しいデータセットでトレーニングし、追加の微調整を実行できます。

Llama 3.1 405B を使用して開発

一般の開発者にとって、405B のような大規模モデルの導入は間違いなく困難であり、大量のコンピューティング リソースと専門的なスキルが必要です。開発者コミュニティとのコミュニケーションの中で、Meta 氏は、生成 AI の開発はモデルにプロンプ​​トを入力することだけではないことに気づきました。彼らは、すべての開発者が次の分野で Llama 3.1 405B の可能性を最大限に活用することを期待しています。

• リアルタイムおよびバッチ推論
• 監視付き微調整
• 特定のアプリケーションでモデルのパフォーマンスをテストおよび評価する
• 継続的な事前トレーニング
• 検索拡張生成 (RAG)
• 関数呼び出し
• 合成データの生成

Llama 3.1 405B モデルのすべての高度な機能は、発売時から開発者がすぐに利用できるようになります。開発者は、モデルの蒸留に基づく合成データの生成など、高次のワークフローを検討することもできます。このアップグレードでは、Meta はパートナーの AWS、NVIDIA、Databricks が提供するソリューションもシームレスに統合し、より効率的な取得拡張生成 (RAG) を実現します。さらに、Groq はクラウドにモデルをデプロイするための低遅延推論用に最適化されており、ローカル システムでも同様のパフォーマンス向上が行われています。

Metaは今回、Llama 3.1 405B用の「ツールギフトパッケージ」も組み込んでおり、vLLM、TensorRT、PyTorchなどの主要プロジェクトが含まれており、モデル開発から「すぐに使える」展開までワンステップで実行できる。

参考リンク：https://ai.meta.com/blog/meta-llama-3-1/