ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

マシンハートレポート

マシーンハート編集部

GPUを準備しましょう！

ついにLlama 3.1が登場しましたが、ソースはMeta公式ではありません。

今日、新しいラマモデルのリークニュースが Reddit で急速に広まりました。ベースモデルに加えて、8B、70B、最大パラメータの405Bのベンチマーク結果も含まれています。。

以下の図は、OpenAI GPT-4o を搭載した Llama 3.1 と Llama 3 8B/70B の各バージョンの比較結果を示しています。見られます、70B バージョンでも複数のベンチマークで GPT-4o を超えています。

画像ソース: https://x.com/mattshumer_/status/1815444612414087294

明らかに、バージョン 3.1 の 8B および 70B モデルは 405B から派生したものであるため、前世代と比較してパフォーマンスが大幅に向上しています。

一部のネチズンはこれはこのオープンソース モデルは初めて、GPT4o や Claude Sonnet 3.5 などのクローズド ソース モデルを上回り、複数のベンチマークで SOTA に到達しました。。

同時にLlama 3.1のモデルカードが流出し、その詳細も流出した（モデルカードに記された日付から7月23日のリリースを基準にしていることが分かる）。

誰かが次の要点を要約しました。

• このモデルはトレーニングに公的ソースからの 15T 以上のトークンを使用しており、トレーニング前データの期限は 2023 年 12 月です。
• 微調整データには、(Llama 3 とは異なり) 公開されている命令微調整データセットと 1,500 万の合成サンプルが含まれます。
• このモデルは、英語、フランス語、ドイツ語、ヒンディー語、イタリア語、ポルトガル語、スペイン語、タイ語などの複数の言語をサポートしています。

画像ソース: https://x.com/iScienceLuvr/status/1815519917715730702

漏洩した Github リンクは現在 404 ですが、一部のネチズンはダウンロード リンクを提供しています (ただし、安全のため、今夜発表される公式チャンネルを待つことをお勧めします)。

ただし、これは数千億規模の大きなモデルですので、ダウンロードする前に十分なハードディスク容量を用意してください。

Llama 3.1 モデル カードの重要な内容は次のとおりです。

機種基本情報

Meta Llama 3.1 多言語大規模言語モデル (LLM) アンサンブルは、サイズ 8B、70B、および 405B (テキスト入力/テキスト出力) の事前トレーニングされ、命令によって微調整された生成モデルのセットです。 Llama 3.1 コマンドで微調整されたテキスト専用モデル (8B、70B、405B) は、多言語会話のユースケース向けに最適化されており、一般的な業界ベンチマークにおいて、利用可能な多くのオープンソースおよびクローズドソースのチャット モデルよりも優れたパフォーマンスを発揮します。

モデル アーキテクチャ: Llama 3.1 は、最適化された Transformer アーキテクチャの自己回帰言語モデルです。微調整されたバージョンでは、SFT と RLHF を使用して、使いやすさとセキュリティの設定を調整します。

サポートされている言語: 英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語。

モデルカード情報から推測できるのは、Llama 3.1 シリーズ モデルのコンテキスト長は 128k です 。すべてのモデル バージョンでは、グループ化クエリ アテンション (GQA) を使用して推論のスケーラビリティを向上させています。

予想される用途

意図された使用例。 Llama 3.1 は、多言語のビジネス アプリケーションと研究を目的としています。命令調整されたテキストのみのモデルはアシスタントのようなチャットに適していますが、事前トレーニングされたモデルはさまざまな自然言語生成タスクに適応できます。

Llama 3.1 モデル セットは、合成データの生成や蒸留など、モデル出力を活用して他のモデルを改善する機能もサポートしています。 Llama 3.1 コミュニティ ライセンスでは、これらの使用例が許可されています。

Llama 3.1 は、サポートされている 8 つの言語よりも幅広い言語セットをトレーニングします。開発者は、Llama 3.1 コミュニティ ライセンス契約および利用規定に準拠することを条件として、サポートされている 8 言語以外の言語に合わせて Llama 3.1 モデルを微調整することができ、そのような場合には他の言語が確実に使用されるようにする責任があります。安全かつ責任ある方法 言語ラマ 3.1。

ソフトウェアおよびハードウェアのインフラストラクチャ

1 つ目はトレーニング要素です。Llama 3.1 は、事前トレーニング用にカスタム トレーニング ライブラリ、Meta のカスタマイズされた GPU クラスター、および本番インフラストラクチャを使用します。また、本番インフラストラクチャ上で微調整され、アノテーションが付けられ、評価されます。

2 つ目は、トレーニングのエネルギー消費量です。Llama 3.1 トレーニングでは、H100-80GB (TDP は 700W) タイプのハードウェアで合計 3,930 万 GPU 時間の計算を使用します。ここで、トレーニング時間は各モデルのトレーニングに必要な合計 GPU 時間、消費電力は電力効率を考慮して調整された各 GPU デバイスのピーク電力容量です。

温室効果ガス排出に関する研修。 ラマ 3.1 訓練期間中の地理的ベンチマークに基づく温室効果ガス総排出量は、CO2 換算で 11,390 トンと推定されます。 2020 年以来、メタは世界的な事業全体で温室効果ガス排出量ネットゼロを維持し、電力使用の 100% を再生可能エネルギーで賄い、その結果、研修期間中の市場ベースの温室効果ガス総排出量は CO2e トン 0 トンとなりました。

トレーニングのエネルギー使用量と温室効果ガス排出量を決定するために使用される方法は、次の論文に記載されています。 Meta はこれらのモデルを公開しているため、他の人はトレーニングのエネルギー使用量や温室効果ガス排出量の負担を負う必要がありません。

論文アドレス: https://arxiv.org/pdf/2204.05149

トレーニングデータ

概要: Llama 3.1 は、公開ソースからの約 15 兆のトークン データを使用して事前トレーニングされています。微調整データには、公開されている命令データセットと、合成的に生成された 2,500 万を超えるサンプルが含まれています。

データの鮮度: トレーニング前データの期限は 2023 年 12 月です。

ベンチマークスコア

このセクションでは、Meta がアノテーション ベンチマークにおける Llama 3.1 モデルのスコアリング結果を報告します。すべての評価で、Meta は内部評価ライブラリを使用します。

セキュリティリスクの考慮事項

Llama 研究チームは、安全な微調整の堅牢性を研究するための貴重なリソースを研究コミュニティに提供し、安全な AI を展開する開発者の作業を軽減するために、さまざまなアプリケーション向けの安全で堅牢な既製モデルを開発者に提供することに尽力しています。システムの数量。

研究チームは、潜在的なセキュリティ リスクを軽減するために、ベンダーから人間が生成したデータと合成データを組み合わせた多面的なデータ収集アプローチを使用しました。研究チームは、高品質のプロンプトと応答を慎重に選択するための大規模言語モデル (LLM) ベースの分類器を多数開発し、それによってデータ品質管理を強化しました。

Llama 3.1 では、良性のプロンプトと拒否トーンのモデル拒否を非常に重視していることは言及する価値があります。研究チームは、境界プロンプトと敵対的プロンプトをセキュリティ データ ポリシーに導入し、トーン ガイドラインに従うようにセキュリティ データの応答を修正しました。

Llama 3.1 モデルはスタンドアロンで展開するように設計されていませんが、必要に応じて追加の「安全ガードレール」を提供して、AI システム全体の一部として展開する必要があります。開発者はエージェントシステムを構築する際に、システムのセキュリティ対策を導入する必要があります。

このリリースでは、より長いコンテキスト ウィンドウ、多言語入出力、開発者によるサードパーティ ツールとの統合などの新機能が導入されていることに注意してください。これらの新機能を使用して構築する場合は、すべての生成 AI ユースケースに一般的に適用されるベスト プラクティスを考慮することに加えて、次の問題にも特別な注意を払う必要があります。

ツールの使用: 標準的なソフトウェア開発と同様、開発者は LLM を選択したツールおよびサービスと統合する責任があります。この機能を使用する際の安全性とセキュリティの制限を理解するために、ユースケースに応じた明確なポリシーを作成し、使用するサードパーティ サービスの完全性を評価する必要があります。

多言語: Lama 3.1 は、英語に加えて、フランス語、ドイツ語、ヒンディー語、イタリア語、ポルトガル語、スペイン語、タイ語の 7 つの言語をサポートします。 Llama は他の言語でテキストを出力できる場合がありますが、このテキストはセキュリティとヘルパビリティのパフォーマンスのしきい値を満たしていない可能性があります。

Llama 3.1 の核となる価値観は、オープン性、包括性、有用性です。すべての人に役立つように設計されており、さまざまなユースケースに適しています。したがって、Llama 3.1 は、あらゆる背景、経験、視点を持つ人々がアクセスできるように設計されています。 Llama 3.1 は、不必要な判断や規範を挿入することなく、ユーザーとそのニーズを中心に据えており、また、ある文脈では問題があるように見えるコンテンツでも、他の文脈では価値ある目的に役立つ可能性があるという認識を反映しています。 Llama 3.1 はすべてのユーザーの尊厳と自主性を尊重し、特にイノベーションと進歩を促進する自由な思考と表現の価値を尊重します。

しかし、Llama 3.1 は新しいテクノロジーであり、他の新しいテクノロジーと同様に、その使用にはリスクが伴います。これまでに実施されたテストでは、すべての状況をカバーできていません。したがって、すべての LLM と同様に、Llama 3.1 の潜在的な出力を事前に予測することはできず、場合によっては、モデルがユーザー プロンプトに対して不正確、偏り、または不快な応答をする可能性があります。したがって、Llama 3.1 モデルのアプリケーションを展開する前に、開発者はモデルの特定のアプリケーションに合わせてセキュリティ テストと微調整を実施する必要があります。

モデルカードのソース: https://pastebin.com/9jGkYbXY

参考情報：https://x.com/op7418/status/1815340034717069728

https://x.com/iScienceLuvr/status/1815519917715730702

https://x.com/mattshumer_/status/1815444612414087294