ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

北京時間7月23日夜、Metaは最新のオープンソース大型モデルLlama 3.1シリーズを正式にリリースし、オープンソースモデルとクローズドソースモデルの間の格差をさらに縮めた。 Llama 3.1 には 8B、70B、450B の 3 つのパラメータ サイズが含まれており、450B パラメータ モデルは複数のベンチマーク テストで OpenAI の GPT-4o を上回り、Claude 3.5 Sonnet などの主要なクローズドソース モデルに匹敵します。

Meta の創設者兼 CEO のザッカーバーグ氏は同時に公式 Web サイトにブログを投稿し、Llama 3.1 バージョンが業界の転換点になると述べました。ソース AI が開発の方向性です。

Nvidia の上級研究科学者 Jim Fan 氏は、X にメッセージを投稿して Meta チームを祝福し、「GPT-4 の力は私たちの手の中にあります。（これは）本当に歴史的な瞬間です。」と述べました。

具体的な詳細としては、Llama 3.1 の 3 つのバージョンのモデル コンテキスト ウィンドウが 8k から 128k に増加し、16 倍に拡張され、同時に 8 つの言語をサポートしています。 Llama 3.1 -405B モデルはトレーニングに 15 兆を超えるトークンを使用し、このトレーニング規模を達成するために、チームは 16,000 個の H100 GPU を使用しました。公式には、405B モデルは、この規模でトレーニングされた最初の Llama モデルです。

オープンソースの大規模言語モデルは、機能とパフォーマンスの点でクローズドソース モデルに比べて遅れをとっていることがほとんどですが、「しかし今、私たちはオープンソースが主導する新しい時代に入りつつあります。」

公式ブログでは、Meta 氏が 150 以上のベンチマーク データセットのパフォーマンスを評価し、Llama 3.1 のパフォーマンスを他のモデルと比較しました。フラッグシップモデルである Llama 3.1 -405B は、常識、操作性、そして数学は -4、GPT-4o はクロード 3.5 ソネットに匹敵します。さらに、8B および 70B の小型モデルは、同様の数のパラメータを持つクローズドソース モデルやオープンソース モデルと競合します。

実際のシナリオでは、Llama 3.1 405B が人間の評価と比較され、その全体的なパフォーマンスは GPT-4o および Claude 3.5 Sonnet よりも優れていました。

今回、Meta はオープンソース ライセンスも更新し、開発者が Llama モデル (405B を含む) の出力を他のモデルの改良に初めて使用できるようになりました。 GPT-4oのベンチマークを行った関係者は、画像、ビデオ、音声機能をLlama 3に統合するための組み合わせ手法も使用し、モデルが画像とビデオを認識し、音声による対話をサポートできるようにすると述べた。ただし、この機能はまだ開発中であり、まだリリースの準備ができていません。

Meta氏は公式ブログで、これまでのLlamaの全バージョンの合計ダウンロード数が3億回を超えたと述べた。

このモデルのリリースに加えて、ザッカーバーグ氏は公式ウェブサイトに「オープンソース AI が前進する道」という長い記事も掲載し、オープンソースはすべての開発者、メタ、そしてすべてにとって有益であると信じていると述べました。世界にとっては良いことだ。

ザッカーバーグ氏は、オープンソースシステムのLinuxがクローズドソースシステムのUnixに勝利したことを例に挙げ、人工知能も同様に発展すると信じていた。 「いくつかのテクノロジー企業が主要なクローズド モデルを開発していますが、オープンソースが急速にその差を縮めつつあります。昨年、Llama 2 は旧世代モデルとしか比較できないと述べました。」そして今年、Llama 3は一部の分野では競争力があり、一部の分野では最先端のモデルを上回っています。

ザッカーバーグ氏は、オープンソースがイノベーションを促進し、コストを削減し、セキュリティを向上させることができると信じています。開発者にとって、オープンソースを活用することで、独自のモデルをトレーニング、微調整、抽出することができます。組織ごとに異なるニーズがあり、特定のデータに基づいてトレーニングまたは微調整されたさまざまなサイズのモデルを使用することで、これらのニーズに最適に対応できます。の。

同時に、開発者はデータのセキュリティを保護するために非公開のベンダーに拘束されることはありません。 「オープンソース ソフトウェアは、開発の透明性が高く、広くレビューできるため、より安全になる傾向があるとザッカーバーグ氏は考えています。」

ザッカーバーグ氏はまた、オープンソース モデルは、ユーザー インターフェイスに適した GPT-4o のようなクローズド モデルを使用する場合と比較して、約 50% のコストで独自のインフラストラクチャ上で Llama 3.1 405B で推論を実行できると述べました。オフライン推論タスク。

ザッカーバーグ氏の見解では、オープンソースの人工知能は世界で最高の機会をもたらし、このテクノロジーを利用することで最大の経済的機会と安全性を生み出すことができるという。