ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

マシンハートレポート

編集者: Asia Oriole、Big Pan Chicken、Du Wei

オープンソースとクローズドソースの間の論争は長い間続いてきましたが、現在、新たな頂点に達している可能性があります。

オープンソースの大規模モデルに関して言えば、Llama シリーズはその誕生以来、その優れたパフォーマンスとオープンソース機能により、人工知能テクノロジーの適用性とアクセシビリティを大幅に向上させてきました。すべての研究者や開発者がその恩恵を受けることができ、研究と応用がより広範囲に広がります。

このたび、Meta Llama 3.1 405B が正式にリリースされました。メタ氏は公式ブログで「今日まで、オープンソースの大規模言語モデルは、機能やパフォーマンスの点でクローズドモデルに比べてほとんど遅れをとっていた。今、われわれはオープンソース主導の新時代の到来を告げている」と述べた。

同時に、Meta の創設者兼 CEO のザッカーバーグ氏は、すべての開発者、Meta、そして世界にオープンソースの重要性を説明する長い記事を個人的に書きました。 AIの前向きな発展にはオープンソースが必要条件であると述べた。 Unix と Linux の開発を例にとると、オープンソース AI はイノベーション、データ保護、費用対効果をより促進します。

彼はまた、オープンソースの Llama モデルは、技術の進歩を確実にし、競争によって利点を失わないようにするための完全なエコシステムを確立できると信じています。 Meta にはオープンソースの成功の歴史があります。ザッカーバーグ氏は、オープンソース AI モデルを通じて、グローバル テクノロジーの平等と安全な適用を促進したいと考えています。

元のリンク: https://about.fb.com/news/2024/07/open-source-ai-is-the-path-forward/

元の内容は次のとおりです。

ザッカーバーグ氏、オープンソースの遺伝子をメタに注入

ハイ パフォーマンス コンピューティングの初期の頃、大手テクノロジー企業は独自のクローズド ソース バージョンの Unix の開発に多額の投資を行っていました。当時、このような高度なソフトウェアを開発する他の方法を想像することは困難でした。

しかし、オープン ソース Linux は徐々に普及していきました。当初は、開発者がコードを自由に変更でき、価格も手頃だったためでしたが、後にはより高度で安全になり、クローズド ソースの Unix よりも幅広いエコシステムを持ち、より多くの機能をサポートするようになりました。現在、Linux はクラウド コンピューティングの業界標準の基盤であり、ほとんどのモバイル デバイスを実行するオペレーティング システムであり、誰もがその優れた製品の恩恵を受けています。

人工知能の発展も同様の軌跡をたどると私は信じています。現在、一部のテクノロジー企業は先進的なクローズドソース モデルを開発していますが、オープンソースがそのギャップを急速に埋めつつあります。

昨年、Llama 2 は一世代前のモデルとしか比較できませんでした。そして今年、Llama 3はすでに業界の主要モデルと競合しているか、一部の分野ではそれを上回っています。来年以降、将来の Llama モデルは業界で最も先進的な大型モデルになると予想されます。 Llama は、オープン性、変更可能性、費用対効果の面でも先導しています。

今日、私たちはオープンソース AI を業界標準にするという次のステップに進みます。最初の最先端のオープンソース AI モデル Llama 3.1 405B と、Llama 3.1 70B および 8B モデルの改良版をリリースしました。クローズドソース モデルと比較して、これらのオープンソース モデルはコスト効率が大幅に高く、特に 405B モデルのオープンソースの性質により、小規模モデルの微調整や抽出に最適です。

これらのモデルのリリースに加えて、私たちは複数の企業と協力してより広範なエコシステムの拡大にも取り組んでいます。 Amazon、Databricks、および Nvidia は、開発者が独自のモデルを微調整して抽出できるようにするためのサービスの完全なスイートを開始しています。 Groq のようなイノベーターは、すべての新しいモデルに対して低遅延、低コストの推論サービスを構築してきました。

これらのモデルは、AWS、Azure、Google、Oracle などを含むすべての主要なクラウド プラットフォームで利用可能になります。 Scale.AI、Dell、Deloitte などは、企業が Llama を導入し、独自のデータを使用してカスタム モデルをトレーニングできるよう支援する準備がすでに整っています。コミュニティが成長し、より多くの企業が新しいサービスを開発するにつれて、私たちは力を合わせて Llama を業界標準にし、AI のメリットをすべての人にもたらすことができます。

Meta はオープンソース AI に力を入れており、オープンソースが最良の開発プラットフォームであると私が考える理由、オープンソース Llama が Meta に適している理由、そしてオープンソース AI が世界にとって有益であり、今後も長く存在し続ける理由を以下に示します。 。

開発者向けのオープンソース AI

世界中の開発者、CEO、政府関係者と話すと、通常、次のようなテーマが聞かれます。

• 私たちは独自のモデルをトレーニングし、微調整し、抽出する必要があります。組織にはそれぞれ異なるニーズがあり、さまざまな規模および特定のデータでトレーニングまたは微調整されたモデルを使用することで最適に対応できます。オンデバイス タスクと分類タスクには小さなモデルが必要ですが、より複雑なタスクには大きなモデルが必要です。当社や他の誰にもデータを見られることなく、最先端の Llama モデルを取得し、独自のデータでトレーニングを継続し、ニーズに最も適したモデル サイズに抽出できるようになりました。
• 私たちは自分自身の運命をコントロールする必要があり、クローズド ソース ベンダーによって「閉じ込め」られないようにする必要があります。多くの組織は、自分たちで実行および制御できないモデルに依存したくありません。彼らは、クローズド ソース モデルのベンダーがモデルを変更したり、利用規約を変更したり、さらにはサービスを完全に停止したりできることを望んでいません。また、自社のモデルに対する独占的な権利を持つ単一のクラウド プラットフォームにロックされることも望んでいません。オープンソースにより、互換性のあるツールチェーンの広範なエコシステムが可能になり、それらを簡単に切り替えることができます。
• 私たちはデータを保護する必要があります。多くの組織は、保護する必要があり、クラウド API 経由でクローズド ソース モデルに送信できない機密データを扱っています。一部の組織は、データに関してクローズドソース モデルのベンダーを単純に信頼していません。オープンソースでは、必要な場所でモデルを実行できるため、これらの問題は解決されます。オープンソース ソフトウェアは開発プロセスの透明性が高いため、より安全であることはよく知られています。
• 効率的かつ経済的なモデルが必要です。開発者は、クローズドソース モデル (GPT-4 など) を使用する場合の約 50% のコストで、独自の推論インフラストラクチャ上で Llama 3.1 405B を実行でき、ユーザー側およびオフラインの推論タスクに適しています。
• 私たちは長期的なスタンダードとなるエコシステムに投資したいと考えています。多くの人は、オープン ソースがクローズド モデルよりも速く進化すると考えており、長期的に最大の利点をもたらすアーキテクチャ上にシステムを構築したいと考えています。

オープンソース AI からメタへ

Meta のビジネス モデルは、人々に最高のエクスペリエンスとサービスを構築することです。これを達成するには、常に最高のテクノロジーにアクセスできるようにする必要があり、競合他社が私たちの開発内容を制限できないように、競合他社の閉鎖的なエコシステムに閉じ込められないようにする必要があります。

重要な経験を共有したいと思います。Apple はプラットフォーム上でコンテンツを構築することを許可していますが、サービスの構築に関しては依然として制限があります。彼らが開発者に課す税金であれ、彼らが課す恣意的な規則であれ、彼らが妨げるすべての製品革新であれ、もし私たちが製品の最高のバージョンを構築できれば、競合他社が私たちが構築するものを制限できないことは明らかです。企業は人々により良いサービスを提供できるようになります。哲学的なレベルでは、これが私が AI と AR/VR の分野で次世代コンピューターのためのオープン エコシステムを構築することを強く信じている大きな理由です。

Llama をオープンソース化することで技術的な優位性が失われることを心配しているのかとよく尋ねられますが、これはいくつかの理由から全体像を見逃していると私は考えています。

まず、長期的にテクノロジーのリーダーシップを維持し、クローズドソースのエコシステムに固定されないようにするために、Llama はツール、効率の向上、ハードウェアの最適化、その他の統合を含む完全なエコシステムに進化する必要があります。もし当社が Llama を使用している唯一の企業であれば、エコシステムは成長せず、クローズドソースの Unix 亜種を使用するよりも良い状況にはならないでしょう。

第 2 に、AI 開発は引き続き競争が激しいと予想しています。つまり、いつでもモデルをオープンソース化しても、次善のモデルとの競争において大きなアドバンテージを犠牲にすることはありません。Llama が業界標準になるまでの道は、何世代にもわたって競争力、効率性、オープン性を維持することです。

第三に、メタ プロバイダーとクローズド ソース モデル プロバイダーの主な違いは、AI モデルへのアクセスを販売することが当社のビジネス モデルではないことです。これは、Llama を一般公開しても、クローズド ソース プロバイダーの場合と異なり、当社の収益、持続可能性、研究への投資能力が損なわれることはないことを意味します。 (これが、一部のクローズド ソース プロバイダーが公共管理者に対してオープン ソースに反対するロビー活動を行っている理由の 1 つです。)

最後に、Meta にはオープンソース プロジェクトに関する豊富な成功経験があります。当社は、サーバー、ネットワーク、データセンターの設計をオープン コンピューティング プロジェクトと共有し、サプライ チェーンを標準化することで、数十億ドルを節約してきました。 PyTorch、React などの主要なツールをオープンソース化することで、私たちはエコシステムのイノベーションから大きな恩恵を受けています。このアプローチは長い間非常に効果的でした。

AIを世界にオープンソース化

私はAIの将来にはオープンソースが必要だと信じています。 AI は、人間の生産性、創造性、生活の質を向上させ、経済成長を加速しながら医学研究や科学研究を進歩させる、他の現代テクノロジーよりも大きな可能性を秘めています。オープンソースにより、世界中のより多くの人々が AI の開発から利益と機会を得ることができ、少数の企業に権力が集中せず、社会全体にテクノロジーをより均等かつ安全に展開できるようになります。

オープンソース AI モデルの安全性については、議論が続いています。私が言いたいのは、オープンソース AI は代替 AI よりも安全であるということです。政府は最終的に、世界をより豊かで安全なものにするため、オープンソースを支持するという結論に達すると思います。

私が理解しているセキュリティ フレームワークでは、意図的でない危害と意図的な危害の 2 種類の危害から保護する必要があります。

• 意図しない危害とは、AI システムが動作中に意図せず危害を引き起こす可能性を指します。たとえば、最新の AI モデルは、誤って誤った健康上のアドバイスを提供してしまう可能性があります。あるいは、将来のシナリオでは、モデルが誤って自身を複製したり、目標を過剰に最適化したりして、人間に不利益をもたらす可能性があるという懸念があります。
• 意図的な危害とは、悪意のある者が危害を引き起こす目的で AI モデルを使用することです。

何十億ものユーザーに対する AI システムの影響から、本当に破滅的な SF シナリオに至るまで、人々が AI に対して抱いている懸念のほとんどが、意図しない危害によってカバーされることは注目に値します。この点に関して、オープンソースによって提供されるセキュリティは、システムの透明性がより高く、広く検査できるため、さらに重要です。

歴史的には、この理由により、オープンソース ソフトウェアはより安全でした。同様に、Llama とそのセキュリティ システム (Llama Guard など) を使用すると、クローズド ソース モデルよりも安全で信頼性が高くなる可能性があります。その結果、オープンソース AI の安全性に関する議論のほとんどは、意図的な危害に焦点を当てています。

当社のセキュリティ プロセスには、リリース前にリスクを軽減することを目的として、当社のモデルが重大な危害を引き起こす可能性があるかどうかを検証するための厳格なテストとレッド チームの評価が含まれています。これらのモデルはオープンソースであるため、誰でも自分でテストできます。これらのモデルはインターネット上ですでに入手可能な情報に基づいてトレーニングされていることに留意する必要があります。そのため、害を考慮するときは、そのモデルが Google やその他の検索結果からすぐに得られる情報よりも大きな害を引き起こす可能性があるかどうかを出発点にする必要があります。

意図的な危害についての推論は、個人または小規模の主体ができることと、国家などの膨大な資源を持つ大規模な主体ができることを区別することによって役立ちます。

将来のある時点で、個々の悪意のある攻撃者が AI モデルのインテリジェンスを活用して、インターネット上ですでに入手可能な情報から新たな種類の危害を生み出す可能性があります。現時点では、パワーバランスが AI の安全性にとって重要です。

AI が広く導入され、大規模な攻撃者が小規模な悪意のある攻撃者とバランスを取れる世界の方が良いと思います。これは、ソーシャル ネットワーク上のセキュリティを管理する方法でもあり、より強力な AI システムが、小規模な AI システムを頻繁に使用するあまり洗練されていない攻撃者を特定してブロックします。

より広く言えば、大規模な機関が AI を大規模に導入することで、社会の安全性と安定性に貢献することになります。誰もが世代のようなモデルにアクセスできる限り、より多くのコンピューティング リソースを持つ政府や機関は、より少ないコンピューティング リソースで悪意のある攻撃者に対抗することができます。

将来の機会を考えるときは、今日の主要なテクノロジー企業や科学研究のほとんどがオープンソース ソフトウェア上に構築されていることを思い出してください。私たちがオープンソース AI に共同で投資すれば、次世代の企業や研究者が AI にアクセスできるようになります。これには、始めたばかりのスタートアップ企業だけでなく、SOTA AI をゼロから開発するためのリソースがない大学や国の人々も含まれます。

総合すると、オープンソース AI は、すべての人に経済的機会と安全をもたらすために、このテクノロジーを世界規模で最大限に活用することを意味します。

協力関係は安定しており、オープンソースは広範囲に及ぶ

過去の Llama モデルでは、Meta はより広範なエコシステムの構築に重点を置くことなく、独自の開発のためにこれらのモデルをリリースしました。今回の発売では、私たちは異なるアプローチを採用しました。私たちは、できるだけ多くの開発者やパートナーが Llama を利用できるようにするために社内でチームを構築しており、エコシステム内のより多くの企業が独自の機能を顧客に提供できるよう、積極的にパートナーシップを構築しています。

私は、Llama 3.1 のリリースが業界の転換点になると信じており、ほとんどの開発者がオープンソース テクノロジーを使い始めるでしょう。そして、このアプローチは当社のオープンソースから始まると予測しています。

AI のメリットを世界にもたらすために協力できることを願っています。

これらのモデルには、llama.meta.com からアクセスできるようになりました。

マーク・ザッカーバーグ