ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

小規模な AI モデルの爆発的な増加は、AI 大手企業の新たな競争の場となっています。

大型モデルの価格競争は永​​遠に続いており、巨額の資金を投資してきた AI 企業は、最近、独自の低コストで導入が容易な小型モデルを立ち上げました。 、そして新たな競争が始まりました。

まず、HuggingFace は SmolLM - 135M、360M、1.7B をリリースしました。これはトレーニングに 650B トークンしか使用しませんでしたが、そのパフォーマンスは Qwen 1.5B と Phi 1.5B を上回りました。

翌日、Mistral AI と NVIDIA は共同で、「Mistral AI の最高の小型モデル」と呼ばれる Mistral NeMo をリリースしました。これは使いやすく、Mistral 7B を使用するあらゆるシステムを直接置き換えることができます。

同じ日に、OpenAI は「爆買い」をして、GPT-4o のミニバージョンである GPT-4o Mini を発売し、この新しいモデルを「最も強力でコスト効率の高い小さなパラメーター モデル」と呼び、これを「ザ」と見なしました。ディスプレイ モデルは、GPT-3.5 の Web バージョンの「フロント ステージ」の位置を置き換えます。

それに負けずに、Apple も OpenAI と同じ日に DCLM 小型モデルをリリースし、リリースされるとすぐにオープンソースになりました。 Apple の ML チームの研究科学者、Vaishaal Shankar 氏は、「これは、これまでで最もパフォーマンスの高い真のオープンソース モデルです」と述べています。

これらのモデルはパラメーターが小さく、メモリの占有量が少ないため、微調整後の結果は大規模なモデルと同等になる可能性があり、コスト効率の高い選択肢となります。

IBM中国のデータと人工知能のチーフアーキテクトであるXu Xiaotian氏は、21世紀ビジネスヘラルド紙の記者とのインタビューで、「小型モデルの方が価値を実現しやすいはずだ」と語った。ビジネスフロー、機能性、経済性の統合は、性的により実現可能になります。」

AI 生成モデルの戦場では、反復速度が非常に速く、今日の「最高」が明日の新しいバージョンにすぐに打ち破られる可能性があり、「歴史的記録」は常に覆され、書き換えられます。 「モデルの更新が早す​​ぎて、判断するのが難しい。あるメーカーはそれが『最大で最高』だと主張する一方、別のメーカーは『最小で最高』だと主張する」 人工知能の上級観察者業界が21世紀ビジネスヘラルドに語ったところによれば、AI企業がビジネスストーリーで成功したいのであれば、人工知能モデルは10倍、あるいは100倍努力する必要があるという。

画像出典: Creative Drawing Xu Shuxing

小さなモデルトラックが「ロール」を開きます

AI大手は性能だけでなく価格でも競争するため、小型モデルを集中的にリリースしている。

Open AIの公式ウェブサイトによると、MMLU、MGSM、HumanEval、MMMUなどのベンチマークテストにおいて、GPT-4o miniはGPT-3.5 TurboやGemini Flashなどの小型モデルよりも優れたテキスト推論、視覚的推論、数学的推論を実証したとクロード氏は述べています。 Haiku 、コーディングおよびマルチモーダル推論能力、特に数学的推論とコーディング能力は、GPT-3.5 Turbo や他の小型モデルよりもはるかに優れていますが、GPT-4o よりはわずかに劣ります。最新の LMSYS ブラインド テスト アリーナ ランキングでも、GPT-4o mini は GPT-4o と並んで 1 位を獲得しました。OpenAI CEO のサム アルトマンも興奮を隠せず、ソーシャル メディア プラットフォームに次のように投稿しました。あらゆる評価について。」

OpenAI は優れたパフォーマンスに加えて、低コストの切り札も提供します。 7 月 18 日にオンラインになったとき、OpenAI は、GPT-4o mini の価格を入力トークン 100 万あたり 15 セント、出力トークン 100 万あたり 60 セントとすることを発表しました。これは GPT-3.5 Turbo より 60% 以上安いです。 7月24日、OpenAIは、現在から9月23日まで、レベル4およびレベル5のユーザーにGPT-4oミニ微調整サービスを1日あたり200万トークンの制限で無料で提供し、超過分は請求されると再度発表した。 100万トークンあたり3米ドル。 OpenAIは「GPT-4o miniが人工知能の適用範囲を拡大し、人工知能をより手頃な価格にすることを期待している」と述べた。

平安証券の調査レポートでは、GPT-4o miniは、価格を大幅に抑えた新世代のエントリーレベルの人工知能「小型モデル」であり、性能と費用対効果の両方を備えていると考えられています。現在、世界の大型モデルは、一方的な性能競争から、性能と実用性の両立を重視した開発傾向に徐々に移行しつつある。大型モデルの性能が一定のレベルに達すると、必然的にアプリケーションへの移行が進み、製品のコストパフォーマンスの向上と下流アプリケーションの推進と展開を促進することで、大型モデルメーカーは企業内でのクローズドビジネスループの形成を加速することが期待されます。大規模な模型産業チェーン。

GPT-4o mini の後にリリースされた Apple DCLM モデルも、DCLM がコード、重み、トレーニング プロセス、データ セットを完全にオープンソース化していることも目を引きます。 DCLM は 14 億パラメータと 70 億パラメータの 2 つのサイズに分かれており、その 70 億パラメータ バージョンは Mistral-7B を上回り、そのパフォーマンスは Llama 3 や Gemma に近くなります。 MMLU (5 ショット) ベンチマークでは、DCLM-7B は 63.7% の精度を達成しました。研究者らによると、このパフォーマンスは、以前の最先端のオープン データ言語モデル MAP-Neo と比較して 6.6% 向上し、必要な計算量は 40% 削減されます。さらに重要なのは、この結果は 62.7% の精度で Mistral-7B-v0.3 を上回り、64.3% の精度で Gemma 8B、66.2% の精度で Llama3 8B、および 66.2% の精度で Phi-3 7B に近いことです。 69.9%。

Apple は「大きいほど良い」というよりも、小型モデルの道を進むことを好みます。今年 4 月に Apple は、OpenELM と呼ばれる 4 つの事前トレーニングされた大規模モデルのファミリーを発表しました。これは、その時点ですでに「人工知能を Apple デバイス上でローカルに実行できるようにする」という目標に向かって進んでいたのです。

Appleは6月にAI開発ロードマップを明らかにし、小型モデルをモバイルデバイスにスムーズに組み込むことを計画しており、これにより「より速く、より安全」という目標が達成されるだけでなく、モバイルデバイスとモデルの統合という究極の問題も一気に解決されることになる。 。

Mistral AI および NVIDIA と提携して構築された Mistral NeMo は、高度な微調整と調整の段階を経て、正確な指示への従うこと、推論、複数ラウンドの会話の処理、およびコードの生成に優れています。 Mistral NeMo は主にエンタープライズ環境をターゲットにしており、企業が大量のクラウド リソースを必要とせずに人工知能ソリューションを実装できるようにすることを目的としていると理解されています。

Venturebeat のインタビューで、NVIDIA の応用深層学習研究担当副社長、Bryan Catanzaro 氏は、小規模モデルの利点について詳しく説明しました。同氏は、「小規模なモデルは取得と実行が容易で、人々が自宅のシステム上で実行できるため、さまざまなビジネスモデルを持つことができる」と述べた。

技術ボリュームからアプリケーションまで、市場はセキュリティ、プライバシー、高効率、高コストへの要望を反映し、ローカルでの導入が容易な高効率かつ低コストのモデルへの関心が高まっています。パフォーマンス。

業界アナリストは、AI 導入には明らかな新しいトレンド、つまりローカル ハードウェア上で効率的に実行できるモデルが存在しており、これにより、データ プライバシー、遅延、高負荷など、AI ソリューションの大規模導入に対する多くの企業の懸念が払拭されていると考えています。費用がかかります。 「これにより競争がより公平になる可能性があり、リソースが限られている中小企業も AI モデルの恩恵を受けることができ、それによって大企業との固有の格差を埋めることができるでしょう。」

小型模型トラックのハンドルを握ってみましょう

AI の巨人が小規模なモデル トラックを開設しているのはなぜですか?部分的に、またはコストを考慮したためです。

大規模なモデルは開発と実行に費用がかかり、OpenAI のような巨大企業ですら、モデルを購入するのに苦労しています。

最近、関係者は「OpenAIは今年50億ドルを失う可能性があり、12カ月以内に資金が枯渇するリスクに直面している」と分析した。今年 3 月の時点で、OpenAl は ChatGPT とその基盤となる大規模言語モデル (LLM) を実行するために Microsoft サーバーをレンタルするのに 40 億ドル近くを費やしました。 ChatGPTの運営に加え、データ料金を含むOpenAlのトレーニング費用は今年30億ドルに跳ね上がる可能性がある。事情に詳しい関係者によると、OpenAlは昨年、当初の計画よりも早く新しいAIの訓練を加速させ、当初はこうした費用に約8億ドルを費やす予定だったが、最終的にはそれをはるかに上回る金額を費やしたという。

比較すると、小型モデルは低コストで応答が速く、ローカルで実行できるため、パーソナライズされた正確な使用ニーズにさらに適応できます。業界関係者は「世界的にAIハードウェアが不足している中、小型モデルは導入コストやトレーニングコストが低く、出力効果は特定のタスクを処理するのに十分である」と述べた。

国内の AI 企業の担当者は、21 世紀ビジネス ヘラルド紙の記者に対し、モデルのトレーニングと調整に必要なハードウェア コストは、大規模なモデルよりもはるかに低いため、パラメータのスケールが小さいと大幅に削減できると語った。成熟した開発者は、低コストで垂直モデルをトレーニングすることもできます。これらの操作のコストは、大規模なモデルのコストよりもはるかに低くなります。

OpenAI の創設メンバーであり、テスラの元 AI シニア ディレクターである Andrej Karpathy 氏による最近の予測は、非常に典型的なものであり、彼は、生成モデルのサイズ競争が逆転して、より小型でよりスマートなモデルとの競争が始まるだろうと提案しました。

Andrej Karpathy 氏の説明では、現在の大規模なモデルが非常に大きい理由は、学習中に依然として非常に無駄が多いためです。大規模なモデルは記憶力に非常に優れていますが、それはまた、大規模なモデルが多くの無関係な詳細を記憶していることも意味します。これらの内容 これは、特定の問題で繰り返し呼び出すべきではありません。

小規模なモデルの場合、トレーニング目標はよりシンプル、より直接的、より効率的になるため、AI はより有用な情報をより直接的に学習できるようになります。

しかし、大規模モデルと小規模モデルは「どちらかを選ぶ」ものではなく、その開発ルートには依然として相互に学び合う意義があります。

Andrej Karpathy 氏は次のように述べています。「モデルは小さくなる前に、まず大きくなる必要があります。データを再構築して理想的な形式に整形するには、大きなモデルが必要だからです。1 つのモデルは、次のモデルのトレーニング データの生成に役立ち、徐々に完璧なトレーニングを取得します。」それを小さなモデルに入力します。モデルはすべてを記憶する必要はありませんが、正確であることを確認するために時々調べる必要があります。」

Robin Li 氏はまた、Baidu AI 開発者カンファレンス Create 2024 で、将来の大規模 AI ネイティブ アプリケーションは基本的に、大規模モデルと小規模モデルが混在する Moe アーキテクチャになるだろうと述べました。 Robin Li 氏はまた、大規模なモデル圧縮を通じて基本モデルを抽出し、それをデータでトレーニングする方が、小さなモデルを最初からトレーニングするよりもはるかに優れており、オープンソース モデルに基づいてトレーニングされたモデルよりも優れており、高速で、コスト効率が高いと述べています。 。 低い。