ニュース

Llama 3.1、「European OpenAI」が新しいオープンソースモデルをリリース Forefront

2024-07-26

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

著者 | 王宜新

編集者|アニタ・タン

Meta が最新のオープンソース大型モデル Llama 3.1 をリリースしてから 1 日も経たないうちに、フランスの AI スタートアップ Mistral がそのキックオフに来ました - 7 月 24 日、Mistral は新しい主力モデル Large 2 をリリースしました。

Mistral AI は設立されて 1 年のフランスの AI スタートアップ企業であり、これまでのところヨーロッパで最も資金力があり、競争力のある AI プレーヤーでもあります。そのコアメンバーは Google DeepMind などのトップ AI 機関から来ています。 Chinchilla などの大規模なモデル論文の著者は、スケーリング則などのコア技術を提案しています。

2023 年 6 月の設立からわずか 4 週間で、Mistral AI は 6 人のチームで 1 億 500 万ユーロの資金調達を受けました。同社はオープンソースの大規模モデルの研究開発に注力しており、フランスのマクロン大統領から「米国のテクノロジー大手と競争する新世代の欧州新興企業のモデル」と称賛されている。

2023 年 12 月に、Mistral は、560 億のパラメータを持つオープンソースの大型モデルをリリースし、その効率とパフォーマンスは LLaMA-65B に匹敵し、大型モデル業界で瞬く間にヒットしました。さらに、同社はChatGPTのベンチマークを実施し、Le Chatと呼ばれる多言語会話アシスタントを立ち上げた(公式ウェブサイトによると、まだテスト段階にあり、登録とテスト資格の申請が必要であることが示されている)ことで、同社の最新の技術力をアピールした。

ミストラル氏は、Large 2は、Llama 3.1 405Bのパラメータの3分の1未満、つまり1,230億個のパラメータを使用して、コード生成、数学、推論能力においてLlama 3.1 405Bを上回り、より簡潔で回避的な応答の生成において他の主要なAIモデルを上回ったと述べた。長い説明が多すぎます。これは、Large 2 の方がコストの面でより多くの利点があり、開発者はローカルでより速く実行できることを意味します。

Meta の Llama 3.1 と同様に、Large 2 にはマルチモーダル機能はありませんが、対話応答の精度と信頼性の点で、Llama の「小さいほど大きい」と比較できます。 ミストラル氏は、モデルの幻覚問題がラージ 2 の訓練プロセスにおける焦点の 1 つであると述べた。さらに、Large 2 はコマンドのフォローや会話タスクも改善し、正確な指示や長く複数ターンにわたる会話を処理します。

Large 2 のコンテキスト長は 128k で、1 回の会話で 300 ページの本とほぼ同じ数の文字を受信できます。さらに、Large 2 は複数の言語をサポートしており、英語、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語、アラビア語、ヒンディー語、ロシア語、中国語、日本語、韓国語、および 80 のコード言語を処理できます。


出典:ミストラル公式サイト

Mistral のモデルは伝統的な意味でのオープンソース モデルではなく、商用利用には料金が必要であることを指摘しておく必要があります。

現在、Large 2 は Google、Amazon、Azure、IBM のプラットフォームに参入し、ユーザーが使用できるようになりました。ユーザーは、ミストラルの La Plateforme (AI アプリケーション開発を簡素化し、事前トレーニング済みモデル、データ処理ツール、API インターフェイスを提供する包括的なプラットフォーム) の「mistral-large-2407」を通じて体験したり、Le Chat で無料でテストしたりすることもできます。

ミストラルは今年6月にシリーズBの資金調達を完了し、総額6億4,000万米ドル、評価額60億米ドルを調達した。この資金調達ラウンドはGeneral Catalystが主導し、投資家にはLightspeed Venture Partners、Andreessen Horowitz、Nvidia、Samsung Ventures、IBMも含まれています。

Mistral AI には現在約 60 名の従業員がおり、そのうち 45 名がフランス、10 名が米国、5 名が英国にいます。フィナンシャル・タイムズ紙によると、従業員の約4分の3が製品開発と研究に携わっているという。