ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

9 月 15 日の it house news、昨日 (9 月 14 日)、テクノロジー メディアの marktechpost がブログ投稿を公開しました。nvidia が nemotron-mini-4b-instruct ai モデルをオープンソース化し、ai 分野における同社のイノベーションの新たな章を迎えたと報告されています。

小さな言語モデルの大きな可能性

nemotron-mini-4b-instruct ai モデルは、ロールプレイング、検索拡張生成 (rag)、関数呼び出しなどのタスク用に設計されており、より大きな nemotron によって抽出および最適化された小型言語モデル (slm) です。 -4 15bゲット。

nvidia は、プルーニング、量子化、蒸留などの高度な ai テクノロジーを使用して、モデルをより小型かつ効率的にし、特にデバイス側の展開に適しています。

このダウンサイジングは、ロールプレイングや関数呼び出しなどの特定のシナリオにおけるモデルのパフォーマンスに影響を及ぼさないため、高速なオンデマンド応答を必要とするアプリケーションにとって実用的な選択肢となります。

このモデルは minitron-4b-base モデルで微調整されており、llm 圧縮テクノロジーを使用しています。最も重要な機能の 1 つは、4096 個のコンテキスト ウィンドウ トークンを処理でき、より長く一貫した応答を生成できることです。

アーキテクチャと技術仕様

nemotron-mini-4b-instruct は、効率性と拡張性を保証する強力なアーキテクチャで知られています。

モデルの埋め込みサイズ (変換されたベクトルの次元を決定する) は 3072、マルチヘッド アテンションは 32、mlp 中間次元は 9216 です。大規模な入力データ セットを処理する場合でも、高精度で応答できます。そして関連性。

さらに、このモデルは、グループ クエリ アテンション (gqa) および回転位置埋め込み (rope) テクノロジーも使用して、テキストの処理と理解の能力をさらに向上させます。

このモデルは、transformer デコーダー アーキテクチャに基づいており、自己回帰言語モデルです。これは、先行するトークンに基づいて各トークンを生成することを意味し、一貫した対話の流れが重要である対話生成などのタスクに最適です。

ロールプレイングおよび関数呼び出しアプリケーション

nemotron-mini-4b-instruct は、ロールプレイング アプリケーションに優れています。その大規模なマークアップ容量と最適化された言語生成機能により、仮想アシスタント、ビデオ ゲーム、または ai が重要な応答を生成する必要があるその他の対話型環境に組み込むことができます。

nvidia は、これらのシナリオ、特に 1 回または複数回の会話でモデルが最良の結果を出力できるように、特定のプロンプト形式を提供しています。

このモデルは関数呼び出しに対しても最適化されており、ai システムが api やその他の自動化されたプロセスと対話する必要がある環境では、その重要性がますます高まっています。このモデルは、正確で機能的な応答を生成できるため、テキストを作成し、ナレッジ ベースから情報を取得して提供する必要がある rag シナリオに最適です。