ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

スマートなもの (公開アカウント:翻訳）
コンパイルバニラ
編集李水清

Google DeepMind のオープンソース小規模モデル ファミリーが新しいメンバーを歓迎します。

Zhidongzhi は 8 月 1 日、今朝早く、Google DeepMind が軽量モデル Gemma 2 2B をオープンソース化したと報告しました。大規模モデル分野でのスコアは、GPT-3.5 や Llama 2 70B などのより大きなパラメータを持つモデルを上回りました。

▲ジェマ2 2B

Gemma 2 2B は、パラメータが 20 億しかないため、携帯電話、PC、その他の端末デバイス上で簡単かつ迅速に実行できます。 Google AI Studio での開発者による実際のテストによると、推論速度は 30 ～ 40 トークン/秒に達します。

▲開発者がGemma 2 2Bをテスト

Gemma 2 2B と同時にリリースされたのは、モデルの解釈性を向上させるツールである Gemma Scope と、有害なコンテンツをフィルタリングするためのセキュリティ分類モデルである ShieldGemma です。

Gemma Scope は、モデル内の特定のポイントを増幅するスパース オートエンコーダー (SAE) に基づいており、JumpReLU アーキテクチャを使用してモデルを最適化することで、モデル内で処理される高密度で複雑な情報の解析を支援し、研究者が次のようにモデルを「見る」ことができるようにします。内部の顕微鏡。

ShieldGemma は、ヘイトスピーチ、ハラスメント、ポルノ コンテンツ、危険なコンテンツという 4 つの危害領域に対応して構築されており、応答テストでは GPT-4 などのベンチマーク モデルを上回っています。

今年 2 月に最初に発表された Gemma シリーズのモデルは、Gemini モデルの経験に基づいて Google DeepMind によって構築されたオープンソース モデルです。 6 月に Google は、9B と 27B の 2 つのパラメータ サイズを含む第 2 世代のオープンソース モデル Gemma 2 を発表し、その中で 27B モデルはすぐに LMSYS 大型モデル分野のオープンソース モデルの最前線に躍り出ました。

1.パラメータ35倍の大型モデルを撃破、ジェマ2と比べて問題なし

Gemma 2 2B は、より大型のモデルを改良したもので、27B と 9B に続いて Google が発売した 3 番目の Gemma 2 モデルです。

Gemma 2 2B はパラメータが 20 億しかない軽量モデルなので、移植性のためにパフォーマンスを犠牲にすることはありません。 LMSYS Large Model Arena (Chatbot Arena) ランキングでは、Gemma 2 2B が 1126 ポイントのスコアで GPT-3.5 を上回り、また Mixtral 8x7B および Llama 2 70B モデルも数十倍のパラメーター スケールで上回りました。

▲Gemma 2 2Bの大型模型分野での成績

一部のネチズンは、Gemma 2 2Bが「ひっくり返る」比率9.9と9.11の問題を多くの大型モデルでテストし、Gemma 2 2Bはすぐに正しい答えを出しました。

▲ジェマ2 2Bの答え

走行速度は軽量モデルの大きな利点です。正確にはどのくらいの速度ですか? Apple 機械学習研究者の Awni Hannun は、iPhone 15 pro の MLX Swift で Gemma 2 2B をテストしましたが、その推論速度は目に見えて速かったです。

▲ジェムマ2 2Bの走行速度

実際のテスト後、開発者のトム・ファン氏は、Google AI Studioでの実行速度は約30～40トークン/秒で、「Appleのモデルより速い」と述べた。

導入に関しては、Gemma 2 2B は柔軟な導入方法を提供し、エッジ デバイス、ラップトップ、または Vertex AI に基づくクラウド導入など、さまざまなハードウェア上で効率的に実行できます。

開発者は、研究や商用アプリケーションのために、Hugging Face や Kaggle などのプラットフォームから Gemma 2 2B のモデル重みをダウンロードしたり、Google AI Studio でその機能を試したりすることができます。

オープンソースのアドレス:

https://huggingface.co/google/gemma-2-2b

二、GPT-4 よりも優れた応答率で 4 種類のコンテンツの分類器を構築する

モデルのセキュリティとアクセシビリティを向上させるために、Google は、Gemma 2 に基づいて構築された安全なコンテンツ分類子モデルのセットである ShieldGemma を開始しました。これは、AI モデルの入力と出力をフィルタリングするために使用されます。 Google の責任ある AI ツールキットの既存のモデル。セキュリティ分類子スイートへの追加。

▲ShieldGemmaの仕組み

ShieldGemma は、ヘイトスピーチ、嫌がらせ、ポルノ コンテンツ、危険なコンテンツという 4 つの危害領域向けに構築されており、さまざまなニーズを満たすために 2B、9B、27B などのさまざまなモデル サイズを提供しています。このうち、2B パラメータ モデルはオンライン分類タスクに適しており、9B および 27B バージョンはオフライン アプリケーションでより高いパフォーマンスを提供するために使用されます。

外部データセットの評価結果では、ShieldGemma は OpenAI Mod や GPT-4 などのベースライン モデルを上回りました。

▲ShieldGemmaの評価結果

ShieldGemmaの技術レポートも同時に公開され、モデルの構築方法やデータソース、有効性などが解説されました。 4 種類の有害コンテンツの応答テストでは、3 つのスケールで ShieldGemma の応答率が GPT-4 より優れています。

▲ShieldGemmaの応答テスト

技術レポートのアドレス:

https://storage.googleapis.com/deepmind-media/gemma/shieldgemma-report.pdf

三つ、大規模モデル内の「顕微鏡」によりコードなしでモデルの動作を分析

言語モデルの内部動作原理を研究するために、Google は包括的でオープンなスパース オートエンコーダー Gemma Scope を立ち上げました。これは顕微鏡のように機能し、研究者がモデルの内部を「見る」ことでモデルがどのように機能するかをより深く理解できるようになります。

Gemma Scope は、スパース オートエンコーダー (SAE) を使用してモデル内の特定のポイントを増幅し、モデル内で処理される高密度で複雑な情報を解析し、分析し理解しやすい形式に拡張します。

▲SAE解釈を用いたモデル活性化の様式化表現

これらの拡張されたビューを研究することで、研究者は Gemma 2 がどのようにパターンを認識し、情報を処理し、最終的に予測を行うかを理解し、より理解しやすく、より信頼性の高い AI システムを構築する方法を探ることができます。

これまでの SAE の研究は主に、小型モデルまたは大型モデルの単一層の内部動作を研究することに焦点を当ててきました。 Gemma Scope の画期的な点は、Gemma 2 モデルの各レイヤーとサブレイヤーの出力で SAE をトレーニングすることです。 400 を超える SAE が生成され、3,000 万を超える機能が学習されました。

▲Gemma ScopeのSAE検出機能の有効化例

Gemma Scope は、トレーニングに新しい JumpReLU SAE アーキテクチャも使用します。元の SAE アーキテクチャでは、どの機能が存在するかを検出し、その強度を推定するという 2 つの目標のバランスをとることが困難です。 JumpReLU アーキテクチャでは、このバランスをより簡単に達成でき、エラーが大幅に減少します。

Gemma Scope は、Gemma 2 2B および 9B のすべてのレイヤーをカバーする合計 400 を超える無料の SAE を公開しており、研究者はコードを記述することなく SAE の特性を調査し、モデルの動作を分析できます。

▲Gemma Scopeのインタラクティブデモンストレーション

デモアドレス:

https://www.neuronpedia.org/gemma-scope

技術レポートのアドレス:

https://storage.googleapis.com/gemma-scope/gemma-scope-report.pdf

結論: 生成的人工知能小さな模型に向かって風が吹いて、人工知能安全性

生成 AI の開発以来、モデルは「ボリューム」パラメータと「ボリューム」スケールから、現在は「ボリューム」軽量と「ボリューム」セキュリティへと移行しています。これは、テクノロジー実装のプロセスにおいて、ユーザーに近く、より低コストであることを反映しています。コストを削減し、特定のニーズをより適切に満たすことができます。

AI PC や AI 携帯電話が消費者の生活に徐々に浸透していく中で、ユーザーのプライバシーとセキュリティを確保しながら、大型モデルをいかにしてコンパクトな端末装置に「詰め込む」かが、大手 AI メーカーが解決すべき緊急の課題となっています。