ニュース

マシンハートレポート

マシーンハート編集部

c. elegans からインスピレーションを得た新しいアーキテクチャである 3 つの「カップ形状」はすべて sota パフォーマンスを達成でき、リソースに非常に制約のある環境に導入できます。移動ロボットにはバグの頭脳が必要かもしれません。

大規模モデルの時代では、google の 2017 年の独創的な論文「attending is all you need」で提案された transformer が主流のアーキテクチャになりました。

しかし、mitのコンピューターサイエンス・人工知能研究所（csail）の元研究者らが共同設立したばかりのスタートアップ、liquid aiは、別の道を歩んだ。

liquid ai は、自分たちの目標は「基本的な生成事前トレーニング済み transformer (gpt) を超えたモデルを構築する方法を模索する」ことであると述べています。

この目標を達成するために、liquid ai は最初のマルチモーダル ai モデルである liquid foundation models (lfm) を立ち上げました。これは、第一原理に基づいて構築された新世代の生成 ai モデルであり、1b、3b、および 40b lfm により、メモリ フットプリントの縮小とより効率的な推論を維持しながら、あらゆるスケールで sota パフォーマンスを実現します。

liquid ai ポストトレーニング ディレクターの maxime labonne 氏は、lfm が自身のキャリアの中で最も誇りに思っているバージョンであると x で述べ、lfm の主な利点はメモリ使用量が少なく、transformer ベースのモデルよりも優れたパフォーマンスを発揮できることです。

lfmはトランスフォーマーのターミネーターだという人もいます。

一部のネチズンはlfmをゲームチェンジャーとして賞賛しました。

一部のネチズンは、「トランスフォーマーを放棄する時期が来たのかもしれない。この新しいアーキテクチャは非常に有望に見える」と信じています。

liquid aiが3モデルをリリース

lfm シリーズには、3 つの異なるサイズとバリエーションがあります。

• 集中的な lfm 1.3b (最小)。リソースに非常に制約のある環境に最適です。

• エッジ導入向けに最適化された高密度 lfm 3b。

• lfm 40.3b moe モデル (最大のミストラルのようなエキスパート ハイブリッド モデル) は、より複雑なタスクを処理するように設計されています。

sotaパフォーマンス

lfm-1bと同等スケールモデルの比較。 lfm-1b は、すべてのベンチマーク テストで最高のスコアを達成し、この規模の中で最も先進的なモデルとなりました。非 gpt アーキテクチャが transformer ベースのモデルを大幅に上回るパフォーマンスを示したのはこれが初めてです。たとえば、lfm 1.3b は、サードパーティのベンチマークで meta の llama 3.2-1.2b や microsoft の phi-1.5 を上回りました。

lfm-3b は、3b トランスモデル、ハイブリッドモデル、rnn モデルと比較して第 1 位の驚異的なパフォーマンスを実現します。また、複数のベンチマーク テストにおいて phi-3.5-mini と同等でありながら、18.4% 小型です。 lfm-3b はモバイルやその他のエッジ テキスト アプリケーションに最適であることがわかります。

lfm-40b は、モデルのサイズと出力品質の間の新たなバランスを実現します。実行時に 12b パラメータをアクティブ化し、大規模モデルと同等のパフォーマンスを実現できるほか、moe アーキテクチャによりスループットが向上し、よりコスト効率の高いハードウェアに導入できます。

メモリ効率が高い

lfm は、transformer アーキテクチャと比較してメモリ使用量が少なくなります。 transformer ベースの llm の kv キャッシュはシーケンスの長さに応じて直線的に増加するため、これは特に長い入力に当てはまります。入力を効率的に圧縮することにより、lfm は同じハードウェアでより長いシーケンスを処理できます。 lfm は、他のクラス 3b モデルと比較してメモリ占有量が最も少なくなります。たとえば、lfm-3b は 16 gb のメモリしか必要としませんが、meta の llama-3.2-3b は 48 gb 以上のメモリを必要とします。

lfm はコンテキストの長さを実際に活用します

以下の表は、異なるコンテキスト長における複数のモデルのパフォーマンスを比較しています。

この効率的なコンテキスト ウィンドウにより、エッジ デバイス上で長いコンテキストのタスクが初めて可能になります。開発者にとっては、ドキュメントの分析と要約、コンテキスト認識型チャットボットとのより有意義な対話、検索拡張生成 (rag) パフォーマンスの向上などの新しいアプリケーションが可能になります。

これらのモデルは、生のパフォーマンス ベンチマークだけでなく、運用効率においても競争力があり、エンタープライズ グレードのアプリケーションから金融サービス、バイオテクノロジー、家庭用電化製品のエッジまで、さまざまなユースケースに最適です。

ユーザーはlambda chatやperplexity aiなどを通じてアクセスできる。

liquid が生成事前トレーニング済み transformer (gpt) を超える仕組み

liquid は、動的システム理論、信号処理、数値線形代数の理論に深く根ざした計算ユニットのハイブリッドを使用します。その結果、ビデオ、オーディオ、テキスト、時系列、信号を含むあらゆる種類のシーケンス データをシミュレートして新しい lfm をトレーニングするために使用できる汎用 ai モデルが開発されました。

昨年の時点で、liquid ai は lnn (liquid neural networks) と呼ばれる手法を使用していました。複雑なタスクを実行するために数千のニューロンを必要とする従来の深層学習モデルとは異なり、lnn は、より少ないニューロン (革新的な数式を組み合わせることで) で同じことを達成できることを示しています。結果。

liquid ai の新しいモデルは、この適応性の核となる利点を維持しており、従来のモデルに伴う計算オーバーヘッドなしで推論中にリアルタイムの調整が可能です。メモリ使用量を最小限に抑えながら、最大 100 万個のトークンを効率的に処理できます。

たとえば、推論メモリのフットプリントの点では、lfm-3b モデルは、特にトークン長が拡張された場合に、google の gemma-2、microsoft の phi-3、meta の llama-3.2 などの一般的なモデルよりも優れています。

他のモデルでは長いコンテキストを処理するときにメモリ使用量が大幅に増加しますが、lfm-3b は使用するスペースがはるかに少ないため、ドキュメント分析やチャットボットなど、大量のシーケンシャル データ処理を必要とするアプリケーションに最適です。

liquid ai は、オーディオ、ビデオ、テキストなどの複数のデータ モダリティにわたるユニバーサル モデルとしてその基礎モデルを構築しました。

このマルチモーダルな機能により、liquid は金融サービスからバイオテクノロジー、家庭用電化製品に至るまで、業界固有のさまざまな課題を解決することを目指しています。

liquid ai は、nvidia、amd、apple、qualcomm、cerebras を含む複数のハードウェア メーカーの製品に合わせてモデルを最適化しています。

liquid ai は、初期のユーザーと開発者を招待して、新しいモデルをテストし、フィードバックを提供します。このモデルはまだ完璧ではありませんが、同社はフィードバックを使用して製品を改善する予定です。 2024 年 10 月 23 日に mit で正式な発表イベントを開催する予定です。

透明性を維持し科学を進歩させる取り組みとして、同社は発売に先立って一連の技術ブログ投稿を公開する予定だ。また、将来のバージョンの改善に役立てるため、モデルの限界を調査するためにレッド チーム テストを実施することもユーザーに推奨しています。

liquid ai によって導入された lfm は、高性能と効率的なメモリ使用量を組み合わせ、従来の transformer ベースのモデルに代わる強力な代替手段を提供します。このため、liquid ai は基本モデルの分野で重要な役割を果たすことが期待されています。

liquid ai: 小さなバグから始まる

openai や他の大規模な言語モデル企業と公然と競合するこのスタートアップは、mit のコンピューターサイエンスおよび人工知能研究所 csail によって育成され、2023 年 3 月に設立されました。

2023年12月、同社はシードラウンドで3,750万米ドルの資金調達を受け、評価額は3億ドルに達した。

投資家には、githubの共同創設者tom preston werner氏、shopifyの共同創設者tobias lütke氏、red hatの共同創設者bob young氏などが名を連ねている。

mit csail 所長のダニエラ・ラスは、同社の創設者の 1 人であり、この有名なロボット工学者でコンピューター科学者でもあり、研究所初の女性所長でもあります。

daniela rus に加えて、liquid ai の他の 3 人の共同創設者は全員、mit csail の博士研究員でした。

共同創設者兼 ceo のラミン・ハサニ氏は、mit csail でポスドク研究に従事する前は、米国最大のファンド管理会社の 1 つであるバンガードで主任人工知能科学者を務めていました。

共同創設者兼最高技術責任者（cto）のマティアス・レヒナー氏は、ウィーン工科大学の学生だった頃からハサニ氏とともに線虫の神経構造を研究していた。

共同創設者兼最高科学責任者のアレクサンダー・アミニは、ダニエラ・ラスの博士課程の学生でした。

4 人の創設者 (左から右へ) ceo、ramin hasani、daniela rus、最高科学責任者のalexander amini、ctoのmathias lechner

2017年、ダニエラ・ラスはハサニとレヒナーをmit csailに「発掘」し、ラスと博士課程の学生アミニも液体ニューラルネットワークの研究に加わった。

daniela rus 氏は、生成 ai には安全性、解釈可能性、計算能力の点で明らかな限界があり、ロボット、特に移動ロボットの問題を解決するために使用することが困難であると指摘しました。

科学研究コミュニティの「頻繁なゲスト」である線虫 caenorhabditis elegans の神経構造に触発されて、ダニエラ ラスと彼女の研究室のポスドク研究員は、液体ニューラル ネットワークとしても知られる新しいタイプの柔軟なニューラル ネットワークを開発しました。

caenorhabditis elegansは、コネトーム決定が完了した唯一の生物でもあります（2019年現在）。脳は単純ですが、現在のどの人工知能システムよりも学習し、環境に適応する能力がはるかに優れています。

caenorhabditis elegans は体長わずか 1 mm、ニューロンの数は 302 個、筋肉の数は 96 個しかありませんが、感知、逃走、採餌、交尾などの複雑な知的行動が可能です。

これは、生物学的な神経メカニズムのシミュレーションを通じて一般的な人工知能を実現するための最も単純な生きた知的エージェントであり、最小のキャリアです。

近年、科学研究者らは線虫の神経に関する研究結果を利用して、コンピューターによる生物学的シミュレーションを行っています。 daniela rus らは、線虫の脳がどのように機能するかを研究することにより、「液体時定数ネットワーク」を設計しました。

非線形ゲートを通じて相互に制御する複数の単純な動的システムで構成される連続時間モデル。

標準的なニューラル ネットワークが等間隔に配置されたダムの層のようなものであり、ダムの各層に多くのバルブ (重り) が取り付けられているとすると、計算された激流はダムの層を通過するたびにこれらのバルブを通過する必要があります。次のレベルへ急ぐ。

液体ニューラル ネットワークでは、各ニューロンが微分方程式 (ode) によって制御されるため、ダムは必要ありません。

このタイプのネットワークは可変時定数を特徴とし、出力は微分方程式を解くことによって得られます。研究によると、安定性、表現力、時系列予測の点で従来のモデルよりも優れていることがわかっています。

その後、daniela rus らは、閉形式の解を使用してニューロンとシナプス間の相互作用を効率的にシミュレートできる近似手法 (閉形式連続時間ニューラル ネットワーク) を提案しました。これにより、モデルの速度の計算が大幅に改善されただけでなく、より優れたスケーラビリティを示し、時系列モデリングで優れたパフォーマンスを発揮し、多くの高度なリカレント ニューラル ネットワーク モデルを上回ります。

liquid ai チームのメンバーは、このアーキテクチャが、ビデオ処理、自動運転、脳と心臓のモニタリング、金融取引 (株価)、天気予報など、時間の経過とともに変動するあらゆる現象の分析に適していると主張しています。

液体のように柔軟であることに加えて、液体ニューラル ネットワークのもう 1 つの特徴は、数十億のパラメータを持つことが多い生成 ai モデルよりも規模がはるかに小さいことです。

たとえば、リソースに非常に制約のある環境に導入できる lfm 1.3b には、パラメータが 1.3b しかありません (gpt-2 の最大バージョン 1.5b と同様) でありながら、より小さいメモリ フットプリントとより効率的な推論を維持できます。ロボットハードウェアプラットフォーム上のさまざまな実行で使用されます。

さらに、リキッド ニューラル ネットワークには、サイズが小さく、アーキテクチャが単純であるため、解釈しやすいという利点もあります。

ただし、新しいアーキテクチャが openai などの競合他社の主流モデルとどのように競合するかはまだわかりません。

ハサニ氏は、liquid aiは現在、消費者向けにchatgptのようなアプリケーションを開発する計画はないと述べた。同社はまず、金融研究や医学研究のモデル化を検討している法人顧客に焦点を当てている。

参考リンク:

https://venturebeat.com/ai/the-tireless-teammate-how-agentic-ai-is-reshaping-development-teams/

https://arxiv.org/abs/2106.13898

https://arxiv.org/abs/2006.04439

https://www.jiqizhixin.com/articles/2023-12-12?from=synced&keyword=liquid%20ai