ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

ここ 1 ～ 2 年で、特に算術問題を解く際のパフォーマンスで大きなモデルが大きな注目を集めてきました。

実際、Google Research チームの研究者たちは、2022 年という早い時期に、大規模モデルの数学的推論を効果的に改善し、少数のサンプルのコンテキストで学習できるプロンプト エンジニアリング手法である思考連鎖 (CoT) プロンプトを提案しました。有効性が検証されています[1]。

この方法はすぐに広く使用されるようになりましたが、この分野の研究者は、この方法が大規模モデルで算術推論をどのように刺激するかについてはまだほとんど知りません。

これまでの関連調査は、大規模モデルの算術推論効果に対する CoT プロンプト ステートメントのさまざまなコンポーネントの影響を実験的に観察することに主に焦点を当てていました。

具体的には、CoT サンプルの口頭推論部分を削除して主要な数式だけを残すなど、CoT プロンプト ステートメント内のコンポーネントを置換または削除して、既存の算術演算の置換または削除の前後の大規模モデルを観察します。推論ベンチマーク テストでのパフォーマンスの差は、置換または削除された部品が大規模モデルの算術推論能力の刺激に重要な貢献をしているかどうかを判断するために使用されます。

この分野の研究者は、これらの研究からいくつかの興味深い現象を発見しましたが、CoT がどのようにして大規模モデルの算術推論能力を刺激するのかをニューラル ネットワークの内部メカニズムから説明することはまだできていません。

同時に、これらの研究はさらなる疑問を引き起こします。たとえば、なぜ CoT のさまざまなコンポーネントが大規模モデルの算術推論にさまざまな影響を与えるのかなどです。

上記の問題を解決するために、米国ジョージ メイソン大学の Yao Ziyu 教授と彼のチームは、「モデルの解釈可能性」の観点からオープンソースの Llama2 モデルに関する一連の調査を開始し、「ニューロンの活性化」を使用して、 CoTで観察される現象を体系的に説明する研究が行われています。

写真丨研究チームのメンバー（出典：研究チーム）

最近、「LLM の算術推論を引き出す思考連鎖を説明するための統一レンズとしてのニューロン活性化の調査」というタイトルの関連論文が、計算言語学協会年次総会 (ACL、年次総会) に受理されました。計算言語学会議) 2024 [2]。

ジョージ・メイソン大学の博士候補者であるDaking Rai氏が筆頭著者で、Yao Ziyu氏が責任著者を務めている。

図丨関連論文（出典：ACL 2024）

研究では、彼らはまず、Transformer フィードフォワード層が算術推論の概念を表現するニューロンであるかどうかを調査することに焦点を当てました。

関連する概念には、加算、減算、乗算、除算の算術演算の概念、算術推論プロセスにおける論理リンクの概念 (「...so」「...next」など)、およびその他の算術計算の概念が含まれます。 「パーセント」、「アルゴリズム」、「数式」など）。

そこで、各ニューロンが表す概念を発見するために、ニューロンを大規模モデルの語彙空間にマッピングし、ニューロンマッピング後の各語彙における概念の割合をラベル付けすることでニューロンの意味を要約しました。

研究グループは、GPT-4 を使用してニューロンの語彙マッピングを読み取って理解し、ニューロンのラベル付けとマイニングのプロセスを自動化することを提案しました。

実験によれば、Transformer フィードフォワード層には、算術概念を表すニューロンが実際に存在します。これらのニューロンが損傷すると、大規模モデルの算術推論能力が損なわれます。

同時に、研究者らは、これらのニューロンの活動が大規模モデルの算術推論能力と正の相関があることも観察しました。このような正の相関関係は、異なるプロンプト ステートメントが大規模モデルの算術推論に異なる効果をもたらす理由を説明します。

研究チームは、これらのニューロンに基づいて、これまでの研究で観察された4つのCoT関連現象を系統的に説明した。

まず、CoT サンプルから数式を削除して演算結果だけを残すと、大規模モデルの算術推論能力が損なわれてしまいます。

第二に、CoT サンプルから口頭推論が削除され、数式だけが残ると、モデルの能力も損なわれます。

第三に、CoT サンプルが演算の多様性を失う場合、たとえば、すべてのサンプルが加算演算のみを含む場合、モデルの機能が損なわれます。

第四に、CoT サンプルの演算結果が間違っていても、推論プロセスが正しい場合、モデルの能力は大きな影響を受けません。

「これらの現象は基本的にニューロンの活性化の程度によって説明できることがわかりました。たとえば、数式を削除する前後では、活性化されたニューロンの数が減少し、モデルの算術推論能力が損なわれる理由が説明されます。」道路の説明をしました。

応用の観点から見ると、この成果は 2 つの側面で応用の可能性を秘めています。

まず、大規模なモデルを予測する機能です。

実験では、研究者らは、算術推論を表すニューロンの活性化レベルが、Llama2 モデルの算術推論能力と正の相関があることを確認できました。これは、将来的には、特定のタスクにおける大規模モデルの機能を直接予測するためにベンチマークが必要なくなる可能性があることを意味します。

同時に、ベンチマーク テストには多くの人的資源と、データ セットのアノテーションやコンピューティング リソースなどの物的リソースが必要となるため、大規模なモデルの本質的なメカニズムを理解して直接予測できる機能は、コストの削減にも役立ちます。

さらに、この分野の専門家は、近い将来、大型モデルが超人的なタスクを実行できるようになると期待しています。しかし、人間の能力によって制限されるため、これらのタスクのベンチマークを構築する方法はありません。この問題は、大規模モデルに固有のメカニズムを通じてモデルの機能を予測することで十分に回避できます。

第 2 に、大規模なモデルの内部メカニズムを制御することにより、モデルの機能を強化したり弱めたりすることができます。

「私たちは、このアプリケーションが将来的に大規模モデルのセキュリティを向上させる重要な方法の 1 つになると信じています。同時に、小さなデータからニューロンの位置を特定するなど、より効率的な大規模モデルのトレーニングを実現する可能性もあります。それからニューロンの活性化を制御するのがモデルトレーニングの目的です」と研究チームは述べています。

実際、OpenAI は 2023 年後半に、科学研究の革新を促進することで人間が超人的な AI モデルを監視および制御できるようにすることを目的とした「スーパー アライメント」提案 [3] を提案しました。この目標を達成するには、予測と制御モデルの機能が 2 つの重要なタスクです。

「この結果は、この方向における我々の予備的な探査である。今後も我々や他の研究者がこの方向で探究を続けられることを期待している」と研究チームは述べた。この研究は「メカニズムの解釈可能性」に触発されました。

これは、近年急速に出現し、広く注目を集めているモデルの解釈可能性のサブフィールドです。以前の解釈可能な方法とは異なり、メカニズム解釈可能性は、ニューラル ネットワークをリバース エンジニアリングすることによってモデルの動作メカニズムを理解しようとします。

現在、この種の手法は、大型モデルの挙動や構造機能を説明する際に応用されています。

「私たちに大きな影響を与えた研究の 1 つは、米国のアレン人工知能研究所とイスラエルのバルイラン大学の研究者によるトランスフォーマー フィードフォワード層の探査です。」と研究者は述べています。

この研究では、大規模モデルが次の語彙単位を予測するプロセスにおいて、モデルの Transformer フィードフォワード層が語彙空間内の関連する概念を継続的に強化することで予測を構築することがわかりました。この概念の強化は、Transformer フィードフォワード層のニューロンを活性化することによって実現されます。

「メカニズムレベルでのこの発見は、私たちの推測に影響を与えました。CoTが算術推論における大規模モデルの能力を刺激できる理由は、それがTransformerフィードフォワード層で算術推論の概念を表すニューロンを効果的に活性化できるためかもしれません。そして、これらのニューロンは強化されるのに役立ちます」大規模モデルの算術推論能力」と研究チームは述べた。

これを踏まえ、研究グループは、大規模モデル、特に小規模な大規模モデルの算術推論能力を直接的に強化できる仕組みはないかと考えた。

研究チームは、「小規模大規模モデルは独自の計算効率、経済効率、セキュリティを享受できるため、これは非常に意味のあることだ」と述べた。

さらに、同時期に、高品質のデータを収集したり、トレーニング目的関数を変更したりすることで、特定の分野やタスクにおける小規模大規模モデルの機能を向上させる研究も見られました。ただし、この点における機械的解釈可能性の適用はまだ発展段階にあります。

それにもかかわらず、チームの科学研究のプロセスは順風満帆ではなく、当初は「行き詰まり」に直面したこともありました。

中でも最大の難点は、算術推論を行うための大きなモデルの内部機構が十分に理解できておらず、当然ながら望むようなモデル制御が実現できないことである。

「したがって、論文の最初の著者である私の生徒であるライと私は、まず大規模モデルの算術推論の説明に集中することにしました」と姚紫宇氏は語った。

しかし、彼らはすぐに次の困難に遭遇しました。

「算術推論」は非常に抽象的な概念であり、大規模なモデルの予測は特定の語彙単位のレベルで実行されます。

「語彙空間におけるニューロンの概念強化」の観点から大規模モデルの算術推論能力を理解したい場合は、まずこの高度に抽象的な概念を特定の語彙レベルの概念に実装する必要があります。

このギャップを埋めるために、研究グループはまず、算術演算子、算術推論における論理言語表現、その他の算術コンピューティング概念など、算術推論に関連するいくつかの下位概念をまとめました。

また、GPT-4 を使用して、これらの低レベルの概念を表現するニューロンを効率的にラベル付けして検索します。次に、以前の研究を参照して、これらの検索されたニューロンを検証しました。

「実験結果は、これらのニューロンが私たちの実験の大規模モデルであるLlama2において実際に重要な役割を果たしていることを証明している。」と研究チームは述べた。

これにより、この方向への探求を続ける自信も得られます。

彼らは、以前の研究で観察されたいくつかの現象の説明を含め、大規模モデルの算術推論能力に対する CoT の影響を均一に説明するために、これらのニューロンの活性化状態を使用することを考えました。

この結果は基本的に彼らの推測を​​裏付けました。つまり、大規模モデルの算術推論能力に対する CoT のさまざまなコンポーネントの刺激効果は、関連するニューロンの活性化によって説明できるということです。

ただし、この研究では、ニューロンの活性化が大規模モデルの算術推論パフォーマンスのすべてを説明するわけではないことも指摘しました。同時に、Llama2に関する研究者の発見が他の大規模なモデルグループに適用できるかどうかもさらなる検証が必要です。

また、Yao Ziyu氏の研究室には現在、2025年秋の入学に向けた完全奨学金の博士課程の座席が多数用意されていると報告されている。詳細はチームホームページ https://ziyuyao.org/ をご確認の上、メールにてお問い合わせください。

参考文献:

1.Wei, Jason, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V. Le, Denny Zhou. 連鎖思考の促進が大規模言語モデルにおける推論を誘発する。神経情報処理システムの進歩 35 (2022): 24824-24837.https://doi.org/10.48550/arXiv.2201.11903

2.Daking、Rai、Ziyu、Yao、「LLM の算術推論を誘発する思考連鎖を説明するための統一レンズとしてのニューロン活性化の調査」arXiv:2406.12288.https://doi.org/10.48550/arXiv.2406.12288

3.OpenAI。スーパーアライメントの紹介。https://openai.com/index/introducing-superalignment/。2023年。

4.Geva、Mor、Avi Caciularu、Kevin Wang、Yoav Goldberg。Transformer フィードフォワード層は、語彙空間で概念を促進することで予測を構築します。自然言語処理における経験的手法に関する 2022 年会議の議事録、pp. 30-45。2022 年。https://arxiv.org/abs/2203.14680

植字：朱佳史

01/

02/

03/

04/

05/