学者姚其志氏の大型モデルに関する新たな研究により、「9.11と9.8どちらが大きいか?」という問題が解決された。
2024-09-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
記事はqubit(qbitai)に転載されています
作者：西風学者の yao qizhi が主導権を握り、大規模モデル向けの新しい推論フレームワークを立ち上げます。cot の「王冠」はもはや維持できません。大きなモデルをより人間のように思考させるための思考図を提案します。チームは、この推論プロセスに数学的基礎を提供し、トポス理論を通じて dot を形式化し、その論理的一貫性と合理性を保証します。推論プロセスを線形シーケンスとして表現する cot と比較して、dot は人間の推論の複雑さをよりよく捉えることができます。tot や got の分岐構造の導入と比較して、dot は外部の制御メカニズムや複数のモデルの連携に依存する必要がなく、トレーニングとデプロイメントが簡単です。その秘密は、dot が単一モデル内で有向非巡回グラフ (dag) を構築するものとして llm の反復推論をモデル化していることです。dag は、提案、批判、改良、検証を表すノードで構成されます。エッジはそれらの間の論理関係または依存関係を表します。エッジには方向があり、循環パスはありません。この非循環機能により、推論プロセスが循環依存関係の影響を受けず、合理的な論理導出をより正確に反映できるようになります。9.11 と 9.8 のどちらが大きいか、イチゴには「r」が何個あるかなどの疑問は、dot の助けを借りてすべて解決されます。dot がどのようなものかを具体的に見てみましょう。大規模モデルにおける複雑な推論のための新しいフレームワーク
前述したように、dot は、単一の llm 内で有向非巡回グラフ (dag) を構築するとして論理推論プロセスをモデル化します。そのフレームワーク内では、次の 3 つの重要な役割が管理されます。提案者: 命題または推論ステップを生成し、新しいノードを追加します。
批評家: 命題を評価し、エラー、矛盾、または論理的誤りを特定し、批判のノードを追加します。
サマライザー: 検証された命題を一貫した思考の連鎖に合成し、トポロジカルな種類の dag を効果的に実行して、最終的な推論出力を生成します。
推論プロセスは、提案者が命題を導入し、dag にノードを追加することから始まります。その後、評価、検証、または批判を提供するのは査読者の責任です。批判が提供される場合、新しいノードが追加され、命題と批判の間にエッジが確立されます。批判に基づいて、提案者は洗練され改善された提案を生成し、dag 内の新しいノードとして表されます。十分に有効な命題が確立されると、サマライザーはこれらの推論を合成し、dag をトポロジカルに並べ替えて、一貫した思考の連鎖を生成します。dot は、モデルを正しい推論と誤った推論の両方にさらすことで、人間が問題を解決する方法と同じように、llm が間違いから学び、時間の経過とともに推論を洗練できるようにします。このアプローチは、推論の非線形で反復的な性質を捉えるだけでなく、自然言語の批判を通じてバイナリ信号よりも豊富なフィードバックも提供します。dot のトレーニングには、役割固有のトークンや dag 表現など、dot 構造にフォーマットされたトレーニング サンプルの使用が含まれます。推論中に、モデルは文脈上の手がかりと役割固有のトークンに基づいて、提案、批判、要約を生成します。このアプローチにより、展開が簡素化され、複数の llm コラボレーションや外部制御メカニズムが不要になると同時に、標準の llm トレーニング パラダイムとの一貫性を維持して、既存のワークフローに簡単に統合できます。著者はまた、dot フレームワークの厳密な数学的基礎を提供します。推論プロセスが正式に説明されています。この枠組みでは、命題はトポロジーにおける終端オブジェクトの部分オブジェクトとしてモデル化され、論理関係と推論ステップは射として表現され、批判と改善のプロセスはそれぞれ部分オブジェクト分類器の射と命題間の射に対応します。prenet カテゴリを導入することで、推論プロセスの動的かつ並行的な性質をうまく捉えることにも成功しました。この数学的基礎は、推論プロセスの論理的一貫性と完全性を保証するだけでなく、推論専用の次世代 ai モデルを設計するための概念的な枠組みも提供します。清華大学のyao qizhi氏とyuan yang氏が率いる
この論文は清華学際情報研究所のyao qizhi氏とyuan yang氏が主導し、論文の筆頭著者はzhang yifan氏です。チャン・イーファンは2021年に学士号を取得して卒業北京大学遠平学院, 現在、清華大学学際情報学院の博士候補生で、袁洋助教授の下で勉強しています。彼の主な研究方向は、基本モデル (大規模言語モデル)、自己教師あり学習、および信頼できる人工知能の理論とアルゴリズムです。yuan yang は、清華大学学際情報学院の助教授兼博士指導教員です。2012 年に北京大学のコンピューター サイエンス学部を卒業し、2018 年に米国のコーネル大学でコンピューター サイエンスの博士号を取得し、2018 年から 2019 年までマサチューセッツ研究所のビッグデータ サイエンス学部で博士研究員として勤務しました。テクノロジーの。主な研究方向は、インテリジェント医療、ai解釈可能性、ai大規模システムであり、非凸最適化理論、ニューラルネットワーク最適化理論、機構設計の分野で多くの研究成果を上げている。yao qizhi は中国科学院の学者であり、清華大学学際情報研究所の所長でもあります。チューリング賞「創設以来この賞を受賞した初のアジアの学者であり、これまでこの栄誉を獲得した唯一の中国人コンピューター科学者です。姚啓志教授は2004年に終身教授としてプリンストン大学を退職し、清華大学に戻り、2005年に清華大学の学部生向けのコンピュータサイエンス実験クラス「yao class」を設立し、2011年に「清華量子情報センター」を設立した。 」と「学際情報研究所」、2019年に 2008年、清華大学の学部生向けに「スマートクラス」と呼ばれる人工知能クラスを設立した。現在、彼が率いる清華大学学際情報研究所は古くから有名であり、yao classとzhibanは両方とも学際情報研究所に所属しています。yao qizhi 教授の研究対象にはアルゴリズムが含まれます。暗号化、量子コンピューティングなどは、この分野の国際的な先駆者であり権威です。もう一つ
1年前のほぼ同じ時期に、学者のyao qizhi氏がこの提案を主導した。累積推論(累積推論、cr) メソッド。当時、cr は、さまざまな専門分野の大規模な言語モデルを含む反復プロセスを調整し、さまざまなモデルが提案者、検証者、報告者の役割を引き受けました。一方、dot は単一モデル内で有向非巡回グラフを直接構築し、外部制御メカニズムや複数のモデルに依存しないため、トレーニングとデプロイメントがより簡単になります。また、dot では、モデルによって生成される重要なフィードバックは、cr のようなバイナリ信号を与えるだけではなく、自然言語の形式になります。これにより、モデルはエラーの詳細な説明を受け取ることができ、命題をより効果的に改善するのに役立ちます。今回の dot には強力な数学的基礎もあり、dot の推論プロセスとカテゴリー論理の関係が明確になり、理論における推論の一貫性と信頼性が保証されます。
