大規模モデルは人間のように考えることを学び始めています。agi への道はどこにあるのでしょうか?
2024-09-18
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
2 か月前、大規模モデルの数学的能力が弱いという問題が広く注目を集めました。市場にある多くの大規模モデルは、「9.11 と 9.9 のどちらが大きいですか?」という単純な数学的質問にさえ答えることができません。 2 か月後、業界は大規模モデルの数学的能力の制限の問題を徐々に解決しつつあります。
北京時間 9 月 13 日の早朝、openai は、o1-preview、o1、および o1-mini モデルを含む新しい推論モデル シリーズを予告なくリリースしました。これは、長い間噂されていた openai の高度な推論機能を備えた「strawberry project」です。 openai によると、新しいシリーズのモデルはデータとコーディングで優れたパフォーマンスを発揮し、国際数学オリンピック (imo) の資格試験で 83% の得点を獲得しました。
数学的能力の限界を突破しようとしているのは openai だけではありません。 google deepmind チームは、複雑な数学的問題を解決するために使用される alpha システム alphaproof も以前に立ち上げました。
数学的能力の限界を突破することは、ai テクノロジーの進化と agi (汎用人工知能) への道における新たな一歩です。コベントリー大学の教授であり、nvidia 人工知能テクノロジー センターのグローバル ディレクターである simon see 氏によると、ai の数学的能力を向上させるための業界の取り組みには、llm (大規模言語モデル) と他のテクノロジを組み合わせる取り組みが含まれており、さまざまなテクノロジへの取り組みが潜在的な推進力を生み出しています。 agi（汎用人工知能）に向けて。
数学能力の限界をどう解決するか?
「これは複雑な推論タスクにとって大きな進歩であり、新しいレベルの人工知能機能を表します。」と openai は o1 シリーズ モデルの導入時に述べました。 openai ceoのサム・アルトマン氏もソーシャルプラットフォーム上で、新モデルは新たなパラダイムの始まりである、つまりaiは一般的な複雑な推論を実行できると述べた。
強化された数学的機能は、このシリーズのモデルの重要な機能です。 openai は、新しいシリーズのモデルの更新されたパフォーマンスは、物理学、化学、生物学の難しいベンチマーク課題を完了する博士課程の学生のパフォーマンスと同様であると紹介しました。国際数学オリンピック (imo) の資格試験では、gpt-4o は 13% しか正しく解けませんでした。の質問のうち、新モデルのスコアは 83% でした。
新しいモデルがどのようにしてより優れた数学およびプログラミング能力を実現できるかについて、openai は、同社が大規模な強化学習アルゴリズムを使用して、データを効率的にトレーニングする際に思考の連鎖を使用して効率的に考えるようにモデルを「教育」していると紹介しました。強化学習が増加し、思考時間が増加するにつれて、o1 のパフォーマンスは向上し続けます。 openaiの研究者ノーム・ブラウン氏は、o1は大規模モデルのスケーリング（スケーリング）に新たな次元を切り開き、大規模モデルが事前トレーニングのボトルネックにさらされなくなり、推論計算も拡張できるようになったと述べた。強化された推論機能の役割について、openaiは医療分野で細胞配列データに注釈を付けたり、物理研究分野で複雑な数式を生成したりするために使用できると述べた。
google deepmind は、llm 以外のテクノロジーを組み合わせることで、ai システムの最終的なパフォーマンスを向上させます。 alphaproof も強化学習に基づいており、数学的推論のためのシステムです。このシステムは、定理の検証に使用されるプログラミング言語であるリーン プログラミング言語を証明するように自らをトレーニングし、トレーニング言語モデルを alphazero 強化学習アルゴリズムと組み合わせました。 google によると、lean を使用すると、数学的推論の証明に関してシステムが正しさを検証できるようになります。問題に直面すると、alphaproof は解決策の候補を生成し、証明または反証するための可能な証明ステップを lean で検索します。
技術原理が似ているかどうかに関係なく、alphaproof と openai o1 は、以前のモデルと比較して深く考える傾向があり、次のトークン (単語要素) を予測して迅速に生成する llm の能力に依存するだけではありません。
agiへの行き方は？
以前、大規模モデルの開発者は記者に対し、大規模モデルの数学的能力が弱い理由の 1 つは、モデルのトレーニングに大量の高品質の数学的データが使用されていないことであると述べました。データの品質が向上するにつれて、数学的能力が弱いという問題が解決されました。能力で解決できる。しかし、業界アナリストらは、訓練データの理由に加えて、llm の数学的能力が低いことは、次のトークンを予測する方法が実際には賢明ではないことにも原因があると述べています。最近の傾向から判断すると、openai や google deepmind を含む業界は、ai システムの動作メカニズムによる数学的および推論能力の不足の問題を解決しており、実際には、llm 動作方法の欠点を補うためにさまざまなテクノロジーを使用しています。ある程度、llm をより人間らしく考えさせます。
llm の機能の限界、数学的能力などの問題の解決方法、および既存の llm から agi に移行する方法について、業界では依然として根本原因と解決策について議論が行われており、最近、多くの業界ベテランがサウジ データ主催のカンファレンスを開催しました。および人工知能当局については、gain summit 世界人工知能サミットで議論されました。サミットでサイモン・シー氏は、現在の人工知能は「狭い」と述べ、多くの人はllmがagi実現の原動力になると考えているが、実際にはそれがどのように機能するのかよく理解しておらず、まだllm開発の瀬戸際に立たされていると述べた。エネルギーを無制限に供給できないため、ますます大型のモデルを構築できないなど、解決すべき問題はまだ多くあります。
「私たちは現在、大量のデータを持っています。モデルが十分に大きくトレーニングされると、機能が出現します。私の意見では、単一のテクノロジーに依存することは現実的ではありません。業界が現在取り組んでいる方向には、llm と他のテクノロジーを組み合わせることが含まれています。」 「理解と推論のための新しい記号や微積分などの知識と技術。最近、さまざまな技術の組み合わせが大きく進歩しました。deepmind の alphaproof は、リーン プログラミング言語、言語モデルなどを組み合わせているため、ai は次のことを行うことができます。」数学的な証明に使用されます。 llm がさまざまなテクノロジーを組み合わせて、ai システムに agi につながる潜在的な力を与えます。
alpha intelligence captal の共同創設者兼マネージング パートナーである antoine blondeau 氏も、最終的には機械が人間よりも優れているというのは当然の結論であると信じていますが、この結果を達成するには時間がかかり、科学的な結論はまだたくさんあります。やるべき仕事。同氏は、aiは単一のモデルではなく、複数のモデルの組み合わせになる可能性があり、最終的には人間と同じように現実世界で観察、証明、反論し、一般化して学習するようになるだろうと判断した。
llm の現在のメカニズムと限界について、アントワーヌ ブロンドー氏は、人間は人生から学び、その 95% は「音声付きビデオ」から学ぶと考えています。私たちの人生の本質は基本的に「ビデオをオンにする」ことであり、残りの 5 つはそうです。 % は書籍などのテキストからのものです。たとえば、人間はビデオから意味論を学び、それが人間または他の動物である可能性があることを意味します。しかし、機械がビデオから学習するとき、その仕事は次のピクセルを予測することですが、これは人間のやり方ではありません。機械に人間と同じように学習させることができなければ、機械がより高いレベルの知能に到達することは困難になります。
著名な機械学習科学者であり、大規模モデルのスタートアップ boson ai の創設者兼 ceo である alex smola 氏は、llm 操作の限界はトークン予測にも関係していると指摘しました。次のトークン (単語要素) を予測する llm の能力は、画像、音声の理解、音の生成に使用されており、過去 12 か月ですべてがトークンになったようだと彼は述べました。
「ある程度、利用可能なトークンの数が枯渇し始めています。大まかに見積もっても、人間が llm を構築するために使用できるトークンは 100 兆個あるかもしれません。ビデオやオーディオの供給品はまだたくさんあります。これが機能するかどうかは、これらのモードを処理できるチップを製造する nvidia またはその他の企業にも依存します。alex smola 氏は、近い将来、llm の中核はシーケンス モデリング (シーケンス モデリング) になる可能性があると述べました。 、データを確認できるようになり、ハードウェアの収束、確率モデルも同様の構造に向けて進化しており、今後数年間で関連する探査がどこまで進むかがわかります。
アントワーヌ ブロンドー氏は、技術の進歩と将来の展望を組み合わせることで、agi の実現は 10 年か 20 年以内に実現する可能性があり、その進化のスピードは現在非常に速いと考えています。 simon see 氏は、agi を達成するには、このプロセスの 80% がこの 10 年以内に達成される可能性があると考えていますが、最後の 20% は非常に困難で、さらに時間がかかると判断しています。
(この記事は中国ビジネスニュースからのものです)
