私の連絡先情報
郵便メール:
2024-07-24
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
西風は蒼飛寺から吹いてくる
パブリックアカウント QbitAI
「あなたに質問したいのですが、あなたが秋鎮学院の生徒であろうと、秋成通のジュニアクラスの生徒であろうと、この質問を知らないなら、このクラスにいるべきではありません！」
2024年国際基礎科学会議「基礎科学と人工知能フォーラム」にレノボグループCTO兼欧州科学アカデミー外国人学者が登壇ルイ・ヨンこの言葉が出た瞬間、会場全体が少し緊張しました。
しかしその後、彼が尋ねた質問は次のようなものでした。13.11 と 13.8 ではどちらが大きいですか?
皆さん、このジョークをまだ知らない人に聞いてください。
ただし、今回はモデルの狂気を嘲笑することではありません。学界や産業界の複数のAI専門家がモデルの「錯覚」など一連の問題を分析し、「」について意見を引き出した。人工知能の次のステップは何でしょうか?」という意見。
要約すると、次の点が含まれます。
香港大学データ学部長、香港大学コンピューターサイエンス学部長いいですか議論の中で、現在主流派が利用している「人工知能」については疑問符も出た。
人工知能技術の開発には多くの経験が蓄積されており、その中には説明できるものもあれば、説明できないものもあり、今こそ理論が非常に必要とされる時代です。実際、私たちの学問はここ 10 年ほどで大きな進歩を遂げていないと言えます。産業と工学技術の急速な発展が学問のペースに影響を与えている可能性があります。
偉い人たちが具体的に何を言ったかを見てみましょう。
現場には香港大学データ学部長、香港大学コンピューターサイエンス学部長が出席いいですかでは、「理論の基本に立ち返り、インテリジェンスの本質を探る」と題した基調講演を行った。
表明された見解は円卓会議で議論された問題と一致している。
馬毅教授の講演テーマは「理論の基本に立ち返り、知能の本質を探る」であり、AIの歴史的な発展過程を振り返り、現在のAIの発展について自身の見解を述べた。
彼は最初に生命と知性の進化について話しました。
彼の個人的な見解では、生命は知性の伝達者であり、生命が生産し進化する能力は知的なメカニズムの作用の結果です。そして、世界はランダムではなく、予測可能です、継続的な進化の過程で、生命は世界についてのより予測可能な知識を学びます。
自然選択による適者生存は、現在の強化学習の概念と同様、知能からの一種のフィードバックです。
植物から動物、爬虫類、鳥類、そして人間に至るまで、生命は知能を向上させてきましたが、知能が高い生命ほど、生まれた後も親に従う期間が長くなると思われる現象があります。なぜ？
Ma Yi教授はさらに、「遺伝子だけでは十分ではないため、いくつかの能力を学習する必要がある」と説明した。学習能力が強ければ強いほど、より多くのことを学ぶ必要があります。これはより高度な知能です。
個人的な方法で学習した場合、十分な速度や優れた学習ができないため、人々は言語を発明し、人間の知性は集団知性の一形態になりました。
集団知が生まれ、質的変化が起きた。私たちはこれらの予測可能な現象を経験的観察から学ぶだけではありません。抽象的な論理的思考、私たちはそれを人間の知能、または後に人工知能と呼びます。
次に、機械知能の起源について話しました。
1940 年代以来、人間は機械に生物、特に動物の知能をシミュレートさせようと試み始めました。
人間はニューロンをモデル化し、「脳の知覚がどのように機能するか」を調査し始めましたが、その後、動物の神経系をシミュレートするには人工ニューラル ネットワークを構築する必要があることが誰もが発見し、研究はますます複雑になってきました。
この問題は 2 度の寒い冬を経て、誰もがニューラル ネットワークのいくつかの限界を発見し、依然としてこれらの課題の解決を主張している人もいます。
その後、データ コンピューティング能力が発達し、ニューラル ネットワークのトレーニングが可能になり、より深いネットワークが開発され始め、そのパフォーマンスはますます向上しました。
しかし、最大の問題があります。これらのネットワークは経験的に設計されており、そのボックスはますます大きくなり、内部で何が起こっているのかわかりません。
ブラックボックスの何が問題なのでしょうか？技術的な観点からも体験設計が可能であり、試行錯誤を続けることができます。しかし、コストは高く、サイクルは長く、結果のコントロールは困難です。また：
誰も説明できない重要な現象が世界にあり、多くの人が闇に包まれている限り、それはパニックを引き起こすでしょう。これが今起こっています。
では、どうやってブラックボックスを開けるのでしょうか？マーイー教授は、「なぜ勉強するのか？」という最初の質問に戻ることを提案しました。なぜ生命は進化できるのでしょうか？
彼は特に、計算を通じて実現できることについて話さなければならないことを強調しました。
抽象的なことは話さないでください。これは私から皆さんへのアドバイスです。この問題をどのように計算し、どのように実行するかについて話し合う必要があります。
それで、何を学べばいいのでしょうか？
マー・イー教授は、予測可能で規則的なことを学ぶべきだと信じています。
たとえば、ペンを手に持って手を離すと何が起こるか誰もが知っていますし、素早く動けばそれを捕まえることができます。このことはニュートン以前から知られていました。人間や動物は外界の優れたモデルを持っているようです。
そして数学では、予測可能な情報は、高次元空間のデータの低次元構造に均一に反映されます。。
では、統一された計算メカニズムとは何でしょうか?マーイー教授は次のように答えました。同じようなものが集まり、異なる種類のものは互いに反発します。、本質はとてもシンプルです。
何かがうまくできたかどうかをどうやって測定するのでしょうか?なぜ圧縮するのでしょうか？
彼は以下に示すような例を挙げました。たとえば、世界はランダムであり、何も知られておらず、代わりに青いボールを使用すると、すべての青いボールが次の瞬間に起こる可能性があります。
しかし、これらの出来事の 1 つが起こったことを覚えておきたい場合は、空間全体をエンコードしてコードを与える必要があります。そうすれば、緑色のボールがあるエリアのみが発生し、青色のボールははるかに少なくなります。
物事が起こる地域がますます小さくなることがわかると、私たちは世界についてますます知ることができなくなります。これが、1940 年代に情報理論が確立していたものです。
これらの緑の領域をより適切に見つけるには、脳内でそれらをより適切に整理する必要があります。つまり、私たちの脳はこの現象と低次元の構造を組織化しているのです。
これはどのように計算的に実現できるのでしょうか?
Ma Yi教授は、すべてのディープネットワークが実際にこれを行っていると述べました。現在の Transformer と同様に、画像をセグメント化して分類することでこれを行います。
実際、ニューラル ネットワークの各層は、データを圧縮する。
これには数学が非常に重要な役割を果たします。何を最適化するか、そしてそれをどのように最適化するかを厳密に測定する必要があります。これら 2 つのことを行った後、得られる演算子は、求めた演算子と同じであることがわかります。現在の経験では、オペレータの多くは非常に似ています。
Transformer、ResNet、CNN のいずれも、これをさまざまな方法で実行します。そしてそれが何をしているのかは統計的かつ幾何学的に完全に説明できます。
しかし最適化の最適解自体が正解ではない可能性がある 、重要な情報が圧縮プロセス中に失われる可能性があります。既存の情報の次元が適切であることを証明するにはどうすればよいでしょうか。幻覚が起こらないことを証明するにはどうすればよいですか?
学習の基本に立ち返って、なぜこれらのことを覚えておく必要があるのでしょうか。それはそこにあるはずだ脳は物理世界をシミュレートし、物理空間でより良いパフォーマンスを発揮するには予測する。
その後、Ma Yi はアラインメントの概念について次のように述べています。
つまり、調整とは人々と調整することではありません、調整とはこれですモデルは学習した内容と一致します。
自動エンコーディングを内側から学ぶだけでは十分ではありません。自然界の動物はどのようにして外界の物理モデルを学習するのでしょうか。
観察と一致している限り、常に自分自身の観察を使用して外の世界を予測します。一貫性のある 、 それでおしまい。これには閉ループの概念が含まれます。
生き物が存在する限り、知的生き物が存在する限り、それらはすべて閉ループです。
その後、マー・イー教授は、私たちは真の知性にはまだ程遠いと指摘しました。
知性とは何ですか?人々は知識と知性を混同することがよくありますが、知識があればシステムには知性があるのでしょうか?インテリジェント システムには、自己改善と自身の知識の増加のための基盤が必要です。
最後に馬毅教授はこう締めくくった。
歴史を振り返ると、1940 年代には誰もが機械が動物を模倣することを望んでいましたが、1950 年代にチューリングは 1 つのこと、つまり機械は人間のように考えることができるかどうかを提案しました。 1956 年のダートマス会議では、人々のグループが一緒に座り、その目的は何かをすることでした人間と動物を区別する独特の知性：抽象能力、記号操作、論理的推論、因果分析待って。
これは、1956 年に彼らが人工知能の役割を定義したものです。その後、これらの人々は基本的にチューリング賞を受賞しました。では、将来チューリング賞を受賞したい場合、群衆に従うことを選択するか、それとも何かユニークなことをすることを選択するか...
振り返ってみると、この10年間、私たちは何をしてきたでしょうか？
現在の「人工知能」は、画像認識、画像生成、テキスト生成、圧縮とノイズ除去、強化学習を行っていると馬毅教授は考えている。基本的に私たちがやっていることは動物レベルです。、次のトークンと次のフレーム画像の予測を含みます。
後でそれに取り組む人がいなかったわけではありません。しかし、主流の大型モデルではありません。
同氏はさらに、十分な資金が投入され、十分なデータが投入されれば、多くのモデルのパフォーマンスは発展し続けるが、理論が長期間存在しなければ、盲人が理解しようとするのと同じように問題が発生するだろうと説明した。象を出します。
マー・イー教授は、自身の個人的な旅を共有することで、若者たちにインスピレーションを与えたいと述べた。
原則を理解すれば、大胆な設計が可能になり、次世代が一見優れたネットワークを発明するのを待つ必要はなくなり、それを共同で使用できるようになります。では、あなたのチャンスはどこにあるのでしょうか？
ラウンドテーブル フォーラムで「人工知能の次のステップは何ですか?」という質問に他の AI 専門家がどのように答えたかを見てみましょう。
王立工学院、欧州科学アカデミー、香港工程科学アカデミーの会員、香港科学技術大学首席副学長郭益科私たちは今、非常に興味深い瞬間にいると思います -
スケーリングの法則が広く受け入れられているため、百模型戦争は徐々に資源戦争を形成してきました。Transformer モデルを作成したら、あとは 2 つのことだけを行う必要があるようです。大きなコンピューティング能力そしてビッグデータ問題。
しかし、彼の意見ではそうではありません。現在の AI の開発には依然として多くの問題があります。その 1 つが次のとおりです。限られたコンピューティング能力と無限の需要問題。
この場合、大規模なモデルをどのように構築すればよいでしょうか?郭学会員はいくつかの実践を通じて自分の考えを共有しました。
まず第一に、Guo 学術院議員は、計算能力の制限の下でより経済的な MOE の使用について言及しました。混合エキスパートモデル非常に良い結果を達成することもできます。
さらに、覚えるべきことを覚え、忘れるべきことを忘れ、忘れてしまったことを必要なときに思い出せるように、トレーニング後に新しいデータを使ってモデルを継続的に改善する方法も難しい問題です。
郭学者は、「データは使い果たされた」という業界の一部の主張に同意せず、「実際には、モデルが圧縮されているだけであり、圧縮されたデータは、生成を使用して新しいデータに再生成できます。」データを生成するためのモデル。
次に、すべてのモデルを最初から学習する必要はありません。知識の埋め込みベースモデルに組み込みます。この分野でもやるべきことはたくさんあります。
計算能力に加えて、アルゴリズムには別の問題もあります。機械知能と人間知能の育成自体には 2 つの極性がある。
学者の Guo 氏は、大規模なモデルをトレーニングする場合、より重要な問題は前面ではなく背面にあると考えています。
下図に示すように、大規模モデルの進化経路は、自己学習＞間接知識＞価値観＞常識という流れですが、人間教育の育成経路はその逆です。
このため、Guo 院士は、「抽象的な能力、主観的な価値、感情的な知識がない」大規模モデルの今日の検索パラダイムから抜け出す必要があると考えています。
人間の言語が優れていることは誰もが知っていますが、単なる情報ではなく、人間の性質や情報のエネルギーも含まれています。では、これらはどのようにモデルに分類されるのでしょうか。これは私たちの将来の研究にとって重要な方向性です。
要約すると、人工知能の次のステップについて、郭学者は開発には 3 つの段階があると考えています。
第 1 段階は信頼性に基づいており、第 2 段階は価値に基づいています。この観点は環境に応じて変更できます。 stage 価値観があって初めて新しさとは何かが理解でき、新しさがあって初めて創造できる。
このモデルを作成する場合、いわゆる錯覚は問題になりません。錯覚はパラダイム モデル内でのみ問題となるためです。小説を書くということは幻想でなければなりません。小説は一貫性を維持するだけでよく、真実性は必要ありません。したがって、その意味で、実際には大きなモデルの開発が必要です。パラダイムの変化が必要です。
JD.com 副社長、ワシントン大学非常勤教授兼博士指導教員何暁東AIは次のステップで3つの問題に直面すると考えられている。
まず、大型モデルの開発はある意味で停滞期に入ったと同氏は考えている。
データとコンピューティング能力には限界があるため、単純に規模に基づいて改善すると上限に達し、コンピューティング リソースの負担がますます大きくなる可能性があります。今回の価格競争（プライスタグ）を踏襲すれば、大型モデルが生み出す経済効果では電気代すらカバーできない可能性が高く、当然持続不可能となる。
第二に、He 教授は、中長期的には、商用アプリケーション全体がモデル自体の規模の成長に遅れをとっていると考えています。
特にこれほど大きな規模になると、単なる科学的な問題ではなく、例えばパラメータが兆レベルに達すると、コールデータは10兆トークンレベルに達します。その場合、それがもたらす社会的価値という問題が提起されなければなりません。
このことから、何教授は現在、スーパーアプリやスーパー製品の欠如、投資の価値を真に反映することができます。
3 番目の質問は比較的具体的な質問です。大きな模型の錯覚。
大規模モデルの上に AI 産業の構築を構築したい場合は、基本的な大規模モデルの錯覚に対して非常に高い要件が必要になります。基本的な大規模モデルのエラー率が非常に高い場合、その上にさらに多くの商用アプリケーションを重ね合わせることができると想像するのは困難です。
本格的な産業用途では、この幻想を解決する必要があります。
何教授は、幻想の制限の下で、次のステップはモデルの一般化と対話性を拡張する方法を考えることであると信じています。マルチモーダルそれは避けられない選択です。
レノボグループCTO、欧州科学アカデミー外国人学者ルイ・ヨン同氏は産業の観点から、AIの次のステップについて見解を述べた。
同氏は、産業の観点から見ると、より重要なのはモデルをどのように実装するかであると述べた。実装に関して、Rui Yong 博士は主に 2 つの点について話しました。
具体的には、Rui Yong博士はまずいくつかの研究を挙げ、大規模モデルの限界がますます明らかになっていると指摘した。たとえば、冒頭で述べた「13.8 と 13.11 のどちらが大きいか」という質問は、モデルが問題を実際には理解していないことを示しています。
彼の意見では、現在の大規模モデルは、高次元の意味空間に見られる膨大な断片的な情報を接続するだけであり、大規模な生成モデルを作成するには、大規模な計算能力を備えた大規模なネットワークを構築するだけでは十分ではありません。インテリジェントエージェントの開発。
Rui Yong 博士は特に大型モデルを強調しました能力の境界質問。
今日の大規模モデルは、実際には、その機能の限界がどこにあるのかを知りません。
なぜ大型模型は幻覚を起こし、なぜ真面目にくだらない話をするのか？実際、私たちをだまそうとしているわけではありませんが、エージェントは何を知っていて、何を知らないのかがわかりません。これは非常に重要な問題なので、エージェントにその境界を認識させることが最初のステップだと思います。その能力。
さらに、Rui Yong博士は、AI実装にはインテリジェンスだけでは不十分であり、クラウド上の大規模な公開モデルを企業向けに民営化する必要があると述べた。データ駆動型と知識駆動型はハイブリッド AI モデルを形成し、小規模なモデルは個人の好みを知ることができる個人指向のモデルもあります。
完全にクラウドテストに基づく大規模モデルではなく、ハイブリッドエンドエッジとクラウドを組み合わせた大規模モデルになります。
最新のニュース情報を収集・整理し、誰でも無料でチェックできるようにします。
郵便メール: