ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

人類は、人工知能の分野で爆発的な進化を遂げており、テクノロジーを未知の領域に拡張するあらゆる段階が驚くべき注目を集めています。

人工知能の限界を拡大する過程で、重要なトラックの技術的ルートには革新と意見の相違が共存します。テクノロジーの先駆者の判断と選択は、多くの追随者の足跡に影響を与えます。

昨年、Heart of the Machine は、Dark Side of the Moon、Shengshu Technology、Aishi Technology、Wuwen Core Dome などの優れた企業を独占的に紹介し、最初の「10,000 語のインタビュー スクリプト」を残しました。 「インターネットの世界では。。テクノロジーのルートがまだ収束していない段階で、私たちは真に信念、勇気、体系的な認識力を備えた AI 起業家のリーダーシップを見てきました。

そこで、私たちは「AI Pioneers」コラムを立ち上げ、AGI時代の人工知能のさまざまな分野でリーダーシップを発揮する起業家を発掘・記録し続け、AI分野で最も優秀で将来性の高いスタートアップを紹介していきたいと考えています。 、AI の分野での成果を共有します。最先端の、明確な認識。

著者: ジャン・ジンリン

マシンハートレポート

起業するために Kuaishou を去った後、「Li Yan」は Kuaishou の共同創設者 Su Hua、Redpoint Ventures、Matrix Partners からシードラウンドで 3,200 万米ドルの資金を密かに受け取りました。

Kuaishou の初期 AI システムの中核人物として、Li Yan はかつて Kuaishou 内に最初の深層学習部門を構築し、その後 Kuaishou がマルチメディア理解技術システムを構築するのを支援しました。

彼の投資家の一人は、教授と学者、モバイル インターネット実践者、学問の天才という 3 つの AGI の起業家像の中で、Yuanshi Technology だけが 3 つの「マルチモーダル、検索、推奨」を統合する能力を持っていると結論付けました。大規模なコアテクノロジースタックを備えたチーム。

しかし、李燕氏は2023年初めに起業することを正式に認めて以来、1年以上ほとんど姿を消していた。

昨年、私たちはリー・ヤンの起業家としてのアイデアについて話をしたいと考えて、彼のチームに何度かインタビューの招待状を送りましたが、「製品はまだ（一般に公開される）準備ができていない」という理由ですべて断られました。

少し前に、Yuanshi Technology の製品「Ask Xiaobai」が正式に発売され、コールドスタートの内部テストが開始されましたが、Li Yan のチームがその起業家としての進捗状況を明らかにしたのはこれが初めてです。そこで私たちはリー・ヤンを再び見つけ、彼の起業計画について話をしたいと考えました。

この独占インタビューで意外だったのは、Li Yan 氏が選んだのは純粋なモデル会社ではなく、マルチモーダルな側面から始めたわけでもないということです。

「Ask Xiaobai」製品では、ユーザーは画面を開くとすぐに「フィード」でAIによって生成されたAIGCコンテンツを確認でき、ユーザーの興味に基づいてパーソナライズされ、「チャット」機能とAIを使用してさらに多くのことを行うことができますいつでもコンテンツベースのコンテンツを作成できます。

これまでのコンテンツ コミュニティ製品と比較すると、これは自社開発の LLM モデルに基づく生成コンテンツ コミュニティ製品であることがわかります。Li Yan のアクションは「生成レコメンデーション」にあります。

これは最先端の技術研究分野であり、これまでのところ実用的な成果を上げているのはMetaとCMUだけです。彼は、以前の推奨アルゴリズムと比較して、生成型推奨アルゴリズムはもはや協調フィルタリング推奨システムに基づくものではなくなり、推奨はよりインテリジェントになり、現在の「10 の顔を持つ数千人」から、本当の意味での「数千人」になるだろうと語った。人には十の顔がある。人には千の顔がある。」

ユーザーのより深いニーズを探ることでレコメンド効率がさらに向上し、ユーザーはより自分に合った情報を得ることができます。さらに、大規模なモデルに大量の高品質のコーパスを注入することで、生成推奨アルゴリズムに「価値」が与えられます。ユーザーを単に「喜ばせる」だけでなく、本当に注意が必要な質の高い情報にユーザーが注意を払うように誘導することもできます。

現在、Li Yan のチームは、製品と開発の方向性の中核として LLM 主導の生成推奨アルゴリズムを使用する中国初のスタートアップ企業です。

Yuanshi の投資家は次のように考えています。この新しいテクノロジー エンジンがコンテンツ業界にもたらすコストと効率の最適化は、基本的に Toutiao の成功への道と一致しています。生成レコメンデーション アルゴリズム製品の開発に向けて、「マルチモーダル、検索、レコメンデーションという 3 つのバックグラウンドを持つ唯一のチームが Li Yan であることがわかりました。」

ビジョン：

高次元のレコメンドアルゴリズムを構築する

Heart of the Machine: まずは Yuanshi Technology が何をしたいのかを紹介しましょう。

リー・ヤン：私たちは、技術革新と知性の収集を通じて、ユーザーがフロー状態に入り、精神的疲労と戦うのを支援できることを願っています。 （ミハイ・チクセントミハイの「フロー」理論より）

Machine Heart: 少し抽象的ですが、詳しく説明していただけますか?

リー・ヤン：現代は情報爆発の時代であると感じています。情報を受け取るチャネルはたくさんありますが、本当に知りたい情報を入手できるチャネルが不足しています。

たとえば、最近の WAIC では、圧倒的なレポートが目に入ることがありますが、各レポートにはほんの数文字しか記載されておらず、本当に知りたい情報が得られないという一種の不安に陥ります。

私たちはこれが「スピリチュアルなエントロピー」の一形態であると理解しています。この概念は心理学者のミハイ・チクセントミハイによって提案されたもので、私たちがやりたいことと非常に正確に一致しています。私たちがやりたいのは、皆さんが情報を見た後の幸福感やお得感を高めるお手伝いをすることです。この状態は、一部の情報製品を多用した後に感じる「より不安になり、より疲れて、より幸せになる」とは異なります。

Machine Heart: どのような情報があれば、人々は不安や疲労感を感じるのではなく、より幸せでやりがいを感じることができるでしょうか?

リー・ヤン：ここには「フロー」という概念があり、人は自分に関係のないものをたくさん見るのではなく、本当に見たい情報を見たときだけフロー状態になり幸福感を感じるというものです。無関係または面白くない。

これは心理学の研究結果でもありますが、例えば、親が子供に宿題をやらせるのですが、子供は受け身で自分のやりたいことしかできません。彼は幸せを感じるでしょう。したがって、私たちはユーザーがフロー状態に入り、精神的なエントロピーと戦うのを支援したいと考えています。

Heart of the Machine: 実際、ほとんどのソーシャル コミュニティの基礎となる推奨システムは、基本的にこの目標 (ユーザーが本当に見たいものを推奨する) を達成することを望んでいます。

リー・ヤン：違いがあります。 10 年後の 2034 年に立ち、今日のレコメンデーション システム (製品やその背後にあるテクノロジーを含む) を見てみると、実際には非常に後進的です。現在の製品が行っていることは、実際には完璧な状態ではありません。

Heart of the Machine: 現在のレベルと「より良い」レベルを理解するにはどうすればよいですか?

リー・ヤン：今の情報流通は、精神がまだ豊かではない段階の人間の本能的な反応に近いのかもしれません。 「笑いたい」、これはとてもストレートですね。

推薦システムへの反映としては、たとえば、あなたがイケメンが好きなら、彼らは常にあなたにイケメンを推薦してくれる、ということかもしれません。推薦システムにはあまり深く考えられていません。私たちの製品が達成したいことは、ユーザーの本能的な反応を喜ばせることではなく、より高い知恵、配慮、愛情を持って推奨することです。

Heart of the Machine: これは美学においてより高い次元のように聞こえ、「ユーザーの教育」に少し似ています。

リー・ヤン：正確に言えば、教育ではありません。比較的短い時間で見ていると、はっきりと見えないことがたくさんあります。しかし、たとえば、人類の発展の歴史全体を見てみると、人類の文明のあらゆる進歩には批判、反省、さらには打倒や再構築が伴うことがわかります。制限があります。オンラインの世界でも同様で、人類が蓄積してきたより文明的な要素や先進的なアイデアをコンテンツ配信に取り入れていきたいと考えています。

技術的な実装パス:

モデルに値が含まれるように、より高品質のデータを選択してモデルをトレーニングします。

Heart of the Machine: ユーザーがより良いフローを実現できるようなコンテンツ製品を作りたいと先ほど言いました。なぜ、より良い LLM を作ることから始めるのですか?

リー・ヤン： LLM は AGI につながる非常に重要なノードであると考えています。大規模な言語モデルは、ユーザーとコンテンツをよりよく理解でき、ユーザーが何に関心を持っているか、何が好きか、何が嫌いかを知ることができ、ユーザーの個人的な興味や趣味をすべてトークン化でき、大規模なモデルはそれらをよく理解できます。

以前のレコメンデーション システムでは、このレベルの理解を達成することはできませんでした。ユーザーに多数の個別のラベルを付けて、それによってユーザーを特徴付け、理解しようとすることしかできませんでした。現在、大規模なモデルは、ユーザーの既存の興味をよりよく理解できるだけでなく、ユーザーの興味のマイニングを強化し、ユーザーの暗黙の興味や趣味を推測することもできます。

大規模なモデルを使用すると、インターネット全体で最高品質のコーパスを圧縮し、テキストに含まれる人類の文明を圧縮し、これらの文明を使用し、さらにこれらの機能を生成的な推奨事項に適用することができます。モデルには、その価値観、世界観があり、したがって、高次元の推奨価値体系。

大きなモデルは実際に橋渡しの役割を果たし、これらの最先端の認知と情報消費を結び付け、コンテンツ消費レベルをさらに向上させます。

Machine Heart: これらの「高度な」コンテンツは論文のことを指しますか?社会科学と自然科学の両方が含まれますか、それともどちらか一方に重点が置かれていますか?

リー・ヤン：この大型モデルは、インターネット上に人類が蓄積したあらゆる高度な文明と情報を読み取り、あらゆる面で高度化することができます。

機械の心臓部: 大きなモデルは「高度な文明」をどのように決定するのでしょうか?

リー・ヤン：実際、私たち人間は、大きなモデルではなく、すでにこの問題について判断を行っています。たとえば、有名な学者によって書かれた権威ある論文、雑誌、書籍は、大きなモデルによって定義されているのではなく、人間自身によって確立された質の高い情報です。長い期間にわたって。

Machine Heart: そうですね、高品質データのこの部分とは一体何でしょうか?ソース？

リー・ヤン：私たちは、データ駆動型のモデル機能の構築を重視しており、このモデルでは、利用可能な高品質データの量を 1 桁以上増やすアルゴリズムを使用しています。さらに、データの選択に関しては、より古典的な書籍、理論、論文を使用して大規模なモデルをトレーニングし、モデルがユーザーをより深く理解できるようにしています。具体的には、コンテンツの推奨に関しては、ユーザーを盲目的に短期的な快楽に留まらせることはありません。その代わりに、質の高い情報を蓄積することで長期的な幸福が得られます。

Machine Heart: 生成型レコメンデーション アルゴリズムはユーザーの理解を向上させることができると先ほど述べましたが、さまざまなレコメンデーション アルゴリズムによるユーザーの理解を比較するための定量的な基準はありますか?

リー・ヤン：企業ごとに追求する目標が異なるため、最適化の目標も異なります。一般的に言えば、期間、クリックスルー率、維持率などが考えられます。当社の技術原則とビジネスの方向性は新しい分野であるため、現在、この問題を評価するための非常に複雑な内部データ システムを備えています。

Heart of the Machine: LLM では、現在の Yuanshi テクノロジーの利点は何ですか?

リー・ヤン：会社設立初日、つまり 2023 年 4 月頃から、大規模モデルの最初のバージョンは MoE アーキテクチャに基づいていました。市場における全体的な技術的なルートの選択は非常に前向きです。 2023 年 4 月から現在まで 1 年以上にわたり、私たちのモデルは 4 つのバージョンを繰り返してきました。多くの公開テスト セットでは、他の多くのモデルよりも優れた結果が得られています。

さらに、高品質なコーパスにより回答の質が非常に高く、モデルは深く考える能力を備えています。第三に、大規模モデルの速度も非常に競争力があり、遅延が非常に低いです。モデルのトレーニングと推論で極端な最適化を行った結果、大規模なモデルのトレーニングにかかる​​コストが大幅に削減され、ピーク時の使用料を支払う必要がなくなりました。

Machine Heart: なぜ MoE が優れたルートだと思いますか?

リー・ヤン：私たちは、独自の製品を作成するには、モデルの基礎となるリンクを統合する能力が必要であると考えています。大規模なモデルの時代には、モデルの効果がより優れており、これは多くの場合、そのパラメーターが大きいことを意味します。しかし、a to c の製品として、モデル推論のコストが高ければ商業的に成り立ちません。したがって、商業的な実現可能性の前提条件として、多数のパラメータと低い推論コストの両方が必要となり、最終的には MoE を選択するしかありません。私たちは初日からこの問題について明確に検討し、最初に書いたコードが MoE でした。

Heart of the Machine: Yuanshi はアプリケーション会社として位置付けられているため、研究開発プロセス中に、より経済的と思われるいくつかのオープンソース モデルの使用を検討しましたか?

リー・ヤン：私たちの目標は、モデルレベルの企業になることではありませんが、それでも独自の大型モデルを開発することを選択する理由は、他人のモデルが私たちの目標を達成しないと信じているからです。私たちは、自社の大型モデルによって動かされる製品です。会社。

これは私の個人的な知識に関係しますが、モデルレベルでのビジネスモデルの試みは行っていません。大型模型は水と電気だと思っている人もいますが、つまり、一度私が良い大型模型を作ってしまえば、あなたはそれを作る必要はなく、私の能力を皆さんに使ってもらえるということです。しかし、大規模モデルのより重要な点は、ユーザーに最大限のサービスを提供できることと、固定されたシナリオでユーザーに優れたサービスを提供し、これまでまったく利用できなかったエクスペリエンスを提供できることにあると考えています。

さらに、変更を微調整する能力には限界があることが判明しました。私たちはこれを非常に革新的に行っているため、基礎となるモデル アーキテクチャに大きな変更を加える必要があります。また、社内で自社開発したモデルを使用して、オープンソース モデルと比較します。事実は、社内で自社開発したモデルの結果がオープンソース モデルの結果よりもはるかに優れていることを証明しています。このモデルは完全に私のシナリオに合わせて構築されているため、トレーニング データの構築からアルゴリズムの設計まで多くの作業が行われました。

Machine Heart: あなたは中国におけるマルチモダリティの初期の探求者の一人でもあります。マルチモダリティのスケジュールはありますか?

リー・ヤン：現時点ではまだテキストラージモデルが中核です。それは知性の基礎です。

製品の価値:

ユーザーの個々のニーズにもっと注意を払う能力

機械の中心部: Yuanshi Technology の製品形態は、市場に出回っているほぼすべての大型モデルの C エンド製品とは異なります。なぜそのような製品を定義したいのですか?

リー・ヤン：私たちは特定のグループの人々をターゲットにした製品ではなく、幅広い人々をターゲットにしており、垂直的なコンテンツ コミュニティでもありません。 AI の生成および配信能力の向上により、AI 時代の将来のコンテンツ カテゴリの境界はますます曖昧になると私たちは考えています。

製品レベルでは、当社の製品には現在 2 つの機能があり、1 つはフィード、もう 1 つはチャットです。私たちはこれを「Ask Xiaobai」と呼んでいます。その 1 つは、ユーザーが生活上のあらゆる質問を彼にできることです。一方、Xiaobi はユーザーが AI に尋ねる質問に基づいて、率先してユーザーのことを気にかけ、積極的にユーザーに質問します。 Xiaobaiという名前は、ユーザーが安心感と親近感を持ち、冷たいAIや暴力的なAIを放棄し、ユーザーと密接に接触できるようになることを願っています。

マシンハート：AI機能を備えたコンテンツ商品ということで理解できるのでしょうか？

リー・ヤン：はい、これに加えて、ユーザーとしてあなたの好みを理解するリアルタイムのオンライン友達でもあり、何も起こらなければ、あなたを観察して積極的に行動することができます。それが何に役立つかを見るために何かをしてください。

Heart of the Machine: フィード ストリームのコンテンツはすべて AIGC からのものですか?このコンテンツの品質を確保するにはどうすればよいですか?

リー・ヤン：大規模なモデルを使用してコンテンツを作成する場合は、まずユーザーがどのような種類のコンテンツを好むかを把握し、次にこれらのトピックに基づいて高品質の記事コンテンツを生成して編成する必要があります。これら 2 つのレベルは、一方では理解能力、もう一方では生成能力です。今考えると、これら 2 つの側面における能力の大きなモデルにはまだ改善の余地がたくさんあります。私たちがこの点を大きく改善できる可能性があると信じて事業を始めた理由でもあります。

Heart of the Machine: この製品は Zhihu、Xiaohongshu、Toutiao の AI バージョンに似ていますが、これらと比較すると、どのような違いや利点がありますか?

リー・ヤン：私たちはまず、ユーザーの個別のニーズにさらに注意を払います。先ほどお話しした前世代のすべての製品では、レコメンデーション システムの最も基本的な原則は協調フィルタリングです。つまり、あるユーザーが A と B を好み、別のユーザーが A と C を好む場合は、B と C が好きになります。も同様です。それではBとCをそれぞれご提案させていただきます。この協調フィルタリング方法には非常に明白な問題があります。つまり、常にいくつかの脊椎カテゴリを推奨するということです。

なぜ？それは、何かのトピックが好きであれば、そのトピックを好む他の人々と同様に、あなたも美しい女性やハンサムな男性を好む傾向があり、彼らは皆、エンターテイメントを好む傾向があるからです。そのため、システムは最終的に、あなたが実際にエンターテイメントが好きで、ハンサムな男性と美しい女性が好きであると判断します。

この方法には利点があり、ユーザーの時間を急速に短縮し、成長を続けることができます。しかし問題は、ユーザーの個人的な興味やニッチな興味が埋もれてしまい、ユーザーを詳細に理解することが困難になってしまうことです。

そして、これは大規模なモデルに基づいて行われます。まず第一に、私たちは、イケメン、美女、エンターテイメント コンテンツをあなたに推薦するのではなく、あなたの個人的な興味を大切にしたいと考えています。この場合、この推薦システムは真に個別化された推薦システムではありません。

したがって、十分にインテリジェントな推奨システムは、理論的にはユーザーのあらゆる関心に対処できるはずです。それがあなたの一般的な興味であっても、ニッチな個人的な興味であっても。これまでのところ十分な取り組みは行われていない。

Heart of the Machine: ビジネスを始めるときに、現在一般的なチャットボットや感情的なコンパニオン製品の形式ではなく、この方向性を選択したのはなぜですか?

リー・ヤン：私たちは、LLM とレコメンデーションの統合により、新しいタイプのインタラクション、つまり「アクティブな」インタラクションを必要としないスムーズなエクスペリエンスを定義する機会があると信じています。現時点では、純粋なチャットタイプのインタラクションにはユーザーにとって依然として一定の使用しきい値があり、ユーザーは積極的に質問を開始する必要があります。また、より広範囲のユーザーの浸透と使用もある程度制限されます。現在使用しているすべての推奨製品と同様に、ユーザーは頻繁に使用していますが、依然として繰り返しアンインストールしているユーザーがいます。ふりを繰り返すということは、それなしでは生きていけないことを意味しますが、延期を繰り返すということは、彼が100％満足していないことを意味します。この点は、おすすめ商品には実はまだまだチャンスがあると思わせる点です。

これに基づいて、私自身もチームも検索、AI 研究、大規模な製品実装に深い経験を持っているため、私たちのチームの背景はこれを行うのに非常に適していると考えています。

Machine Heart: しかし、現在、コンテンツベースの製品は一般に、商品化の道筋が不透明であるというジレンマに直面しており、あまり成功していません。これについてはどう思いますか?

リー・ヤン：ユーザーの価値をもっとしっかりと発揮していく必要がある段階です。大きなユーザー価値に基づいて商業的価値について語ることだけが意味を持ちます。 Kuaishou などの大容量コンテンツ製品の強力な収益化機能を示す非常に成功した例が、多くの製品で提供されています。

Machine Heart: 製品を振り返って、製品に対するより良い回答能力にはどのような価値がありますか?

リー・ヤン： 2つあると思います。 1 つ目は、回答が優れているほどユーザーの粘着性が高くなり、より多くのユーザーのシグナルを知ることができ、ユーザーをより深く理解できるようになります。最終的に、システムはこれらを使用して、ユーザーが好み、本当に必要とするユーザー向けのコンテンツを作成できます。ポジティブなエクスペリエンスとデータサイクルを継続的に形成します。

Machine Heart: 楽観的に考えて、生成型レコメンデーション アルゴリズムの徐々に成熟することは、コンテンツ業界にどのような影響を与える可能性がありますか?あなたの想像の中で、成熟した「初心者に質問する」とはどのようなものになるでしょうか?

リー・ヤン：生成的なレコメンデーションは、コンテンツ トラックに新たな活力を注入し、精緻な改善ではなく、この分野に大きな変化をもたらすことを可能にします。

現在、大規模モデルやその他の関連テクノロジーは飛躍的に進歩していますが、人間と AI の間のコミュニケーションには明らかなボトルネックがあります。私たちは両方の面で改善する能力を持っています。私たちは AI テクノロジーの包括性を大幅に促進し、AI を必要とする一般のユーザーに AI の力をもっと感じてもらいたいと考えています。