ニュース

これは、これまでの大規模モデル起業家精神に関するほぼ最も誠実で有益なレビューです。

2024 年 8 月 14 日の夜、Li Mu は自身の Bilibili と Zhihu コラムで起業の 1 年間に関するレビュー記事「起業まで 1 年、世界では 3 年」を発表し、自身の大規模な経験を共有しました。起業モデル 1年目の歩み、苦労、反省。

記事の中で、彼は自身の起業家としての歩みを次のように振り返りました。

大型モデルの生産性ツールとしてビジネスを始めるという最初のアイデアから、Zhang Yiming と出会い、彼によって「目覚める」まで、彼はモデル自体を直接構築することに決めました。

私は資金調達の過程で「手放す」ことになり、初めて事業を始めたので少し「費用がかかり」、他の同僚のように「10億の現金を手に入れる」ことができませんでした。

私は Jen-Hsun Huang に直接連絡して、相手方が直接「手配」した H100 を入手しましたが、これらのカードにはトレーニング中に多くのバグがあることがわかりました。

そして、最終的には商業化の採算均衡を見出し、「人間を伴う知能エージェント」という目標に向かって歩み続けます。

李牧さんは自らが直接踏んでしまった落とし穴を共有する一方、この一年、「なぜ起業しなければならないのか？」と自問し続けた。彼は Su Hua から「質問」を受け、彼の会社についての Cai Haoyu の何気ないコメントに触発され、最終的にこの質問に対して彼が与えた答えは非常に李牧でした。

今日、私がこの質問に答えるとしたら、「ちょっと正気を失ってしまった」と答えるでしょう。

しかし彼はまた、「私の最も深い動機は、人生には意味がないかもしれないという恐怖から来ている」とも述べた。

「では、人間の存在意義とは何なのか？私は子供の頃、この問いがわからずに落ち込んでいました。だから価値を生み出し、存在意義を獲得したい。私は「前に進む」ことを選びます。価値を創造する能力を向上させるため、教育的価値を生み出すために長いビデオを録画し、教材を書くことを選択し、葛藤や困難を説明し、実際の事例の価値を作成することを選択します。ビジネスを立ち上げ、多くの人たちの力を結集してより大きな価値を生み出すことです。」

以下はLi Muのレビュー全文です。、記事は李牧からの転載です。括弧内の編集者のメモには、追加情報が含まれています。

友達に報告する法学修士起業1年目の進歩、苦労、反省

Amazon に入社して 5 年目のとき、起業を考えましたが、疫病の影響で遅れました。 7年半目であまりにもかゆくなったので退職しました。今思えば、人生でやらなければいけないことがあれば、早めにやっておこうと思います。なぜなら、実際に始めてみると、新しく学ばなければならないことがたくさんあることに気づき、なぜもっと早く始めなかったのかといつも思うからです。

起業する前、私は Gluon にちなんで名付けられた一連のプロジェクトを実行しました。量子物理学において、グルオンはクォークを結合するボソンであり、このプロジェクトが元々 Amazon と Microsoft の共同プロジェクトであったことを象徴しています。当時、プロジェクトマネージャーが頭を撫でて名前が出てきたのですが、プログラマーにとって命名は非常に難しく、日々様々なファイル名や変数名と格闘していました。結局、新会社は単純にボーソンにちなんで名付けた。 「ボソンとフェルミオンが世界を構成している」というミームを知ったときに、誰もが知ったように笑ってくれることを願っています。しかし、多くの人がここをボストンと考えるとは予想していませんでした。

「私はボストンにいます。いつか会いましょう?」 「え？でも、私はベイエリアにいます。」

資金調達: 筆頭投資家が契約前日に逃亡

2022 年末に、私は大規模言語モデル (LLM) を生産性ツールとして使用する 2 つのアイデアを思いつきました。私は偶然チャン・イーミンに会ってアドバイスを求めました。議論の後、彼は次のように尋ねました。なぜ LLM そのものをやらないのですか?私は無意識のうちにたじろぎました。Amazon の私たちのチームは、数万枚のカードと、ブラブラのような多くの困難を抱えて、これを数年間行ってきました。

易明河氏は「これらは短期的な困難であり、我々は長期的な視点を持つ必要がある」と述べた。

私の利点は、アドバイスに耳を傾け、実際に LLM を選択したことです。創業チームはデータ、事前トレーニング、事後トレーニング、アーキテクチャの担当者を集めて資金調達に向かいました。幸運なことに、すぐにシード投資を受けることができました。しかし、カードを買うにはお金が足りないので、第 2 ラウンドを取得する必要があります。このラウンドのリーダーは非常に大規模な組織であり、条件の文書化と交渉に数か月かかりました。しかし、署名の前日、同指導者は投資しないと発言し、これが直接、複数の投資家の撤退につながった。このラウンドを完了し、LLM へのチケットを獲得してくれた残りの投資家に非常に感謝しています。

今思えば、資本市場の熱気がまだ残っているうちに資金調達を続けることもできたはずです。おそらく他のビジネスマンと同じように、彼は現在 10 億の現金を持っています。その時は、資金を集めすぎると出口が難しくなるか、天に放り出されるのではないかと心配していました。今考えてみると、起業とは逆境に負けず人生を変えることです。その解決策は何でしょうか？

機械：カニを初めて食べた人類

お金に余裕ができたらGPUを買いましょう。さまざまなサプライヤーに尋ねましたが、H100 の納入は 1 年以内であるとの満場一致の答えがありました。私はアイデアを思いつき、Lao Huangに直接メールを書きました。ラオ・ファンはすぐに返事をして、見てみると言った。 1時間後、SupermicroのCEOから電話があった。もう少しお金を払って列に並び、20日後にマシンを手に入れました。早くからカニを食べられて光栄でした。

カニを食べた後、私は自分の人生を疑い、あらゆる種類の信じられないほどの虫に遭遇しました。たとえば、GPU への電力供給が不十分なことが原因で不安定になり、後に Super Micro のエンジニアが BIOS コードを修正して、たとえば光ファイバーの切断角度が間違っていたため、たとえば Nvidia の推奨ネットワーク レイアウトが不安定になりました。が最適ではなかったため、新しいプランを作成し、後に Nvidia I 自身もこのプランを採用しました。まだ理解できませんが、私たちが購入したカードは 1,000 枚未満なので、小規模な購入者と言えます。しかし、大手バイヤーは私たちが遭遇したこれらの問題に遭遇したことがないのでしょうか? なぜデバッグが必要なのでしょうか?

同時に、私たちも同じ数の H100 をレンタルしましたが、毎日 GPU にさまざまなバグが発生し、このクラウドを使用しているのは私たちだけではないかとさえ思いました。その後、Llama 3 の技術レポートを見て、H100 に切り替えた後、トレーニング中にモデルが何百回も中断されたという記事を目にしましたが、その行間の痛みに非常に共感しました。

セルフ建設とリースを比較すると、3年間のレンタル費用はセルフ建設とほぼ同じになります。レンタルカードのメリットはなんといっても安心感です。セルフビルドには2つのメリットがあります。まず、Nvidia のテクノロジーが 3 年後もまだはるかに進んでいるのであれば、GPU の価値を維持できるように価格をコントロールすることができます。もう 1 つは、自社構築のデータ ストレージの低コストです。大規模なクラウドでも小規模な GPU クラウドでも、ストレージは GPU の近くにある必要があります。ストレージの価格は高くなります。ただし、1 つのモデルのトレーニングではチェックポイントを保存するために数 TB のスペースが使用される可能性があり、トレーニング データのストレージは 10PB から始まります。 AWS S3 を使用すると、10PB で年間 200 万かかります。この資金を自己建設に使えば100PBに達する可能性がある。

事業内容: お客様のおかげで初年度は黒字を達成

1年目は収入と支出が均等だったのはとても幸運でした。

私たちの支出は主に人的資源とコンピューティング能力にあり、Openai の財源と Nvidia の大幅なリードのおかげで、両方の支出は非常に多額です。私たちの収入源は、大口顧客向けにカスタマイズされたモデルを作ることです。 LLM に非常に早くから参入した企業のほとんどは、CEO の意思決定力が高く、高いコンピューティング能力や人件費に怯えることなく、社内チームに新しいテクノロジーの試みに協力するよう断固として促したからです。私たちに息抜きの時間を与えてくれたクライアントにとても感謝しています。そうでなければ、私は過去数か月間、さまざまな投資家のもとを飛び回っていたでしょう。

次に、自社製品のアップグレードやコスト削減と効率の向上など、より多くの企業が LLM の使用を試みるべきです。その理由は、一方では技術コストが低下しており、他方では業界リーダー (当社の顧客など) が LLM ベースの製品を次々とリリースし、業界を巻き込んでいくためです。

toCにおけるLLMの導入にも注目しています。 c.ai や perplexity など、前の波のトッププレーヤーは依然としてビジネス モデルを模索していますが、十分な収益をあげている小規模な LLM ネイティブ アプリケーションも十数社あります。私たちは、ロールプレイングを行う新興企業にモデルを提供しました。彼らはディーププレイヤーに焦点を当て、収入と支出のバランスを取っています。これも素晴らしいことです。モデルの機能はまだ進化しており、将来的にはさらに多くのモダリティ (音声、音楽、画像、ビデオ) が統合されると思います。

全体として、業界と資本は依然として焦っている。今年、設立して1年以上経ちながら数十億ドルを調達したいくつかの企業が撤退を選択した。技術が製品化されるまでには長いプロセスがあり、通常は2、3年かかります。ユーザーのニーズの顕在化を考慮すると、さらに時間がかかる可能性があります。私たちは現在に焦点を当て、霧の中の道を模索し、将来について楽観的であり続けます。

テクノロジー: LLM 認知の 4 段階

LLM の理解は 4 つの段階を経て行われます。第一段階はBertからGPT3まで新しいアーキテクチャとビッグデータができる感じです。私たちがアマゾンにいたときも、すぐに大規模なトレーニングと製品導入を実施しました。

第二段階は、私が起業した当初にGPT4がリリースされたときで、とても衝撃的でした。その理由のほとんどは、技術が公開されていないという事実にあります。噂によると、1モデルのトレーニングに1億、標準的なデータコストが数千万かかるとも言われています。。多くの投資家が私に GPT4 を再現するのにいくらかかるかと尋ねましたが、私は 3 億から 4 億と答えました。その後、そのうちの 1 人が実際に数億ドルを投資しました。

第三ステージは起業してから半年です。GPT4 を作ることはできないので、具体的な問題から始めましょう。。そこで私は、ゲーム、教育、販売、金融、保険などの顧客を探し始めました。特定のニーズに基づいてモデルをトレーニングします。当初、市場には優れたオープンソース モデルがなかったため、それらを一からトレーニングしました。その後、良いモデルがたくさん出てきて、コストが下がりました。次に、ビジネス シナリオに基づいて評価方法を設計し、データをマークし、モデルが機能していない部分を確認し、それに応じて改善します。

2023 年末、当社の Photon (Boson の一種) シリーズ モデルが顧客のアプリケーションで GPT4 を上回ったことを発見して嬉しい驚きを覚えました。モデルをカスタマイズする利点は、推論コストが API 呼び出しの 1/10 であることです。現在 API ははるかに安価になっていますが、当社独自のテクノロジーも向上しており、コストはまだ 1/10 です。さらに、遅延などをより適切に制御できます。現段階では、特定のアプリケーションに関しては、市場の最高のモデルに勝てるということが理解されています。

第4ステージは起業後半年。お客様は契約時に希望していたモデルを入手できましたが、GPT4 では十分ではなかったため、期待どおりではありませんでした。今年の初めに、単一のアプリケーション向けにモデルをトレーニングした場合、モデルがさらに飛躍するのは難しいことがわかりました。振り返ってみると、AGIが一般人のレベルに達すると、顧客が求めるのはプロフェッショナルのレベルになります。ゲームにはプロのプランナーとプロの俳優が必要で、教育には金メダルの教師が必要で、販売には金メダルの販売が必要で、金融と保険には上級アナリストが必要です。これはすべて AGI に業界の専門能力を加えたものです。当時私たちは AGI に畏敬の念を抱いていましたが、それはやむを得ないと感じていました。

今年の初めに、私たちは一連のヒッグス (神の粒子、ボーソンの一種) モデルを設計しました。主な一般的な能力は、最高のモデルに従うことですが、特定の能力では際立っています。私たちが選んだコンピテンシーは、ロールプレイングです。つまり、仮想キャラクターを演じる、教師を演じる、販売員を演じる、アナリストを演じるなどです。 2024 年半ばに更新されました二代目、一般的な機能をテストする Arena-Hard および AlpacaEval 2.0 では、V2 は最高のモデルに匹敵し、知識をテストする MMLU-Pro でもそれほど劣っていません。

Higgs-V2 は Llama3 ベースに基づいており、完全なポストトレーニングを実行します。 Meta のようなデータのラベル付けに多額の費用を費やすリソースがないため、V2 が Llama3 Instruct よりも優れている理由は主にアルゴリズムの革新によるものです。

それから私たちは、ロールプレイの評価セット、キャラクターに基づいたパフォーマンスとシーンに基づいたパフォーマンスが含まれます。私のモデルがリストの1位になってしまって申し訳ありません。ただし、モデルのトレーニング中に評価に使用されるデータはありません。この評価セットは個人使用が目的であり、モデルの機能を正確に反映することが望まれるため、モデルの過適合データ セットを回避する必要があります。しかし、評価セットを作成した学生たちは技術レポートを書きたかったので、そのままリリースしました。興味深いことに、ロールプレイング テスト サンプルは c.ai からのものですが、そのモデル機能は最下位にあります。

理解の第 4 段階は、優れた垂直モデルは一般的な能力が弱くてはいけないということです。たとえば、推論や指示に従う能力も垂直方向に必要です。長期的には、一般モデルと垂直モデルの両方が AGI に移行する必要があります。ただ、バーティカルモデルのほうがもう少し科目重視で、専門課程は高得点、一般課程はまあまあということで、研究開発費も若干安くなりますし、研究開発の手法も変わってきます。

理解の第 5 段階はどうでしょうか?まだ開発中なので、近いうちに公開したいと思います。

ビジョン: 人間の交わり

恥ずかしい話ですが、私たちは技術やお客様のカスタマイズに頭をかかえて、どのようなビジョンを追求するのかをゆっくり考えています。私たちは、顧客が何を望んでいるのか、私たちが何を望んでいるのか、そして将来何が必要になるのかを考えます。私自身のことを言えば、何年も前、私は子供の世話や付き添いを手伝ってくれるロボットの乳母に憧れていました。というのも、それが難しいと感じていたのと、現在の子供たちの認識や考えがよく理解できなかったからです。

一緒に新しいものを発明してくれる、本当に素晴らしい仮想アシスタントが職場にいたらいいのにと思います。私も年をとったら、面白いロボットを連れて行きたいと思っています。私の将来予想は、制作ツールがどんどん発達して、これまでチームでしかできなかったものが一人でできるようになり、人間がより個人的に自立して、みんなが自分のことを追求して均一化するのに忙しいということです。もっと寂しい。

これらを総合して、私たちは「人間に同行する知能エージェント」をビジョンとして掲げています。高い感情的知性とオンライン IQ を備えた知的なエージェント。本物の人間だったらプロのチームだろう。例えば一緒に遊んでもらうならプロのプランナー＋俳優。あなたの運動に同行し、教師やプロのスポーツコーチを励ましましょう。一緒に勉強すれば、わからないところは説明できますよ。モデルの利点は、あなたに長く寄り添い、あなたを本当に理解できることです。そして私は「心からあなたのために」することができます。

しかし、現在の技術はまだそのビジョンからは程遠いです。今日のテクノロジーは、チャットに同行することができます。多くの状況では、会話がうまくいかなかったり、内容が不足していたり​​、IQ や EQ がオンラインにない場合があります。これらはすべて今解決する必要がある問題です。海外でこの申請をしたいというお友達がいらっしゃいましたら、お気軽にご連絡ください。

チーム: 困難なことはチームに頼らなければなりません

起業して初めてチームの大切さを実感しました。大きな工場にいたとき、私は自分自身がネジであり、チームのメンバーもネジであり、チームさえもネジであるように感じました。しかし、起業家チームは車です。車は小さいですが、走り、荷物を乗せ、柔軟に曲がり、隅々まで行くことができます。会社が設立されて間もなく、MiHoYo Lao Cai は全員が 1 つの部屋にいるのを見て、「小さなチームは素晴らしい」と感慨深げに言いました。

もちろん、不便な点もいくつかありますが、常にオイルが入っているかどうかを確認しなければなりませんし、困難な道路では車がバラバラにならないように注意する必要があります。メンバー全員が重要であり、誰かが機能しなければパンクする可能性があります。人も尊いのです。

以前は、プロジェクトを選択するときは、自分が開発を主導できるプロジェクトを選択していました。しかし、それは同時に、問題が私の能力を超えたものではないことも意味します。ビジネスを始めるのは大きな問題ですが、すべてはチーム次第です。この記事では「私」がたくさん使われていますが、実際には仕事はチームで行われます。チームがなければ、私は販売コースにキャリアを変えなければならないかもしれません（ここでの拍手は必要ありません）。

個人的な追求: 名声か富か?

これまで、私は自分の内なる声に従って意思決定をしてきました。仕事が終わったら、博士号取得のために勉強し、ビデオを制作し、ビジネスを始めるつもりです。起業家精神には、終わりのない困難を克服するための強い動機のサポートが必要です。これには、あなた自身の動機をより深く分析する必要があります。

モチベーションは欲望か恐怖から生まれます。 10年前、私は名声や富にもっと情熱を注いでいたかもしれませんが、現在の年齢では、お金の限界効用はもはや高くなく、名声によってもたらされる感情的価値も非常に小さいと感じています。私の最も深い動機は、人生には意味がないかもしれないという恐怖から来ています。宇宙の広さはともかく、人類の長い歴史の中でさえ、人間なんて砂粒に過ぎません。突然やって来て、すぐに消えてしまいます。地球上にはこれまで 1,000 億人が住んでいますが、そのほとんどは歴史に何の痕跡も残さないでしょう。私は家系図に載っている何千もの名前をほとんど覚えていません。

では、人の存在意義とは何でしょうか？私は子供の頃、この問題について明確に考えることができずに落ち込んでいました。だから価値を生み出して存在意義を獲得したい。私は価値を生み出す能力を高めるために「前進」することを選択し、教育的価値を生み出すために長いビデオを録画し、教材を書くことを選択しました。複雑な問題や困難を経験し、実際の価値を生み出すことを選択し、多くの人々の努力を結集してより大きな価値を創造します。

追記

去年、スー・ファと私がスタンフォード大学を歩いていたとき、彼は私の肩をたたいてこう言いました。「正直に言って、なぜビジネスを始めたいのですか？」キャリアを変えたい。」するとスーファは微笑んだ。

彼は起業家精神の浮き沈みを経験しているので、今ならわかります。今日、私がこの質問に答えるとしたら、「ちょっと正気を失ってしまった」と答えるでしょう。でも、その時はこんなに簡単だとは思っていなかったので、真っ先に飛びつきました。そうしないと、誰もが目にする可能性があるのは「10年間の仕事を振り返って”。今日書いた話の方が面白いと思います。

すべての起業家に敬意を表します。

最後に、Li Mu 氏も宣伝しました。BosonAI は現在サンタクララに本社を置き、募集にはサンフランシスコ ベイエリアとバンクーバーが含まれます。