ニュース

李牧:起業するのに1年、生きるのに3年

2024-08-15

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina



Heart of the Machine の許可を得て掲載

著者: 李牧

  • 起業1年目のLLMの進歩、苦労、反省について友人に報告したいと思います。

Amazon に入社して 5 年目のとき、起業を考えましたが、疫病の影響で遅れました。 7年半目であまりにもかゆくなったので退職しました。今思えば、人生でやらなければいけないことがあれば、早めにやっておこうと思います。なぜなら、実際に始めてみると、新しく学ばなければならないことがたくさんあることに気づき、なぜもっと早く始めなかったのかといつも思うからです。

名称:BosonAIの由来

起業する前、私は Gluon にちなんで名付けられた一連のプロジェクトを実行しました。量子物理学において、グルオンはクォークを結合するボソンであり、このプロジェクトが Amazon と Microsoft の共同プロジェクトとして始まったことを象徴しています。当時、プロジェクトマネージャーが頭を撫でて名前が出てきたのですが、プログラマーにとって命名は非常に難しく、日々様々なファイル名や変数名と格闘していました。結局、新会社は単純にボーソンにちなんで名付けた。 「ボソンとフェルミオンが世界を構成する」というミームを知ったときに、誰もが知ったように笑ってほしいと願っています。しかし、多くの人がここをボストンと考えるとは予想していませんでした。

「私はボストンにいます。いつか会いましょう?」 「え?でも、私はベイエリアにいます。」

資金調達: 筆頭投資家が契約前日に逃亡

2022 年末に、私は大規模言語モデル (LLM) を生産性ツールとして使用する 2 つのアイデアを思いつきました。私は偶然チャン・イーミンに会ってアドバイスを求めました。議論の後、彼は次のように尋ねました。なぜ LLM そのものをやらないのですか?私は無意識のうちにたじろぎました。Amazon の私たちのチームは、数万枚のカードと、ブラブラのような多くの困難を抱えて、これを数年間行ってきました。易明河氏は「これらは短期的な困難であり、我々は長期的な視点を持つ必要がある」と述べた。

私の利点は、アドバイスに耳を傾け、実際に LLM を選択したことです。創業チームはデータ、事前トレーニング、事後トレーニング、アーキテクチャの担当者を集めて資金調達に向かいました。幸運なことに、すぐにシード投資を受けることができました。しかし、カードを買うにはお金が足りないので、第 2 ラウンドを取得する必要があります。このラウンドのリーダーは非常に大規模な組織であり、条件の文書化と交渉に数か月かかりました。しかし、署名の前日、同指導者は投資しないと発言し、これが直接、数人の投資家の撤退につながった。このラウンドを完了し、LLM へのチケットを獲得してくれた残りの投資家に非常に感謝しています。

今思い返してみると、当時の資本市場の熱意がまだ残っていたので、おそらく他の友人たちと同じように、私も今手元に 10 億の現金を持っているのかもしれません。その時は、資金を集めすぎると出口が難しくなるか、天に放り出されるのではないかと心配していました。今考えてみると、起業とは逆境に負けず人生を変えることです。その解決策は何でしょうか?

機械:カニを初めて食べた人類

お金に余裕ができたらGPUを買いましょう。さまざまなサプライヤーに問い合わせましたが、満場一致で「H100の納入は1年後」との回答でした。私はアイデアを思いつき、Lao Huangに直接メールを書きました。ラオ・ファンはすぐに返事をして、見てみると言った。 1時間後、SupermicroのCEOから電話があった。もう少しお金を払って列に並び、20日後にマシンを手に入れました。早くからカニを食べられて光栄でした。

カニを食べた後、私は自分の人生を疑い、あらゆる種類の信じられないほどの虫に遭遇しました。たとえば、GPU の電源供給が不十分で不安定な状態が発生しました。その後、Supermicro のエンジニアが BIOS コードを修正してパッチを適用したため、Nvidia が推奨したネットワーク レイアウトが不安定になりました。が最適ではなかったため、新しいプランを作成し、後に Nvidia I 自身もこのプランを採用しました。まだ理解できませんが、私たちが購入したカードは 1,000 枚未満なので、小規模な購入者と言えます。しかし、大手バイヤーは私たちが遭遇したこれらの問題に遭遇したことがないのでしょうか? なぜデバッグが必要なのでしょうか?

同時に、私たちも同じ数の H100 をレンタルしましたが、GPU には毎日さまざまなバグが発生し、このクラウドにいるのは私たちだけではないかとさえ思いました。その後、Llama 3 の技術レポートを見て、H100 に切り替えた後、モデルがトレーニング中に何百回も中断されたと述べていましたが、その行間の痛みには共感できます。

セルフ建設とリースを比較すると、3年間のレンタル費用はセルフ建設とほぼ同じになります。レンタルカードのメリットはなんといっても安心感です。セルフビルドには2つのメリットがあります。まず、Nvidia のテクノロジーが 3 年後もはるかに進んでいる場合、GPU の価値を維持できるように価格をコントロールできます。もう 1 つは、自社構築のデータ ストレージが低コストであることです。大規模なクラウドでも小規模な GPU クラウドでも、ストレージは GPU の近くにある必要があります。ストレージの価格は高くなります。ただし、1 つのモデルのトレーニングではチェックポイントを保存するために数 TB のスペースが使用される可能性があり、トレーニング データのストレージは 10PB から始まります。 AWS S3 を使用する場合、10PB で年間 200 万かかります。この資金を自己建設に使えば100PBに達する可能性がある。

事業内容: お客様のおかげで初年度は黒字を達成

1年目は収入と支出が均等だったのはとても幸運でした。私たちの支出は主に人的資源とコンピューティング能力にあり、Openai の財源と Nvidia の大幅なリードのおかげで、両方の支出は非常に多額です。私たちの収入源は、大口顧客向けにカスタマイズされたモデルを作ることです。非常に早い段階で LLM に参入した企業のほとんどは、CEO の意思決定力が高く、高いコンピューティング能力や人件費に怯えることなく、社内チームに新しいテクノロジーを一緒に試すよう断固として促したからです。私たちに息抜きの時間を与えてくれたクライアントにとても感謝しています。そうでなければ、私は過去数か月間、さまざまな投資家のもとを飛び回っていたでしょう。

次に、自社製品をアップグレードするためでも、コストを削減して効率を高めるためでも、より多くの企業が LLM の使用を試みるべきです。その理由は、一方では技術コストが低下しており、他方では業界リーダー (当社の顧客など) が LLM ベースの製品を次々とリリースし、業界を巻き込んでいくためです。

toCにおけるLLMの導入にも注目しています。 c.ai や perplexity など、前の波のトッププレーヤーは依然としてビジネス モデルを模索していますが、十分な収益を上げている小規模な LLM ネイティブ アプリケーションも十数社あります。私たちは、ロールプレイングを行う新興企業にモデルを提供しました。彼らはディーププレイヤーに焦点を当て、収入と支出のバランスを取っています。これも素晴らしいことです。モデルの機能はまだ進化しており、将来的にはさらに多くのモダリティ (音声、音楽、画像、ビデオ) が統合されると思います。

全体として、業界と資本は依然として焦っている。今年、設立して1年以上経ちながら数十億ドルを調達したいくつかの企業が撤退を選択した。技術が製品化されるまでには長いプロセスがあり、通常は2、3年かかります。ユーザーのニーズの顕在化を考慮すると、さらに時間がかかる可能性があります。私たちは現在に焦点を当て、霧の中の道を模索し、将来について楽観的であり続けます。

テクノロジー: LLM 認知の 4 段階

LLM の理解は 4 つの段階を経て行われます。第一段階はBertからGPT3まで新しいアーキテクチャとビッグデータができる感じです。私たちがアマゾンにいたときも、すぐに大規模なトレーニングと製品導入を行いました。

第二段階は、私が起業した当初にGPT4がリリースされ、大きな衝撃を受けました。その理由のほとんどは、技術が公開されていないという事実にあります。噂によると、1モデルの学習時間は1億、標準データコストは数千万と言われています。多くの投資家が私に GPT4 を再現するのにいくらかかるかと尋ねましたが、私は 3 億から 4 億と答えました。その後、そのうちの 1 人が実際に数億ドルを投資しました。

第三ステージは起業してから半年です。 GPT4 を作ることはできないので、具体的な問題から始めましょう。そこで私は、ゲーム、教育、販売、金融、保険などの顧客を探し始めました。特定のニーズに基づいてモデルをトレーニングします。当初は市場に良いオープンソースモデルがなかったので、一からトレーニングしましたが、その後、良いモデルがたくさん出てきて、コストが削減されました。次に、ビジネス シナリオに基づいて評価方法を設計し、データをマークし、モデルが機能していない部分を確認し、それに応じて改善します。

2023 年末、当社の Photon (Boson の一種) シリーズ モデルが顧客のアプリケーションで GPT4 を上回ったことを発見して嬉しい驚きを覚えました。モデルをカスタマイズする利点は、推論コストが API 呼び出しの 1/10 であることです。現在 API ははるかに安価になっていますが、当社独自のテクノロジーも向上しており、コストはまだ 1/10 です。さらに、QPS、遅延などがすべてより適切に制御されます。現段階では、特定のアプリケーションに関しては、市場の最高のモデルに勝てるということが理解されています。

第4ステージは起業後半年。お客様は契約時に希望していたモデルを入手できましたが、GPT4 では十分ではなかったため、期待どおりではありませんでした。今年の初めに、単一のアプリケーション向けにモデルをトレーニングした場合、モデルがさらに飛躍するのは難しいことがわかりました。振り返ってみると、AGIが一般人のレベルに到達するのであれば、顧客が求めるのはプロフェッショナルのレベルです。ゲームにはプロのプランナーとプロの俳優が必要で、教育には金メダルの教師が必要で、販売には金メダルの販売が必要で、金融と保険には上級アナリストが必要です。これはすべて AGI に業界の専門能力を加えたものです。当時私たちは AGI に畏敬の念を抱いていましたが、それはやむを得ないと感じていました。

今年の初めに、私たちは一連のヒッグス (神の粒子、ボーソンの一種) モデルを設計しました。一般的な能力に焦点を当てると最高のモデルを踏襲しますが、特定の能力で際立っています。私たちが選んだコンピテンシーは、ロールプレイングです。つまり、仮想キャラクターを演じる、教師を演じる、販売員を演じる、アナリストを演じるなどです。 2024 年半ばに第 2 世代にバージョンアップされました。一般的な機能をテストする Arena-Hard と AlpacaEval 2.0 では、V2 は最高のモデルに匹敵し、知識をテストする MMLU-Pro にも劣りません。



Higgs-V2 は Llama3 ベースに基づいており、完全なポストトレーニングを実行します。 Meta のようなデータのラベル付けには多額の費用をかけることができないため、Llama3 Instruct よりも V2 の方が優れている理由は、主にアルゴリズムの革新によるものと考えられます。

そして、キャラクターに合わせたプレイやシナリオに沿ったプレイなど、ロールプレイングを評価するための復習セットを作成しました。私のモデルがリストの1位になってしまって申し訳ありません。ただし、モデルのトレーニング中に評価に使用されるデータはありません。この評価セットは最初から個人使用を目的としており、モデルの機能を真に反映することを望んでいるから、モデルの過適合データ セットを避ける必要があります。しかし、評価を行っている学生たちは技術レポートを書きたいと考え、それを公開しました。興味深いことに、ロールプレイング テスト サンプルは c.ai からのものですが、そのモデル機能は最下位にあります。



理解の第 4 段階は、優れた垂直モデルは一般的な能力が弱くてはいけないということです。たとえば、推論や指示に従うことも垂直方向に必要です。長期的には、一般モデルと垂直モデルの両方が AGI に移行する必要があります。ただ、バーティカルモデルのほうがもう少し科目重視で、専門課程は高得点、一般課程はまあまあということで、研究開発費が若干安くなり、研究開発の手法も変わってきます。

理解の第 5 段階はどうでしょうか?まだ開発中なので、近いうちに公開したいと思います。

ビジョン: 人間の交わり

恥ずかしい話ですが、私たちは技術やお客様のカスタマイズに頭をかかえて、どのようなビジョンを追求するのかをゆっくり考えています。私たちは、顧客が何を望んでいるのか、私たちが何を望んでいるのか、そして将来何が必要になるのかを考えます。私自身のことを言えば、何年も前、私は子供の世話や付き添いを手伝ってくれるロボットの乳母に憧れていました。というのも、それが難しいと感じていたのと、現在の子供たちの認識や考えがよく理解できなかったからです。一緒に新しいものを発明してくれる、本当に素晴らしい仮想アシスタントが職場にいたらいいのにと思います。私も年をとったら、面白いロボットを連れて行きたいと思っています。私の将来予想は、制作ツールがますます発達し、これまでチームでしかできなかったものが一人でできるようになり、人間がより個人的、自立的になり、それぞれが自分のことを追求することに忙しくなるのではないかと考えています。彼らをさらに孤独にさせます。

これらを総合して、私たちは「人間に同行する知能エージェント」をビジョンとして掲げています。高い感情的知性とオンライン IQ を備えた知的なエージェント。本物の人間だったらプロのチームだろう。例えば一緒に遊んでもらうならプロのプランナー+俳優。あなたの運動に同行し、教師とプロのスポーツコーチを励ましましょう。一緒に勉強すれば、わからないところは説明できますよ。モデルの利点は、あなたに長く寄り添い、あなたを本当に理解できることです。そして私は「心からあなたのために」することができます。

しかし、現在の技術はまだそのビジョンからは程遠いです。今日のテクノロジーは、チャットに同行することができます。多くの状況では、会話がうまくいかなかったり、内容が不足していたり​​、IQ や EQ がオンラインにない場合があります。これらはすべて今解決する必要がある問題です。海外でこの申請をしたいというお友達がいらっしゃいましたら、お気軽にご連絡ください。

チーム: 困難なことはチームに頼らなければなりません

起業して初めてチームの大切さを実感しました。大きな工場にいたとき、私は自分自身がネジであり、チームのメンバーもネジであり、チームさえもネジであるように感じました。しかし、起業家チームは車です。車は小さいですが、走り、荷物を乗せ、柔軟に曲がり、隅々まで行くことができます。会社が設立されて間もなく、MiHoYo Lao Cai は全員が同じ部屋にいるのを見て、「小さなチームは素晴らしい」と感慨深げに言いました。

もちろん、不便な点もいくつかありますが、常にオイルが入っているかどうかを確認しなければなりませんし、困難な道路では車がバラバラにならないように注意する必要があります。メンバー全員が重要であり、誰かが機能しなければパンクする可能性があります。人も尊いのです。

以前は、プロジェクトを選択するときは、自分が開発を主導できるプロジェクトを選択していました。しかしそれは、質問がそれほど難しいものではないことも意味します。ビジネスを始めるのは大きな問題ですが、すべてはチーム次第です。この記事では「私」がたくさん使われていますが、実際には仕事はチームで行われます。チームがなければ、コースを販売するためにキャリアを変えなければならないかもしれません。

個人的な追求: 名声か富か?

これまで、私は自分の内なる声に従って意思決定をしてきました。仕事が終わったら、博士号取得のために勉強し、ビデオを制作し、ビジネスを始めるつもりです。起業家精神には、終わりのない困難を克服するための強い動機のサポートが必要です。これには、あなた自身の動機をより深く分析する必要があります。

モチベーションは欲望か恐怖から生まれます。 10年前、私は名声や富にもっと情熱を注いでいたかもしれませんが、現在の年齢では、お金の限界効用はもはや高くなく、名声によってもたらされる感情的価値も非常に小さいと感じています。私の最も深い動機は、人生には意味がないかもしれないという恐怖から来ています。宇宙の広さはともかく、人類の長い歴史の中でさえ、人間なんて砂粒に過ぎません。思いがけずやって来て、すぐに消えてしまう。地球上にはこれまでに1,000億人が住んでいますが、その大部分は歴史に何の痕跡も残さないでしょう。私は家系図に載っている何千もの名前をかろうじて認識しています。

では、人の存在意義とは何でしょうか?私は子供の頃、この問題について明確に考えることができずに落ち込んでいました。だから潜在意識では価値を生み出し、存在意義を得たいと思っています。私は価値を生み出す能力を高めるために「前進」することを選択し、教育的価値を生み出すために長いビデオを録画し、教材を書くことを選択します。絡みや困難を乗り越え、事例の価値を生み出す 起業を選択し、多くの人々の努力を結集してより大きな価値を生み出す。

追記

去年、スー・ファと私がスタンフォード大学を歩いていたとき、彼は私の肩をたたいてこう言いました。「正直に言って、なぜビジネスを始めたいのですか?」キャリアを変えたい。」するとスーファは微笑んだ。

彼は起業家精神の浮き沈みを経験しているので、今ならわかります。今日もう一度この質問に答えるとしたら、「ちょっと正気を失ってしまった」と答えるでしょう。でも、その時はこんなに簡単だとは思っていなかったので、真っ先に飛びつきました。そうでなければ、誰もが目にするのは「10年間の活動の振り返り」かもしれません。今日書いた話の方が面白いと思います。

すべての起業家に敬意を表します。

(最後に、広告下の弊社求人情報(ベイエリア、バンクーバー)はhttps://jobs.lever.co/bosonaiです。海外からのご応募の場合は、[email protected]までご連絡ください。)