nouvelles

Il s’agit à ce jour de l’examen le plus sincère et le plus instructif de l’entrepreneuriat des grands modèles.

Le soir du 14 août 2024, Li Mu a publié un article de synthèse sur un an de création d'entreprise dans ses propres colonnes Bilibili et Zhihu : « Un an pour démarrer une entreprise, trois ans dans le monde », partageant son analyse à grande échelle. modèle de création d'entreprise Les progrès, les difficultés et les réflexions de la première année.

Dans l’article, il revient sur son parcours entrepreneurial :

De l'idée initiale de créer une entreprise comme outil de productivité pour les grands modèles, à la rencontre avec Zhang Yiming et à être « réveillé » par lui, il a décidé de construire directement le modèle lui-même ;

J'ai été « lâché » pendant le processus de financement, et comme je démarrais une entreprise pour la première fois, j'étais un peu « coûteux » et je n'ai pas réussi à « obtenir 1 milliard de liquidités » comme certains de mes pairs ;

J'ai contacté directement Jen-Hsun Huang pour obtenir le H100 directement « arrangé » par l'autre partie, mais j'ai constaté que ces cartes avaient beaucoup de bugs lors de l'entraînement ;

Ensuite, nous trouvons enfin un moyen d'atteindre le seuil de rentabilité dans la commercialisation et continuons d'avancer vers l'objectif des « agents intelligents accompagnés d'humains ».

Alors que Li Mu partageait les pièges sur lesquels il avait directement marché, il n'a cessé de se demander au cours de cette année : « Pourquoi devrais-je créer une entreprise ? Il a été « interrogé » par Su Hua et s'est inspiré des commentaires désinvoltes de Cai Haoyu sur son entreprise. En fin de compte, la réponse qu'il a donnée à cette question était très Li Mu :

Si je devais répondre à cette question aujourd'hui, je dirais : « Je viens de perdre la tête ».

Mais il a également déclaré : « Ma motivation la plus profonde vient de la peur que la vie n'ait pas de sens. »

"Alors, quel est le sens de l'existence d'une personne ? Quand j'étais enfant, j'étais déprimé parce que je n'arrivais pas à comprendre cette question. Je veux donc créer de la valeur et acquérir le sens de l'existence. J'ai choisi d'"aller de l'avant". pour améliorer ma capacité à créer de la valeur ; Choisir d'enregistrer de longues vidéos et de rédiger du matériel pédagogique pour créer de la valeur pédagogique ; choisir de rédiger des résumés d'études de doctorat, de travail et d'entrepreneuriat, décrire les enchevêtrements et les difficultés et créer de la valeur de cas réels ; démarrer une entreprise et unir le pouvoir de nombreuses personnes pour créer une plus grande valeur.

Ce qui suit est le texte intégral de la critique de Li Mu, l'article est reproduit de Li Mu.La note de l'éditeur entre parenthèses contient quelques informations supplémentaires :

Signalez-le à vos amisMaîtrise en droit (LL.M.)Progrès, luttes et réflexions en première année d'entrepreneuriat

Lorsque j'étais chez Amazon pour la cinquième année, je pensais créer une entreprise, mais j'ai été retardée par l'épidémie. À sept ans et demi, j'ai senti que ça me démangeait trop, alors j'ai démissionné. Maintenant que j'y pense, s'il y a quelque chose que je dois essayer dans ma vie, je le ferais tôt. Parce qu’une fois que vous aurez vraiment commencé, vous constaterez qu’il y a tellement de nouvelles choses à apprendre et vous vous demanderez toujours pourquoi vous n’avez pas commencé plus tôt.

Avant de démarrer une entreprise, j'ai réalisé une série de projets portant le nom de Gluon. En physique quantique, Gluon est un boson qui lie les quarks entre eux, symbolisant que ce projet était à l'origine un projet conjoint entre Amazon et Microsoft. À ce moment-là, le chef de projet lui a tapoté la tête et le nom est sorti, mais nommer était très difficile pour les programmeurs. Nous avons eu du mal avec différents noms de fichiers et de variables chaque jour. En fin de compte, la nouvelle société lui a simplement donné le nom de Boson. J'espère que tout le monde sourira en connaissance de cause lorsqu'il entendra le mème "Les boson et les fermions composent le monde". Mais je ne m’attendais pas à ce que beaucoup de gens pensent à Boston.

"Je suis à Boston. On se retrouve un jour ?" "Hein ? Mais je suis dans la Bay Area."

Financement : L’investisseur principal s’est enfui la veille de la signature

Fin 2022, j'ai eu deux idées consistant à utiliser de grands modèles de langage (LLM) comme outils de productivité. Il m'est arrivé de rencontrer Zhang Yiming et de lui demander conseil. Après la discussion, il a demandé : Pourquoi ne pas faire le LLM lui-même ? J'ai inconsciemment bronché : notre équipe chez Amazon faisait ça depuis plusieurs années, avec des dizaines de milliers de cartes, et beaucoup de difficultés comme du blabla.

Yiminghehe a déclaré : Ce sont des difficultés à court terme et nous devons adopter une vision à long terme.

Mon avantage est que j'ai écouté les conseils et que j'ai vraiment opté pour le LLM.L’équipe fondatrice a réuni les responsables des données, de la pré-formation, de la post-formation et de l’architecture et est allée récolter des fonds. Avec de la chance, j'ai rapidement reçu un investissement d'amorçage. Mais l’argent n’est pas suffisant pour acheter la carte, je dois donc passer le deuxième tour. Le leader de ce cycle était une très grande organisation, qui a mis plusieurs mois à documenter et à négocier les termes. Mais la veille de la signature, le dirigeant avait déclaré qu'il n'investirait pas, ce qui a directement entraîné le retrait de plusieurs investisseurs.Je suis très reconnaissant envers les investisseurs restants d'avoir terminé ce tour et obtenu le ticket pour faire du LLM.

Si j’y réfléchis aujourd’hui, j’aurais pu continuer à lever des fonds tant que l’enthousiasme du marché des capitaux était toujours là.Peut-être que, comme d’autres hommes d’affaires, il dispose désormais d’un milliard de liquidités.À cette époque, j'avais peur que si je récoltais trop d'argent, il serait difficile de sortir, sinon je serais jeté dans le ciel. Maintenant que j’y pense, démarrer une entreprise, c’est changer de vie contre toute attente. Quelle est la solution ?

Machines : les premiers à manger des crabes

Lorsque vous avez de l'argent, achetez un GPU. J'ai interrogé différents fournisseurs et la réponse unanime a été que le H100 serait livré dans un an.J'ai eu une idée et j'ai écrit un e-mail directement à Lao Huang. Lao Huang a répondu instantanément et a dit qu'il y jetterait un œil. Une heure plus tard, le PDG de Supermicro a appelé. J'ai payé un peu plus, j'ai fait la queue et j'ai reçu la machine 20 jours plus tard. J'ai eu l'honneur de manger des crabes tôt.

Après avoir mangé des crabes, j'ai douté de ma vie et j'ai rencontré toutes sortes d'insectes incroyables. Par exemple, une alimentation électrique insuffisante du GPU a provoqué une instabilité, et plus tard les ingénieurs de Super Micro ont modifié le code du BIOS pour le corriger. Par exemple, l'angle de coupe de la fibre optique était incorrect, ce qui a entraîné une communication instable, par exemple la configuration réseau recommandée par Nvidia ; n'était pas optimal, nous avons donc élaboré un nouveau plan, et plus tard Nvidia, j'ai également adopté ce plan moi-même. Je ne comprends toujours pas. Nous avons acheté moins d’un millier de cartes, nous pouvons donc être considérés comme de petits acheteurs. Mais les gros acheteurs n’ont-ils pas rencontré les problèmes que nous avons rencontrés ? Pourquoi avons-nous besoin de notre débogage ?

En parallèle, nous avons également loué le même nombre de H100, et il y avait toutes sortes de bugs tous les jours. Le GPU avait des problèmes tous les jours, et on se demandait même si nous étions les seuls à utiliser ce cloud. Plus tard, j'ai vu le rapport technique de Llama 3 disant qu'après être passé au H100, le modèle avait été interrompu des centaines de fois pendant l'entraînement. J'ai ressenti une grande sympathie pour la douleur entre les lignes.

Si l'on compare l'autoconstruction et la location, le coût de la location sur trois ans est presque le même que le coût de l'autoconstruction. L’avantage de louer une carte est la tranquillité d’esprit. L’auto-construction présente deux avantages. Premièrement, si la technologie de Nvidia est encore très en avance dans trois ans, elle peut contrôler les prix afin que les GPU conservent leur valeur. Un autre facteur est le faible coût du stockage de données auto-construit. Le stockage doit être proche du GPU Qu'il s'agisse d'un grand cloud ou d'un petit cloud GPU, le prix du stockage est élevé. Cependant, un modèle de formation peut utiliser plusieurs To d'espace pour stocker les points de contrôle, et le stockage des données de formation commence à 10 Po. Si vous utilisez AWS S3, 10 Po coûteront deux millions par an. Si cet argent est utilisé pour l’auto-construction, il peut atteindre 100PB.

Entreprise : Grâce aux clients, nous avons atteint l'équilibre dès la première année

Nous avons eu beaucoup de chance que nos revenus et nos dépenses soient égaux la première année.

Nos dépenses concernent principalement la main d'œuvre et la puissance de calcul. Grâce aux ressources financières d'Openai et à l'avance considérable de Nvidia, ces deux dépenses sont assez importantes. Notre source de revenus consiste à fabriquer des modèles personnalisés pour les gros clients. La plupart des entreprises qui se sont inscrites très tôt au LLM étaient dues au fait que leurs PDG étaient très décisionnels. Ils n'étaient pas intimidés par la puissance de calcul élevée et les coûts de main-d'œuvre et ont poussé de manière décisive leurs équipes internes à coopérer pour essayer de nouvelles technologies. Je suis très reconnaissant envers le client de nous avoir donné le temps de souffler, sinon je me serais précipité vers divers investisseurs au cours des derniers mois.

Ensuite, davantage d'entreprises devraient essayer d'utiliser le LLM, qu'il s'agisse de mettre à niveau leurs propres produits ou de réduire les coûts et d'augmenter l'efficacité. La raison en est que, d'une part, les coûts technologiques diminuent et, d'autre part, les leaders de l'industrie (tels que nos clients) lanceront successivement des produits basés sur LLM, renforçant ainsi l'industrie.

Nous sommes également attentifs à la mise en œuvre du LLM sur toC. Les principaux acteurs de la vague précédente, comme c.ai et perplexity, sont toujours à la recherche de modèles économiques, mais il existe également une douzaine de petites applications natives LLM qui génèrent de bons revenus. Nous avons fourni un modèle pour une start-up de jeu de rôle. Ils se concentrent sur des acteurs profonds et équilibrent les revenus et les dépenses, ce qui est également formidable. Les capacités des modèles continuent d'évoluer et davantage de modalités (voix, musique, images, vidéos) sont intégrées. Je pense qu'il y aura des applications plus imaginatives à l'avenir.

Dans l’ensemble, l’industrie et le capital restent impatients. Cette année, plusieurs entreprises établies depuis plus d’un an mais ayant levé des milliards ont choisi de s’en retirer. De la technologie au produit est un long processus, il est normal de prendre 2 ou 3 ans. Compte tenu de l'émergence des besoins des utilisateurs, cela peut prendre plus de temps. Nous nous concentrons sur le présent, explorons le chemin dans le brouillard et restons optimistes quant à l’avenir.

Technologie : quatre étapes de la cognition LLM

La compréhension du LLM est passée par quatre étapes. La première étape va de Bert à GPT3. Il semble que la nouvelle architecture et le big data puissent être réalisés. Lorsque nous étions chez Amazon, nous avons également immédiatement organisé une formation et une mise en œuvre de produits à grande échelle.

La deuxième étape a eu lieu lorsque GPT4 est sorti lorsque j'ai démarré mon entreprise, ce qui a été un énorme choc.La raison principale vient du fait que la technologie n’est pas rendue publique. Selon les rumeurs, on estime qu'un modèle de formation coûte 100 millions et que le coût standard des données est de plusieurs dizaines de millions.. De nombreux investisseurs m'ont demandé combien il en coûterait pour reproduire GPT4, et j'ai répondu 300 à 400 millions. Plus tard, l’un d’eux a investi des centaines de millions.

La troisième étape correspond au premier semestre de création d’une entreprise.Nous ne pouvons pas créer GPT4, alors commençons par des problèmes spécifiques.. J'ai donc commencé à rechercher des clients, notamment dans les secteurs des jeux, de l'éducation, des ventes, de la finance et des assurances. Former des modèles en fonction de besoins spécifiques.Au début, il n’existait pas de bons modèles open source sur le marché, nous les avons donc formés à partir de zéro. Plus tard, de nombreux bons modèles sont sortis, ce qui a réduit nos coûts.Concevez ensuite une méthode d'évaluation basée sur le scénario commercial, marquez les données, voyez où le modèle ne fonctionne pas et améliorez-le en conséquence.

Fin 2023, nous avons été agréablement surpris de constater que nos modèles de la série Photon (un type de Boson) surpassaient le GPT4 dans les applications clients. L'avantage de la personnalisation du modèle est que le coût d'inférence est 1/10 de celui de l'appel de l'API. Bien que les API soient beaucoup moins chères aujourd’hui, notre propre technologie s’améliore également et représente toujours 1/10 du coût. De plus, les retards, etc. peuvent être mieux contrôlés. Il est entendu à ce stade que pour des applications spécifiques, nous pouvons battre les meilleurs modèles du marché.

La quatrième étape est le second semestre de création d’une entreprise.Bien que le client ait obtenu le modèle demandé dans le contrat, ce n’était pas ce à quoi il s’attendait car GPT4 n’était pas suffisant. Au début de l'année, nous avons constaté qu'il était difficile pour le modèle de faire un autre bond en avant s'il était formé pour une seule application.Avec le recul, si AGI atteint le niveau des humains ordinaires, ce que veulent les clients, c'est le niveau des professionnels. Les jeux nécessitent des planificateurs et des acteurs professionnels professionnels, l'éducation nécessite des professeurs médaillés d'or, les ventes nécessitent des ventes de médailles d'or, et les finances et les assurances nécessitent des analystes seniors. Il s’agit de toutes les capacités professionnelles de l’AGI et de l’industrie. Même si nous étions impressionnés par AGI à l’époque, nous pensions que c’était inévitable.

Au début de l’année, nous avons conçu une série de modèles Higgs (God Particle, un type de Boson). La principale capacité générale est de suivre le meilleur modèle, mais de se démarquer par une certaine capacité. Les compétences que nous avons choisies étaient celles du jeu de rôle : jouer un personnage virtuel, jouer à un professeur, jouer à la vente, jouer à un analyste de jeux, etc. Il a été mis à jour mi-2024deuxième génération, sur Arena-Hard et AlpacaEval 2.0, qui testent les capacités générales, la V2 est comparable au meilleur modèle, et elle n'est pas loin derrière sur MMLU-Pro, qui teste les connaissances.

Higgs-V2 est basé sur la base Llama3 et effectue ensuite une post-formation complète. Nous n'avons pas les ressources nécessaires pour dépenser beaucoup d'argent pour étiqueter des données comme Meta, donc V2 est meilleur que Llama3 Instruct. La raison devrait principalement venir de l'innovation de l'algorithme.

Ensuite, nous avons fait unEnsemble d'évaluation de jeux de rôle, y compris les performances basées sur des personnages et les performances basées sur des scènes. Je suis désolé que mon modèle se soit classé premier sur ma liste. Cependant, aucune donnée n'est utilisée pour l'évaluation lors de la formation du modèle. Étant donné que cet ensemble d'évaluation est destiné à un usage personnel et espère refléter véritablement les capacités du modèle, il est nécessaire d'éviter le surajustement des ensembles de données du modèle. Mais les étudiants qui ont réalisé l’évaluation voulaient rédiger un rapport technique, alors ils l’ont simplement publié. Fait intéressant, l'échantillon de test de jeu de rôle provient de c.ai, mais leurs capacités de modèle sont en bas.

La quatrième étape de compréhension est qu'un bon modèle vertical ne doit pas être faible en termes de capacités générales. Par exemple, les capacités de raisonnement et de suivi des instructions sont également nécessaires verticalement. À long terme, les modèles généraux et verticaux devront évoluer vers l’AGI. C'est juste que le modèle vertical peut être un peu plus axé sur le sujet, avec des scores élevés dans les cours professionnels et des cours généraux corrects, donc les coûts de recherche et développement sont légèrement inférieurs et les méthodes de recherche et développement seront différentes.

Qu’en est-il de la cinquième étape de la compréhension ? C'est toujours un travail en cours et j'espère le partager bientôt.

Vision : Compagnonnage humain

Il est embarrassant de dire que nous nous concentrons sur la technologie et la personnalisation pour les clients, puis réfléchissons lentement à la vision que nous poursuivons. Nous examinons ce que veulent les clients, ce que nous voulons et ce dont nous pourrions avoir besoin à l’avenir. Pour ma part, il y a de nombreuses années, j'avais envie d'une nounou robot pour m'aider à prendre soin de mes enfants et à les accompagner, car j'avais du mal à le faire et je ne comprenais pas très bien la cognition et les pensées actuelles de mes enfants.

J'aurais aimé avoir un assistant virtuel vraiment génial au travail qui pourrait inventer de nouvelles choses avec moi. Quand je serai vieux, je veux aussi avoir des robots intéressants pour m'accompagner. Ma prédiction pour l'avenir est que les outils de production deviendront de plus en plus développés et qu'une seule personne pourra réaliser des choses qui ne pouvaient être réalisées que par une équipe auparavant, rendant les êtres humains plus indépendants individuellement. Chacun est occupé à poursuivre ses propres choses, les rendant égales. plus seul.

En les réunissant, nous avons défini notre vision d'« agents intelligents accompagnant les humains ». Un agent intelligent doté d'une intelligence émotionnelle élevée et d'un QI en ligne. Si c'était une vraie personne, ce serait une équipe professionnelle. Par exemple, si vous voulez qu'il joue avec vous, alors c'est un planificateur + acteur professionnel. Vous accompagner dans l'exercice, puis encourager les professeurs + coachs sportifs professionnels. Si j’étudie avec vous, je peux vous expliquer ce que vous ne comprenez pas. L’avantage d’un modèle, c’est qu’il peut vous accompagner longtemps et vraiment vous comprendre. Et je peux "être sincèrement pour vous".

Cependant, la technologie actuelle est encore loin de la vision. La technologie d’aujourd’hui peut vous accompagner pour discuter. Dans de nombreuses situations, la conversation n'est pas très bonne, le contenu fait défaut et le QI et l'EQ ne sont parfois pas en ligne. Ce sont tous des problèmes qui doivent être résolus maintenant. Si vous avez des amis qui souhaitent postuler à l’étranger, n’hésitez pas à nous contacter.

Équipe : les défis doivent reposer sur l'équipe

Ce n’est qu’après avoir démarré une entreprise que j’ai vraiment réalisé l’importance d’une équipe. Quand j'étais dans une grande usine, j'avais l'impression d'être une vis, les membres de mon équipe étaient des vis, et même l'équipe était une vis. Mais l'équipe entrepreneuriale est une voiture. La voiture est plus petite, mais elle peut rouler, transporter des charges, tourner avec souplesse et aller dans tous les coins.Peu de temps après la création de l'entreprise, MiHoYo Lao Cai a jeté un coup d'œil et a vu tout le monde dans une seule pièce. Il a dit avec émotion qu'une petite équipe est formidable.

Bien sûr, il y a quelques inconvénients. Vous devez vérifier à tout moment s'il y a de l'huile et vous devez faire attention à ne pas secouer la voiture sur des routes difficiles. Chaque membre est important et il n’y a pas de redondance. Si une personne n’est pas efficace, cela peut être une crevaison. Les gens sont également précieux. Une personne peut perdre un pneu.

Dans le passé, lorsque je choisissais des projets, je choisissais des projets dont je pouvais diriger le développement. Mais cela signifie également que le problème ne dépassera pas mes capacités. Créer une entreprise est un gros problème, et tout dépend de l'équipe. Bien que de nombreux « je » soient utilisés dans cet article, en réalité, le travail est effectué par l'équipe. Sans l'équipe, je devrai peut-être changer de carrière pour vendre des cours (pas besoin d'applaudissements ici).

Recherche personnelle : gloire ou fortune ?

Jusqu'à présent, je me suis appuyé sur ma voix intérieure pour prendre des décisions. Après avoir travaillé, j'étudierai pour un doctorat, je réaliserai des vidéos et je créerai une entreprise. L’entrepreneuriat nécessite le soutien d’une forte motivation pour surmonter d’innombrables difficultés. Cela nécessite une analyse plus approfondie de vos propres motivations.

La motivation vient soit du désir, soit de la peur. Il y a dix ans, j'aurais peut-être été plus passionné par la gloire et la fortune, mais à mon âge actuel, j'ai l'impression que l'utilité marginale de l'argent n'est plus élevée et que la valeur émotionnelle apportée par la célébrité est également très faible. Ma motivation la plus profonde vient de la peur que la vie n’ait aucun sens. Si l’on met de côté l’immensité de l’univers, même dans la longue histoire de l’humanité, l’homme n’est qu’un grain de sable. Arrivez à l’improviste et disparaissez rapidement. Il y a eu 100 milliards de personnes sur Terre, et la plupart d’entre elles ne laisseront aucune trace dans l’histoire. Je reconnais à peine aucun des milliers de noms figurant sur mon arbre généalogique.

Alors, quel est le sens de l’existence d’une personne ? Quand j'étais enfant, j'étais déprimé parce que je n'arrivais pas à réfléchir clairement à ce problème. Je veux donc créer de la valeur et donner un sens à l'existence. J'ai choisi « d'aller de l'avant » pour améliorer ma capacité à créer de la valeur ; j'ai choisi d'enregistrer de longues vidéos et d'écrire du matériel pédagogique pour créer de la valeur pédagogique ; j'ai choisi d'écrire des résumés de mes études de doctorat, de mon travail et de mon entrepreneuriat ; les enchevêtrements et les difficultés impliqués, et créer des cas réels; choisir de démarrer une entreprise et d'unir les efforts de nombreuses personnes pour créer une plus grande valeur.

post-scriptum

Su Hua et moi marchions à Stanford l'année dernière. Il m'a tapoté l'épaule et m'a dit : « Dites-moi la vérité, pourquoi voulez-vous créer une entreprise à l'époque, je ne le pensais pas : « Je viens de le faire. je veux changer de carrière." Puis Su Hua sourit.

Maintenant, je comprends, car il a connu les hauts et les bas de l’entrepreneuriat. Si je devais répondre à cette question aujourd'hui, je dirais : « Je viens de perdre la tête ». Mais je suis content de ne pas m’attendre à ce que ce soit aussi simple à ce moment-là, alors j’ai sauté tête la première. Sinon, ce que tout le monde pourrait voir, c'est "Réflexion sur dix ans de travail». Je pense que l'histoire que j'ai écrite aujourd'hui est plus intéressante.

Salut à tous les entrepreneurs.

Enfin, Li Mu a également annoncé que BosonAI a actuellement son siège à Santa Clara et que le recrutement inclut la région de la baie de San Francisco et Vancouver.