nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Publié avec la permission de Heart of the Machine

Auteur : Li Mu

• Permettez-moi de rendre compte à mes amis des progrès, des difficultés et des réflexions du LLM en première année d'entrepreneuriat.

Lorsque j'étais chez Amazon pour la cinquième année, je pensais créer une entreprise, mais j'ai été retardée par l'épidémie. À sept ans et demi, j'ai senti que ça me démangeait trop, alors j'ai démissionné. Maintenant que j'y pense, s'il y a quelque chose que je dois essayer dans ma vie, je le ferais tôt. Parce qu’une fois que vous aurez vraiment commencé, vous constaterez qu’il y a tellement de nouvelles choses à apprendre et vous vous demanderez toujours pourquoi vous n’avez pas commencé plus tôt.

Nom : Origine de BosonAI

Avant de démarrer une entreprise, j'ai réalisé une série de projets portant le nom de Gluon. En physique quantique, Gluon est un boson qui lie les quarks entre eux, symbolisant le fait que ce projet a commencé comme un projet conjoint entre Amazon et Microsoft. À ce moment-là, le chef de projet lui a tapoté la tête et le nom est sorti, mais nommer était très difficile pour les programmeurs. Nous avons eu du mal avec différents noms de fichiers et de variables chaque jour. En fin de compte, la nouvelle société lui a simplement donné le nom de Boson. J'espère que tout le monde sourira en connaissance de cause lorsqu'il entendra le mème "Les bosons et les fermions forment le monde". Mais je ne m’attendais pas à ce que beaucoup de gens pensent à Boston.

"Je suis à Boston. On se retrouve un jour ?" "Hein ? Mais je suis dans la Bay Area."

Financement : L’investisseur principal s’est enfui la veille de la signature

Fin 2022, j'ai eu deux idées consistant à utiliser de grands modèles de langage (LLM) comme outils de productivité. Il m'est arrivé de rencontrer Zhang Yiming et de lui demander conseil. Après la discussion, il a demandé : Pourquoi ne pas faire le LLM lui-même ? J'ai inconsciemment bronché : notre équipe chez Amazon faisait ça depuis plusieurs années, avec des dizaines de milliers de cartes, et beaucoup de difficultés comme du blabla. Yiminghehe a déclaré : Ce sont des difficultés à court terme et nous devons adopter une vision à long terme.

Mon avantage est que j'ai écouté les conseils et j'ai vraiment décidé de devenir LLM. L’équipe fondatrice a réuni les responsables des données, de la pré-formation, de la post-formation et de l’architecture et est allée récolter des fonds. Avec de la chance, j'ai rapidement reçu un investissement d'amorçage. Mais l’argent n’est pas suffisant pour acheter la carte, je dois donc passer le deuxième tour. Le leader de ce cycle était une très grande organisation, qui a mis plusieurs mois à documenter et à négocier les termes. Mais la veille de la signature, le dirigeant avait déclaré qu'il n'investirait pas, ce qui a directement entraîné le retrait de plusieurs investisseurs. Je suis très reconnaissant envers les investisseurs restants d'avoir terminé ce tour et obtenu le ticket pour faire du LLM.

Si j'y réfléchis aujourd'hui, avec l'enthousiasme du marché des capitaux toujours présent à l'époque, je pourrais effectivement continuer à lever des fonds. Peut-être que, comme d'autres amis, j'ai maintenant un milliard de liquidités en main. À cette époque, j'avais peur que si je récoltais trop d'argent, il serait difficile de sortir, sinon je serais jeté dans le ciel. Maintenant que j’y pense, démarrer une entreprise, c’est changer de vie contre toute attente. Quelle est la solution ?

Machines : les premiers à manger des crabes

Lorsque vous avez de l'argent, achetez un GPU. J'ai interrogé différents fournisseurs et la réponse unanime a été que le H100 serait livré un an plus tard. J'ai eu une idée et j'ai écrit un e-mail directement à Lao Huang. Lao Huang a répondu instantanément et a dit qu'il y jetterait un œil. Une heure plus tard, le PDG de Supermicro a appelé. J'ai payé un peu plus, j'ai fait la queue et j'ai reçu la machine 20 jours plus tard. J'ai eu l'honneur de manger des crabes tôt.

Après avoir mangé des crabes, j'ai douté de ma vie et j'ai rencontré toutes sortes d'insectes incroyables. Par exemple, l'alimentation du GPU était insuffisante, provoquant une instabilité. Plus tard, les ingénieurs de Supermicro ont modifié le code du BIOS et l'ont corrigé ; par exemple, l'angle de coupe de la fibre optique était incorrect, ce qui a entraîné une communication instable, par exemple la configuration réseau recommandée par Nvidia ; n'était pas optimal, nous avons donc élaboré un nouveau plan, et plus tard Nvidia, j'ai également adopté ce plan moi-même. Je ne comprends toujours pas. Nous avons acheté moins d’un millier de cartes, nous pouvons donc être considérés comme de petits acheteurs. Mais les gros acheteurs n’ont-ils pas rencontré les problèmes que nous avons rencontrés ? Pourquoi avons-nous besoin de notre débogage ?

En parallèle, nous avons également loué le même nombre de H100, et il y avait toutes sortes de bugs tous les jours. Le GPU avait des problèmes tous les jours, et on se demandait même si nous étions les seuls sur ce cloud. Plus tard, j'ai vu le rapport technique de Llama 3 disant qu'après être passé au H100, le modèle avait été interrompu des centaines de fois pendant l'entraînement. Je peux comprendre la douleur entre les lignes.

Si l'on compare l'autoconstruction et la location, le coût de la location sur trois ans est presque le même que le coût de l'autoconstruction. L’avantage de louer une carte est la tranquillité d’esprit. L’auto-construction présente deux avantages. Premièrement, si la technologie de Nvidia est encore très en avance dans trois ans, elle peut contrôler les prix afin que les GPU puissent toujours conserver leur valeur. Un autre facteur est le faible coût du stockage de données auto-construit. Le stockage doit être proche du GPU Qu'il s'agisse d'un grand cloud ou d'un petit cloud GPU, le prix du stockage est élevé. Cependant, un modèle de formation peut utiliser plusieurs To d'espace pour stocker les points de contrôle, et le stockage des données de formation commence à 10 Po. Si vous utilisez AWS S3, 10 Po coûtent deux millions par an. Si cet argent est utilisé pour l’auto-construction, il peut atteindre 100PB.

Entreprise : Grâce aux clients, nous avons atteint l'équilibre dès la première année

Nous avons eu beaucoup de chance que nos revenus et nos dépenses soient égaux la première année. Nos dépenses concernent principalement la main d'œuvre et la puissance de calcul. Grâce aux ressources financières d'Openai et à l'avance considérable de Nvidia, ces deux dépenses sont assez importantes. Notre source de revenus consiste à fabriquer des modèles personnalisés pour les gros clients. La plupart des entreprises qui se sont inscrites très tôt au LLM étaient dues au fait que leurs PDG étaient très décisionnels. Ils n'étaient pas intimidés par la puissance de calcul élevée et les coûts de main-d'œuvre et ont poussé de manière décisive leurs équipes internes à coopérer pour essayer de nouvelles technologies. Je suis très reconnaissant envers le client de nous avoir donné le temps de souffler, sinon je me serais précipité vers divers investisseurs au cours des derniers mois.

Ensuite, davantage d'entreprises devraient essayer d'utiliser le LLM, que ce soit pour mettre à niveau leurs propres produits ou pour réduire les coûts et accroître l'efficacité. La raison en est que, d'une part, les coûts technologiques diminuent et, d'autre part, les leaders de l'industrie (tels que nos clients) lanceront successivement des produits basés sur LLM, renforçant ainsi l'industrie.

Nous sommes également attentifs à la mise en œuvre du LLM sur toC. Les principaux acteurs de la vague précédente, comme c.ai et perplexity, sont toujours à la recherche de modèles économiques, mais il existe également une douzaine de petites applications natives LLM avec de bons revenus. Nous avons fourni un modèle pour une start-up de jeu de rôle. Ils se concentrent sur des acteurs profonds et équilibrent les revenus et les dépenses, ce qui est également formidable. Les capacités des modèles continuent d'évoluer et davantage de modalités (voix, musique, images, vidéos) sont intégrées. Je pense qu'il y aura des applications plus imaginatives à l'avenir.

Dans l’ensemble, l’industrie et le capital restent impatients. Cette année, plusieurs entreprises établies depuis plus d’un an mais ayant levé des milliards ont choisi de s’en retirer. De la technologie au produit, le processus est long et prend normalement 2 ou 3 ans. Compte tenu de l'émergence des besoins des utilisateurs, cela peut prendre plus de temps. Nous nous concentrons sur le présent, explorons le chemin dans le brouillard et restons optimistes quant à l’avenir.

Technologie : quatre étapes de la cognition LLM

La compréhension du LLM est passée par quatre étapes. La première étape va de Bert à GPT3. Il semble que la nouvelle architecture et le big data puissent être réalisés. Lorsque nous étions chez Amazon, nous sommes également allés immédiatement sur place pour organiser une formation et une mise en œuvre de produits à grande échelle.

La deuxième étape a eu lieu lorsque GPT4 est sorti lorsque j'ai démarré mon entreprise, et j'ai été très choqué. La raison principale vient du fait que la technologie n’est pas rendue publique. Selon les rumeurs, on estime que le temps de formation d'un modèle est de 100 millions et le coût standard des données est de plusieurs dizaines de millions. De nombreux investisseurs m'ont demandé combien il en coûterait pour reproduire GPT4, et j'ai répondu 300 à 400 millions. Plus tard, l’un d’eux a investi des centaines de millions.

La troisième étape correspond au premier semestre de création d’une entreprise. Nous ne pouvons pas créer GPT4, alors commençons par des problèmes spécifiques. J'ai donc commencé à rechercher des clients, notamment dans les secteurs des jeux, de l'éducation, des ventes, de la finance et des assurances. Former des modèles en fonction de besoins spécifiques. Au début, il n'y avait pas de bons modèles open source sur le marché, nous nous sommes donc formés à partir de zéro. Plus tard, de nombreux bons modèles sont sortis, ce qui a réduit nos coûts. Concevez ensuite une méthode d'évaluation basée sur le scénario commercial, marquez les données, voyez où le modèle ne fonctionne pas et améliorez-le en conséquence.

Fin 2023, nous avons été agréablement surpris de constater que nos modèles de la série Photon (un type de Boson) surpassaient le GPT4 dans les applications clients. L'avantage de la personnalisation du modèle est que le coût d'inférence est 1/10 de celui de l'appel de l'API. Bien que les API soient beaucoup moins chères aujourd’hui, notre propre technologie s’améliore également et représente toujours 1/10 du coût. De plus, les QPS, délais, etc. sont tous mieux maîtrisés. Il est entendu à ce stade que pour des applications spécifiques, nous pouvons battre les meilleurs modèles du marché.

La quatrième étape est le second semestre de création d’une entreprise. Bien que le client ait obtenu le modèle demandé dans le contrat, ce n’était pas ce à quoi il s’attendait car GPT4 n’était pas suffisant. Au début de l'année, nous avons constaté qu'il était difficile pour le modèle de faire un autre bond en avant s'il était formé pour une seule application. Avec le recul, si AGI veut atteindre le niveau des humains ordinaires, ce que veulent les clients, c'est le niveau des professionnels. Les jeux nécessitent des planificateurs et des acteurs professionnels professionnels, l'éducation nécessite des professeurs médaillés d'or, les ventes nécessitent des ventes de médailles d'or, et les finances et les assurances nécessitent des analystes seniors. Il s’agit de toutes les capacités professionnelles de l’AGI et de l’industrie. Même si nous étions impressionnés par AGI à l’époque, nous pensions que c’était inévitable.

Au début de l’année, nous avons conçu une série de modèles Higgs (God Particle, un type de Boson). La principale capacité générale est de suivre le meilleur modèle, mais de se démarquer par une certaine capacité. Les compétences que nous avons choisies étaient celles du jeu de rôle : jouer un personnage virtuel, jouer à un professeur, jouer à la vente, jouer à un analyste de jeux, etc. Il a été itéré jusqu'à la deuxième génération mi-2024. Sur Arena-Hard et AlpacaEval 2.0, qui testent les capacités générales, la V2 est comparable aux meilleurs modèles, et elle n'est pas loin derrière sur MMLU-Pro, qui teste les connaissances.

Higgs-V2 est basé sur la base Llama3, puis effectue une post-formation complète. Nous ne pouvons pas dépenser beaucoup d'argent pour étiqueter des données comme Meta, donc V2 est meilleur que Llama3 Instruct. La raison devrait principalement venir de l'innovation de l'algorithme.

Ensuite, nous avons fait une revue pour évaluer le jeu de rôle, y compris le jeu selon le personnage et le jeu selon le scénario. Je suis désolé que mon modèle se soit classé premier sur ma liste. Cependant, aucune donnée n'est utilisée pour l'évaluation lors de la formation du modèle. Étant donné que cet ensemble d'évaluation est destiné dès le départ à un usage personnel et espère refléter véritablement les capacités du modèle, il est nécessaire d'éviter le surajustement des ensembles de données du modèle. Mais les étudiants qui effectuaient l'évaluation voulaient rédiger un rapport technique, alors ils l'ont publié. Fait intéressant, l'échantillon de test de jeu de rôle provient de c.ai, mais leurs capacités de modèle sont en bas.

La quatrième étape de compréhension est qu'un bon modèle vertical ne doit pas être faible en termes de capacités générales. Par exemple, le raisonnement et le suivi des instructions sont également nécessaires verticalement. À long terme, les modèles généraux et verticaux devront évoluer vers l’AGI. C'est juste que le modèle vertical peut être un peu plus axé sur le sujet, avec des scores élevés dans les cours professionnels et des cours généraux corrects, donc les coûts de recherche et développement sont légèrement inférieurs et les méthodes de recherche et développement seront différentes.

Qu’en est-il de la cinquième étape de la compréhension ? C'est toujours un travail en cours et j'espère le partager bientôt.

Vision : Compagnonnage humain

Il est embarrassant de dire que nous nous concentrons sur la technologie et la personnalisation pour les clients, puis réfléchissons lentement à la vision que nous poursuivons. Nous examinons ce que veulent les clients, ce que nous voulons et ce dont nous pourrions avoir besoin à l’avenir. Pour ma part, il y a de nombreuses années, j'avais envie d'une nounou robot pour m'aider à prendre soin de mes enfants et à les accompagner, car j'avais du mal à le faire et je ne comprenais pas très bien la cognition et les pensées actuelles de mes enfants. J'aurais aimé avoir un assistant virtuel vraiment génial au travail qui pourrait inventer de nouvelles choses avec moi. Quand je serai vieux, je veux aussi avoir des robots intéressants pour m'accompagner. Ma prédiction pour l'avenir est que les outils de production deviendront de plus en plus développés et qu'une seule personne pourra réaliser des choses qui ne pouvaient être réalisées que par une équipe auparavant, rendant les êtres humains plus indépendants individuellement. Chacun est occupé à poursuivre ses propres choses, les rendant égales. plus seul.

En les réunissant, nous avons défini notre vision d'« agents intelligents accompagnant les humains ». Un agent intelligent doté d'une intelligence émotionnelle élevée et d'un QI en ligne. Si c'était une vraie personne, ce serait une équipe professionnelle. Par exemple, si vous voulez qu'il joue avec vous, alors c'est un planificateur + acteur professionnel. Vous accompagner dans l'exercice, puis encourager le professeur + coach sportif professionnel. Si j’étudie avec vous, je peux vous expliquer ce que vous ne comprenez pas. L’avantage d’un modèle, c’est qu’il peut vous accompagner longtemps et vraiment vous comprendre. Et je peux "être sincèrement pour vous".

Cependant, la technologie actuelle est encore loin de la vision. La technologie d’aujourd’hui peut vous accompagner pour discuter. Dans de nombreuses situations, la conversation n'est pas très bonne, le contenu fait défaut et le QI et l'EQ ne sont parfois pas en ligne. Ce sont tous des problèmes qui doivent être résolus maintenant. Si vous avez des amis qui souhaitent postuler à l’étranger, n’hésitez pas à nous contacter.

Équipe : les défis doivent reposer sur l'équipe

Ce n’est qu’après avoir démarré une entreprise que j’ai vraiment réalisé l’importance d’une équipe. Quand j'étais dans une grande usine, j'avais l'impression d'être une vis, les membres de mon équipe étaient des vis, et même l'équipe était une vis. Mais l'équipe entrepreneuriale est une voiture. La voiture est plus petite, mais elle peut rouler, transporter des charges, tourner avec souplesse et aller dans tous les coins. Peu de temps après la création de l'entreprise, MiHoYo Lao Cai a jeté un coup d'œil et a vu tout le monde dans une seule pièce. Il a dit avec émotion qu'une petite équipe est formidable.

Bien sûr, il y a quelques inconvénients. Vous devez vérifier à tout moment s'il y a de l'huile et vous devez faire attention à ne pas secouer la voiture sur des routes difficiles. Chaque membre est important et il n’y a pas de redondance. Si une personne n’est pas efficace, cela peut être une crevaison. Les gens sont également précieux. Une personne peut perdre un pneu.

Dans le passé, lorsque je choisissais des projets, je choisissais des projets dont je pouvais diriger le développement. Mais cela signifie aussi que les questions ne sont pas très difficiles. Créer une entreprise est un gros problème, et tout dépend de l'équipe. Bien que de nombreux « je » soient utilisés dans cet article, en réalité, le travail est effectué par l'équipe. Sans l’équipe, je devrais peut-être changer de carrière pour vendre des cours.

Recherche personnelle : gloire ou fortune ?

Jusqu'à présent, je me suis appuyé sur ma voix intérieure pour prendre des décisions. Après avoir travaillé, j'étudierai pour un doctorat, je réaliserai des vidéos et je créerai une entreprise. L’entrepreneuriat nécessite le soutien d’une forte motivation pour surmonter d’innombrables difficultés. Cela nécessite une analyse plus approfondie de vos propres motivations.

La motivation vient soit du désir, soit de la peur. Il y a dix ans, j'aurais peut-être été plus passionné par la gloire et la fortune, mais à mon âge actuel, j'ai l'impression que l'utilité marginale de l'argent n'est plus élevée et que la valeur émotionnelle apportée par la célébrité est également très faible. Ma motivation la plus profonde vient de la peur que la vie n’ait aucun sens. Si l’on met de côté l’immensité de l’univers, même dans la longue histoire de l’humanité, l’homme n’est qu’un grain de sable. Arrivez à l’improviste et disparaissez rapidement. Il y a eu 100 milliards de personnes sur Terre, et la plupart d’entre elles ne laisseront aucune trace dans l’histoire. Je reconnais à peine les milliers de noms sur mon arbre généalogique.

Alors, quel est le sens de l’existence d’une personne ? Quand j'étais enfant, j'étais déprimé parce que je n'arrivais pas à réfléchir clairement à ce problème. Donc inconsciemment, je veux créer de la valeur et donner un sens à l’existence. Je choisis « d'aller de l'avant » pour améliorer ma capacité à créer de la valeur ; je choisis d'enregistrer de longues vidéos et d'écrire du matériel pédagogique pour créer de la valeur pédagogique ; je choisis d'écrire des résumés de mes études de doctorat, de mon travail et de mon entrepreneuriat ; les enchevêtrements et les difficultés impliqués, et créer la valeur des exemples ; Choisissez de démarrer une entreprise et d'unir les efforts de nombreuses personnes pour créer une plus grande valeur.

post-scriptum

Su Hua et moi marchions à Stanford l'année dernière. Il m'a tapoté l'épaule et m'a dit : « Dites-moi la vérité, pourquoi voulez-vous créer une entreprise à l'époque, je ne le pensais pas : « Je viens de le faire. je veux changer de carrière." Puis Su Hua sourit.

Maintenant, je comprends, car il a connu les hauts et les bas de l’entrepreneuriat. Si je devais répondre à cette question aujourd'hui, je dirais : « Je viens de perdre la tête ». Mais je suis content de ne pas m’attendre à ce que ce soit aussi simple à ce moment-là, alors j’ai sauté tête la première. Autrement, ce que chacun peut voir, c'est « une réflexion sur dix années de travail ». Je pense que l'histoire que j'ai écrite aujourd'hui est plus intéressante.

Salut à tous les entrepreneurs.

(Enfin, les informations de recrutement de notre entreprise (Bay Area et Vancouver) sous l'annonce sont https://jobs.lever.co/bosonai. Si vous avez des candidatures à l'étranger, veuillez nous contacter à [email protected])