notizia

Questa è quasi la recensione più sincera e informativa fino ad oggi sul grande modello di imprenditorialità.

La sera del 14 agosto 2024, Li Mu ha pubblicato un articolo di recensione su un anno di avvio di un'impresa nelle sue colonne Bilibili e Zhihu: "Un anno per avviare un'impresa, tre anni nel mondo", condividendo il suo ampio commento modello di avvio di un'impresa I progressi, le lotte e le riflessioni del primo anno.

Nell'articolo ha ripercorso il suo percorso imprenditoriale:

Dall'idea iniziale di avviare un'attività come strumento di produttività per modelli di grandi dimensioni, all'incontro con Zhang Yiming e all'essere "risvegliato" da lui, ha deciso di costruire direttamente il modello stesso;

Sono stato "lasciato andare" durante il processo di finanziamento e, poiché stavo avviando un'impresa per la prima volta, sono stato un po' "costoso" e non sono riuscito a "ottenere 1 miliardo in contanti" come alcuni dei miei colleghi;

Ho contattato direttamente Jen-Hsun Huang per ottenere l'H100 direttamente "sistemato" dall'altra parte, ma ho scoperto che queste carte presentavano molti bug durante l'allenamento;

Poi troveremo finalmente un modo per raggiungere il pareggio nella commercializzazione e continuare a muoverci verso l'obiettivo di "agenti intelligenti accompagnati da esseri umani".

Mentre Li Mu condivideva le trappole che aveva direttamente calpestato, durante quest'anno ha anche continuato a chiedersi: "Perché dovrei avviare un'impresa?" È stato "interrogato" da Su Hua ed è stato ispirato dai commenti casuali di Cai Haoyu sulla sua azienda. Alla fine, la risposta che ha dato a questa domanda è stata molto Li Mu:

Se dovessi rispondere oggi a questa domanda, direi: "Ho semplicemente perso la testa".

Ma ha anche detto: "La mia motivazione più profonda viene dalla paura che la vita possa non avere significato".

"Allora qual è il significato dell'esistenza di una persona? Quando ero bambino ero depresso perché non riuscivo a capire questa domanda. Quindi voglio creare valore e acquisire il senso dell'esistenza. Scelgo di "andare avanti" per migliorare la mia capacità di creare valore; Scegliere di registrare lunghi video e scrivere materiali didattici per creare valore educativo; scegliere di scrivere riassunti di studi di dottorato, lavoro e imprenditorialità, descrivere gli intrecci e le difficoltà e creare valore di casi reali; avviare un'impresa e unire il potere di molte persone per creare maggiore valore."

Quello che segue è il testo completo della recensione di Li Mu, l'articolo è riprodotto da Li Mu.La nota dell'editore tra parentesi contiene alcune informazioni aggiuntive:

Segnalalo ai tuoi amiciLaurea Magistrale in GiurisprudenzaProgressi, fatiche e riflessioni nel primo anno di imprenditorialità

Quando ero in Amazon per il quinto anno, pensavo di avviare un’impresa, ma ho subito un ritardo a causa dell’epidemia. Al settimo anno e mezzo, ho sentito che era troppo pruriginoso, quindi ho rassegnato le dimissioni. Ora che ci penso, se c'è qualcosa che devo provare nella mia vita, lo farei presto. Perché una volta che inizi davvero, scoprirai che ci sono così tante cose nuove da imparare e ti chiederai sempre perché non hai iniziato prima.

Prima di avviare un'attività, ho realizzato una serie di progetti intitolati a Gluon. Nella fisica quantistica, il gluone è un bosone che lega insieme i quark, a simboleggiare che questo progetto era originariamente un progetto congiunto tra Amazon e Microsoft. A quel tempo, il project manager gli diede una pacca sulla testa e il nome venne fuori, ma nominare era molto difficile per i programmatori. Ogni giorno lottavamo con diversi nomi di file e nomi di variabili. Alla fine, la nuova società la chiamò semplicemente Boson. Spero che tutti sorrideranno consapevolmente quando riceveranno il meme "Bosoni e Fermioni compongono il mondo". Ma non mi aspettavo che molte persone la considerassero Boston.

"Sono a Boston. Ci incontriamo qualche volta?" "Eh? Ma sono nella Bay Area."

Finanziamento: l'investitore principale è scappato il giorno prima della firma

Alla fine del 2022, mi sono venute due idee sull'utilizzo di modelli linguistici di grandi dimensioni (LLM) come strumenti di produttività. Mi è capitato di incontrare Zhang Yiming e gli ho chiesto consiglio. Dopo la discussione, ha chiesto: perché non fare il LLM stesso? Inconsciamente ho sussultato: il nostro team di Amazon lo faceva da diversi anni, con decine di migliaia di carte e molte difficoltà come blabla.

Yiminghehe ha detto: Queste sono difficoltà a breve termine e dobbiamo avere una visione a lungo termine.

Il mio vantaggio è che ho ascoltato il consiglio e ho scelto davvero il LLM.Il team fondatore ha riunito le persone responsabili dei dati, della pre-formazione, della post-formazione e dell'architettura ed è andato a raccogliere fondi. Con un po’ di fortuna, ho ricevuto rapidamente un investimento iniziale. Ma i soldi non bastano per comprare la carta, quindi devo fare il secondo giro. Il leader di questo round è stata un’organizzazione molto grande, che ha impiegato diversi mesi per documentare e negoziare i termini. Ma il giorno prima della firma, il leader ha dichiarato che non avrebbe investito, il che ha portato direttamente al ritiro di numerosi investitori.Sono molto grato ai restanti investitori per aver completato questo round e aver ottenuto il biglietto per fare LLM.

Se ci riflettessi oggi, avrei potuto continuare a raccogliere fondi finché l’entusiasmo sul mercato dei capitali era ancora lì.Forse, come altri uomini d'affari, ora ha un miliardo in contanti.A quel tempo temevo che se avessi raccolto troppi soldi sarebbe stato difficile uscire o sarei stato gettato in cielo. Ora che ci penso, avviare un'impresa significa cambiare la propria vita contro ogni previsione. Qual è la via d'uscita?

Macchine: i primi a mangiare i granchi

Quando hai soldi, acquista una GPU. Ho chiesto a diversi fornitori e la risposta unanime è stata che l'H100 verrà consegnato entro un anno.Ho avuto un'idea e ho scritto un'e-mail direttamente a Lao Huang. Lao Huang rispose immediatamente e disse che avrebbe dato un'occhiata. Un'ora dopo mi ha chiamato il CEO di Supermicro. Ho pagato un po' di più, mi sono messo in fila e ho ricevuto la macchina 20 giorni dopo. Ho avuto l'onore di mangiare presto i granchi.

Dopo aver mangiato i granchi, ho dubitato della mia vita e ho incontrato tutti i tipi di insetti incredibili. Ad esempio, un'alimentazione insufficiente alla GPU ha causato instabilità e successivamente gli ingegneri di Super Micro hanno modificato il codice del bios per patcharlo, ad esempio, l'angolo di taglio della fibra ottica era sbagliato, risultando in una comunicazione instabile, ad esempio il layout di rete consigliato da Nvidia; non era ottimale, quindi abbiamo creato un nuovo piano e in seguito Nvidia ho adottato anch'io questo piano. Ancora non lo capisco. Abbiamo comprato meno di mille carte, quindi possiamo considerarci piccoli acquirenti. Ma i grandi acquirenti non hanno riscontrato questi problemi che abbiamo riscontrato noi? Perché abbiamo bisogno del nostro debug?

Allo stesso tempo, abbiamo noleggiato anche lo stesso numero di H100 e c'erano tutti i tipi di bug. La GPU aveva problemi ogni giorno e ci chiedevamo persino se fossimo gli unici a utilizzare questo cloud. Più tardi, ho visto il rapporto tecnico di Llama 3 che diceva che dopo essere passato all'H100, il modello è stato interrotto centinaia di volte durante l'allenamento, ho provato molta simpatia per il dolore tra le righe.

Se si confronta l'autocostruzione e il leasing, il costo dell'affitto per tre anni è quasi uguale al costo dell'autocostruzione. Il vantaggio di noleggiare una carta è la tranquillità. I vantaggi dell’autocostruzione sono due. In primo luogo, se la tecnologia di Nvidia sarà ancora molto avanti tra tre anni, potrà controllare i prezzi in modo che le GPU mantengano ancora il loro valore. Un altro è il basso costo dell’archiviazione dei dati autocostruita. Lo spazio di archiviazione deve essere vicino alla GPU Che si tratti di un cloud di grandi dimensioni o di un piccolo cloud di GPU, il prezzo di archiviazione è elevato. Tuttavia, l'addestramento di un modello può utilizzare diversi TB di spazio per archiviare i checkpoint e l'archiviazione dei dati di addestramento inizia a 10 PB. Se utilizzi AWS S3, 10 PB costeranno due milioni all'anno. Se questo denaro viene utilizzato per l’autocostruzione, può raggiungere i 100 PB.

Affari: Grazie ai clienti, siamo arrivati ​​al pareggio già nel primo anno

Siamo stati molto fortunati che le nostre entrate e le nostre uscite fossero pari nel primo anno.

Le nostre spese riguardano principalmente manodopera e potenza di calcolo. Grazie alle risorse finanziarie di Openai e al vantaggio di Nvidia, entrambe le spese sono piuttosto elevate. La nostra fonte di reddito è la realizzazione di modelli personalizzati per grandi clienti. La maggior parte delle aziende che sono entrate nel LLM molto presto lo hanno fatto perché i loro amministratori delegati erano molto decisionali: non erano intimiditi dall'elevata potenza di calcolo e dai costi del lavoro e hanno spinto in modo decisivo i loro team interni a collaborare nella sperimentazione di nuove tecnologie. Sono molto grato al cliente per averci dato il tempo di respirare, altrimenti negli ultimi mesi mi sarei precipitato da diversi investitori.

Successivamente, sempre più aziende dovrebbero provare a utilizzare il LLM, sia che si tratti di aggiornare i propri prodotti o di ridurre i costi e aumentare l’efficienza. Il motivo è che da un lato i costi tecnologici stanno diminuendo e dall’altro i leader del settore (come i nostri clienti) rilasceranno successivamente prodotti basati su LLM, dando impulso al settore.

Stiamo inoltre prestando attenzione all'implementazione di LLM su toC. I top player dell’ondata precedente, come c.ai e perplexity, sono ancora alla ricerca di modelli di business, ma ci sono anche una dozzina circa di piccole applicazioni LLM native che hanno buoni ricavi. Abbiamo fornito un modello per una start-up di giochi di ruolo. Si concentrano su giocatori profondi e bilanciano entrate e spese, il che è anch'esso ottimo. Le capacità del modello sono ancora in evoluzione e vengono integrate più modalità (voce, musica, immagini, video). Credo che in futuro ci saranno applicazioni più fantasiose.

Nel complesso, l’industria e il capitale sono ancora impazienti. Quest’anno, diverse società costituite da più di un anno ma che hanno raccolto miliardi hanno scelto di uscire. Dalla tecnologia al prodotto il processo è lungo, è normale che siano necessari 2 o 3 anni. Considerando l’emergere delle esigenze degli utenti, potrebbe essere necessario più tempo. Ci concentriamo sul presente, esploriamo il percorso nella nebbia e rimaniamo ottimisti riguardo al futuro.

Tecnologia: quattro fasi della cognizione LLM

La comprensione del LLM ha attraversato quattro fasi. La prima fase è da Bert a GPT3. Sembra che la nuova architettura e i big data possano essere realizzati. Quando eravamo in Amazon, abbiamo immediatamente condotto anche formazione su larga scala e implementazione dei prodotti.

La seconda fase è stata quando è stato rilasciato GPT4 quando ho avviato la mia attività, il che è stato un enorme shock.La maggior parte del motivo deriva dal fatto che la tecnologia non è resa pubblica. Secondo alcune indiscrezioni, si stima che un modello di formazione sia di 100 milioni e che il costo dei dati standard sia di decine di milioni.. Molti investitori mi hanno chiesto quanto costerebbe riprodurre GPT4 e io ho risposto 300-400 milioni. Successivamente, uno di loro ha effettivamente investito centinaia di milioni.

La terza fase è il primo semestre dell'avvio di un'impresa.Non possiamo realizzare GPT4, quindi partiamo da problemi specifici.. Così ho iniziato a cercare clienti, compresi quelli nei settori dei giochi, dell'istruzione, delle vendite, della finanza e delle assicurazioni. Addestrare modelli in base a esigenze specifiche.All'inizio non c'erano buoni modelli open source sul mercato, quindi li abbiamo addestrati da zero. Successivamente sono usciti molti buoni modelli che hanno ridotto i nostri costi.Quindi progetta un metodo di valutazione basato sullo scenario aziendale, contrassegna i dati, vedi dove il modello non funziona e miglioralo di conseguenza.

Alla fine del 2023, siamo rimasti piacevolmente sorpresi di scoprire che i nostri modelli della serie Photon (un tipo di Boson) hanno sovraperformato GPT4 nelle applicazioni dei clienti. Il vantaggio di personalizzare il modello è che il costo di inferenza è 1/10 della chiamata all'API. Sebbene oggi le API siano molto più economiche, anche la nostra tecnologia sta migliorando e costa ancora 1/10 del costo. Inoltre, i ritardi, ecc. possono essere controllati meglio. La consapevolezza in questa fase è che per applicazioni specifiche possiamo battere i migliori modelli sul mercato.

La quarta fase è la seconda metà dell'anno di avvio di un'impresa.Sebbene il cliente abbia ricevuto il modello richiesto nel contratto, non era quello che si aspettava perché GPT4 non era sufficiente. All’inizio dell’anno abbiamo scoperto che difficilmente il modello avrebbe potuto fare un ulteriore salto se fosse stato addestrato per una singola applicazione.Guardando indietro, se l’AGI raggiunge il livello degli esseri umani comuni, ciò che i clienti vogliono è il livello dei professionisti. I giochi richiedono pianificatori professionisti e attori professionisti, l’istruzione richiede insegnanti con medaglia d’oro, le vendite richiedono vendite di medaglie d’oro e la finanza e le assicurazioni richiedono analisti senior. Tutto questo è AGI oltre alle capacità professionali del settore. Sebbene all’epoca fossimo in soggezione nei confronti dell’AGI, ritenevamo che fosse inevitabile.

All'inizio dell'anno abbiamo progettato una serie di modelli di Higgs (la particella di Dio, un tipo di bosone). La principale abilità generale è seguire il modello migliore, ma distinguersi in una certa abilità. Le competenze che abbiamo scelto erano quelle del gioco di ruolo: interpretare un personaggio virtuale, interpretare l'insegnante, interpretare le vendite, interpretare l'analista e così via. È stato aggiornato a metà del 2024seconda generazione, su Arena-Hard e AlpacaEval 2.0, che mettono alla prova le capacità generali, V2 è paragonabile al modello migliore, e non è molto indietro su MMLU-Pro, che mette alla prova la conoscenza.

Higgs-V2 è basato sulla base Llama3 e quindi completa il post-allenamento. Non abbiamo le risorse per spendere molti soldi per etichettare i dati come Meta, quindi V2 è migliore di Llama3 Instruct Il motivo dovrebbe derivare principalmente dall’innovazione dell’algoritmo.

Poi abbiamo realizzato unInsieme di valutazione dei giochi di ruolo, comprese rappresentazioni basate su personaggi e rappresentazioni basate su scene. Mi dispiace che il mio modello sia al primo posto nella mia lista. Tuttavia, non sono disponibili dati utilizzati per la valutazione durante l'addestramento del modello. Poiché questo set di valutazione è per uso personale e spera di riflettere realmente le capacità del modello, è necessario evitare set di dati che si adattano eccessivamente al modello. Ma gli studenti che hanno redatto il set di valutazione volevano scrivere una relazione tecnica, quindi l'hanno semplicemente rilasciata. È interessante notare che il campione del test di gioco di ruolo proviene da c.ai, ma le capacità del loro modello sono in fondo.

La quarta fase di comprensione è che un buon modello verticale non dovrebbe essere debole nelle capacità generali. Ad esempio, anche le capacità di ragionamento e di seguire le istruzioni sono necessarie verticalmente. Nel lungo periodo, sia i modelli generali che quelli verticali dovranno spostarsi verso l’AGI. È solo che il modello verticale può essere un po' più orientato alle materie, con punteggi alti nei corsi professionali e discreti nei corsi generali, quindi i costi di ricerca e sviluppo sono leggermente inferiori e i metodi di ricerca e sviluppo saranno diversi.

Che dire del quinto stadio della comprensione? È ancora un lavoro in corso e spero di condividerlo presto.

Visione: compagnia umana

È imbarazzante dire che ci copriamo di tecnologia e personalizzazione per i clienti, per poi pensare lentamente a quale visione perseguiamo. Osserviamo cosa vogliono i clienti, cosa vogliamo noi e di cosa potremmo aver bisogno in futuro. Per quanto mi riguarda, molti anni fa desideravo che una tata robot mi aiutasse a prendermi cura dei miei figli e li accompagnasse, perché trovavo difficile farlo e non capivo del tutto la cognizione e i pensieri attuali dei miei figli.

Vorrei avere al lavoro un assistente virtuale davvero fantastico che possa inventare cose nuove insieme a me. Quando invecchierò, anch'io vorrei avere dei robot interessanti che mi accompagnassero. La mia previsione per il futuro è che gli strumenti di produzione diventeranno sempre più sviluppati e una persona potrà completare cose che prima potevano essere completate solo da una squadra, rendendo gli esseri umani più indipendenti individualmente. Ognuno è impegnato a perseguire le proprie cose, a renderle pari più solitario.

Mettendo insieme questi elementi, abbiamo definito la nostra visione di "agenti intelligenti che accompagnano gli esseri umani". Un agente intelligente con elevata intelligenza emotiva e QI online. Se fosse una persona reale, sarebbe un team di professionisti. Ad esempio, se vuoi che giochi con te, allora è un pianificatore + attore professionista. Accompagnarti nell'esercizio, quindi incoraggiare insegnanti + allenatori sportivi professionisti. Se studio con te, posso spiegarti quello che non capisci. Il vantaggio di una modella è che può accompagnarti a lungo e capirti davvero. E posso "essere sinceramente per te".

Tuttavia, la tecnologia attuale è ancora lontana dalla visione. La tecnologia di oggi può accompagnarti per una chiacchierata. In molte situazioni, la conversazione non è così buona, il contenuto è carente e il QI e l’EQ a volte non sono online. Questi sono tutti problemi che devono essere risolti ora. Se hai amici che desiderano presentare questa domanda all'estero, non esitare a contattarci.

Squadra: le sfide devono fare affidamento sulla squadra

Solo dopo aver avviato un'attività ho capito davvero l'importanza di una squadra. Quando ero in una grande fabbrica, mi sentivo come se fossi uno svitato, i membri del mio team erano uno svitato e anche il team era uno svitato. Ma la squadra imprenditoriale è una macchina. L'auto è più piccola, ma può correre, trasportare carichi, girare in modo flessibile e può affrontare ogni curva.Non molto tempo dopo la fondazione della società, MiHoYo Lao Cai ha dato un'occhiata e ha visto tutti in una stanza. Ha detto con emozione che una piccola squadra è fantastica.

Naturalmente ci sono alcuni inconvenienti. Bisogna controllare sempre se c'è olio e bisogna stare attenti a non scuotere l'auto su strade difficili. Ogni membro è importante e non c'è ridondanza. Se una persona non è efficace, potrebbe essere una gomma a terra. Anche le persone sono preziose. Una persona può perdere un pneumatico.

In passato, quando sceglievo i progetti, sceglievo progetti di cui potevo guidare lo sviluppo. Ma significa anche che il problema non andrà troppo oltre le mie capacità. Avviare un'impresa è un grosso problema e tutto dipende dalla squadra. Anche se in questo articolo si usa molto "io", in realtà il lavoro viene svolto dal team. Senza il team, potrei dover passare dalla carriera alla vendita di corsi (non sono necessari applausi qui).

Ricerca personale: fama o fortuna?

Finora ho fatto affidamento sul seguire la mia voce interiore per prendere decisioni. Dopo aver lavorato, studierò per un dottorato, realizzerò video e avvierò un'impresa. L’imprenditorialità richiede il sostegno di una forte motivazione per superare infinite difficoltà. Ciò richiede un’analisi più approfondita delle tue motivazioni.

La motivazione viene dal desiderio o dalla paura. Dieci anni fa, avrei potuto essere più appassionato di fama e fortuna, ma alla mia età attuale sento che l’utilità marginale del denaro non è più elevata e anche il valore emotivo apportato dalla fama è molto piccolo. La mia motivazione più profonda deriva dalla paura che la vita possa non avere significato. Mettendo da parte la vastità dell'universo, anche nella lunga storia dell'umanità, una persona è solo un granello di sabbia. Arrivare inaspettatamente e scomparire rapidamente. Sulla terra vivono 100 miliardi di persone e la maggior parte di esse non lascerà alcuna traccia nella storia. Riconosco a malapena qualcuno delle migliaia di nomi sul mio albero genealogico.

Allora qual è il significato dell'esistenza di una persona? Quando ero bambino ero depresso perché non riuscivo a pensare chiaramente a questo problema. Quindi voglio creare valore e acquisire un senso dell'esistenza. Ho scelto di "andare avanti" per migliorare la mia capacità di creare valore; ho scelto di registrare lunghi video e scrivere materiali didattici per creare valore formativo, descrivendo i miei studi di dottorato, il mio lavoro e la mia imprenditorialità intrecci e difficoltà coinvolte e creazione di casi reali scegliere di avviare un'impresa e unire gli sforzi di molte persone per creare maggiore valore.

poscritto

Su Hua e io stavamo passeggiando a Stanford l'anno scorso. Mi ha dato una pacca sulla spalla e ha detto: "Dimmi la verità, perché vuoi avviare un'impresa?" voglio cambiare la mia carriera." Poi Su Hua sorrise.

Ora capisco, perché ha vissuto gli alti e bassi dell'imprenditorialità. Se dovessi rispondere oggi a questa domanda, direi: "Ho semplicemente perso la testa". Ma sono felice di non aspettarmi che fosse così facile in quel momento, quindi mi sono buttato a capofitto per primo. Altrimenti quello che tutti potrebbero vedere è "Riflessione su dieci anni di lavoro”. Penso che la storia che ho scritto oggi sia più interessante.

Un saluto a tutti gli imprenditori.

Infine, anche Li Mu ha fatto pubblicità. BosonAI ha attualmente sede a Santa Clara e il reclutamento include la San Francisco Bay Area e Vancouver.