νέα

Το έτος έναρξης μιας επιχείρησης του Li Mu: οι Zhang Yiming και Su Hua έδωσαν συμβουλές, ο Huang Renxun βοήθησε στο πρόβλημα

2024-08-15

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Αυτή είναι σχεδόν η πιο ειλικρινής και ενημερωτική ανασκόπηση της επιχειρηματικότητας μοντέλου μεγάλης κλίμακας μέχρι σήμερα.

Το βράδυ της 14ης Αυγούστου 2024, ο Li Mu δημοσίευσε ένα άρθρο ανασκόπησης για έναν χρόνο έναρξης μιας επιχείρησης στις δικές του στήλες Bilibili και Zhihu: "Ένας χρόνος για να ξεκινήσετε μια επιχείρηση, τρία χρόνια στον κόσμο", μοιράζοντας τη μεγάλη του κλίμακα μοντέλο έναρξης επιχείρησης Η πρόοδος, οι αγώνες και οι προβληματισμοί του πρώτου έτους.

Στο άρθρο, έκανε μια ανασκόπηση του επιχειρηματικού του ταξιδιού:

Από την αρχική ιδέα της ​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​‏

«Με άφησαν να φύγω» κατά τη διαδικασία χρηματοδότησης και επειδή ξεκινούσα μια επιχείρηση για πρώτη φορά, ήμουν λίγο «κοστούλης» και δεν κατάφερα να «πάρω 1 δισεκατομμύριο μετρητά» όπως κάποιοι από τους συνομηλίκους μου.

Επικοινώνησα απευθείας με τον Jen-Hsun Huang για να λάβω το H100 που "κανονίστηκε" απευθείας από το άλλο μέρος, αλλά διαπίστωσα ότι αυτές οι κάρτες είχαν πολλά σφάλματα κατά τη διάρκεια της εκπαίδευσης.

Στη συνέχεια, βρίσκουμε επιτέλους έναν τρόπο να σπάσουμε ακόμη και στην εμπορευματοποίηση και να συνεχίσουμε να προχωράμε προς τον στόχο των «ευφυών πρακτόρων που συνοδεύονται από ανθρώπους».

Ενώ ο Λι Μου μοιράστηκε τις παγίδες στις οποίες είχε πατήσει άμεσα, αναρωτήθηκε επίσης κατά τη διάρκεια αυτής της χρονιάς: "Γιατί να ξεκινήσω μια επιχείρηση;" Τον «ρώτησε» η Σου Χούα και εμπνεύστηκε από τα περιστασιακά σχόλια του Κάι Χάογιου για την εταιρεία του. Τελικά, η απάντηση που έδωσε σε αυτή την ερώτηση ήταν πολύ Λι Μου:

Αν απαντούσα ξανά σε αυτήν την ερώτηση σήμερα, θα έλεγα: «Μόλις έχασα το μυαλό μου».

Αλλά είπε επίσης: «Το βαθύτερο κίνητρό μου προέρχεται από τον φόβο ότι η ζωή μπορεί να μην έχει νόημα».

"Ποιο είναι λοιπόν το νόημα της ύπαρξης ενός ανθρώπου; Όταν ήμουν παιδί, είχα κατάθλιψη γιατί δεν μπορούσα να καταλάβω αυτό το πρόβλημα. Θέλω λοιπόν να δημιουργήσω αξία και να κερδίσω το νόημα της ύπαρξης. Επιλέγω να "προχωρώ" Για να βελτιώσω την ικανότητά μου να δημιουργώ αξία και να επιλέγω να γράφω μακροσκελή βίντεο και να γράφω περιλήψεις διδακτορικών σπουδών και επιχειρηματικότητας να ξεκινήσει μια επιχείρηση και να ενώσει τη δύναμη πολλών ανθρώπων για να δημιουργήσει μεγαλύτερη αξία».

Ακολουθεί το πλήρες κείμενο της κριτικής του Li Mu, το άρθρο αναπαράγεται από τον Li Mu.Η σημείωση του συντάκτη σε παρένθεση περιέχει ορισμένες πρόσθετες πληροφορίες:

Αναφέρετε στους φίλους σαςLLMΠρόοδος, αγώνες και προβληματισμοί στον πρώτο χρόνο της επιχειρηματικότητας

Όταν ήμουν στο Amazon για πέμπτο χρόνο, σκέφτηκα να ξεκινήσω μια επιχείρηση, αλλά καθυστέρησα από την επιδημία. Μέχρι το έβδομο και μισό έτος, ένιωθα ότι με φαγούρα πολύ, οπότε παραιτήθηκα. Τώρα που το σκέφτομαι, αν υπάρχει κάτι που πρέπει να δοκιμάσω στη ζωή μου, θα το έκανα νωρίς. Επειδή μόλις ξεκινήσετε πραγματικά, θα διαπιστώσετε ότι υπάρχουν τόσα πολλά νέα πράγματα να μάθετε και πάντα αναρωτιέστε γιατί δεν ξεκινήσατε νωρίτερα.


Ο Li Mu είναι γνωστός μελετητής στον τομέα της AI. Έφυγε από την Amazon το 2023 και ίδρυσε το Boson.ai. Προηγουμένως, υπηρέτησε ως επικεφαλής επιστήμονας της Amazon και ήταν ένας από τους συγγραφείς του πλαισίου τεχνητής νοημοσύνης Apache MXNet. Σπούδασε στο Πανεπιστήμιο Jiao Tong της Σαγκάης και στο Πανεπιστήμιο Carnegie Mellon για τις προπτυχιακές του σπουδές.Αποφοίτησε με διδακτορικό και κατείχε θέσεις διδασκαλίας στο Berkeley και στο Stanford. Συνεχίζει να ενημερώνει τη σειρά βίντεο "Learning AI from Li Mu" στο Station B. Αυτή τη στιγμή έχει 800.000 θαυμαστές, γεγονός που τον κάνει γνωστό ως τον "cyber mentor" τους από πολλούς νέους στον τομέα της AI.
1
Όνομα: Προέλευση του BosonAI

Πριν ξεκινήσω μια επιχείρηση, έκανα μια σειρά από έργα με το όνομα Gluon. Στην κβαντική φυσική, το Gluon είναι ένα μποζόνιο που συνδέει τα κουάρκ μεταξύ τους, συμβολίζοντας ότι αυτό το έργο ήταν αρχικά ένα κοινό έργο μεταξύ της Amazon και της Microsoft. Εκείνη την εποχή, ο διαχειριστής του έργου χάιδεψε το κεφάλι του και το όνομα βγήκε, αλλά η ονομασία ήταν πολύ δύσκολη για τους προγραμματιστές. Στο τέλος, η νέα εταιρεία το ονόμασε απλώς το Boson. Ελπίζω όλοι να χαμογελάσουν εν γνώσει τους όταν πάρουν το μιμίδιο "Boson and Fermions make up the world". Αλλά δεν περίμενα ότι πολλοί άνθρωποι θα το θεωρούσαν Βοστώνη.

"Είμαι στη Βοστώνη. Ας βρεθούμε κάποια στιγμή;"

1

Χρηματοδότηση: Ο κύριος επενδυτής έφυγε μια μέρα πριν από την υπογραφή

Στα τέλη του 2022, σκέφτηκα δύο ιδέες για τη χρήση μοντέλων μεγάλων γλωσσών (LLM) ως εργαλεία παραγωγικότητας. Έτυχε να συναντήσω τον Zhang Yiming και του ζήτησα συμβουλές. Μετά τη συζήτηση, ρώτησε: Γιατί να μην κάνω το ίδιο το LLM; Υποσυνείδητα τρελάθηκα: Η ομάδα μας στο Amazon το έκανε αυτό εδώ και αρκετά χρόνια, με δεκάδες χιλιάδες χαρτιά και πολλές δυσκολίες όπως η blabla.

Ο Yiminghehe είπε: Αυτές είναι βραχυπρόθεσμες δυσκολίες και πρέπει να έχουμε μια μακροπρόθεσμη άποψη.

Το πλεονέκτημά μου είναι ότι άκουσα τις συμβουλές και πραγματικά πήγα για LLM.Η ιδρυτική ομάδα συγκέντρωσε τους ανθρώπους που είναι υπεύθυνοι για τα δεδομένα, την προ-εκπαίδευση, την μετα-κατάρτιση και την αρχιτεκτονική και πήγε να συγκεντρώσει κεφάλαια. Με τύχη, έλαβα γρήγορα επένδυση σπόρων. Αλλά τα χρήματα δεν φτάνουν για να αγοράσω την κάρτα, οπότε πρέπει να πάρω τον δεύτερο γύρο. Ο ηγέτης αυτού του γύρου ήταν μια πολύ μεγάλη οργάνωση, η οποία χρειάστηκε αρκετούς μήνες για να τεκμηριώσει και να διαπραγματευτεί τους όρους. Όμως, μια ημέρα πριν από την υπογραφή, ο ηγέτης είπε ότι δεν θα επενδύσει, κάτι που οδήγησε άμεσα στην απόσυρση αρκετών επενδυτών.Είμαι πολύ ευγνώμων στους εναπομείναντες επενδυτές που ολοκλήρωσαν αυτόν τον γύρο και πήραν το εισιτήριο για να κάνουν LLM.

Αν το σκεφτώ σήμερα, θα μπορούσα να είχα συνεχίσει να συγκεντρώνω κεφάλαια όσο ο ενθουσιασμός στην κεφαλαιαγορά ήταν ακόμα εκεί.Ίσως όπως και άλλοι επιχειρηματίες, έχει τώρα ένα δισεκατομμύριο μετρητά.Εκείνη την ώρα, ανησυχούσα ότι αν μάζευα πολλά χρήματα, θα ήταν δύσκολο να βγω ή θα με πετούσαν στον ουρανό. Τώρα που το σκέφτομαι, το να ξεκινήσεις μια επιχείρηση είναι να αλλάξεις τη ζωή σου ενάντια στις πιθανότητες;

1

Μηχανές: οι πρώτοι άνθρωποι που έφαγαν καβούρια

Όταν έχετε χρήματα, αγοράστε μια GPU. Ρώτησα διάφορους προμηθευτές και η ομόφωνη απάντηση ήταν ότι το H100 θα παραδοθεί σε ένα χρόνο.Είχα μια ιδέα και έγραψα ένα email απευθείας στον Lao Huang. Ο Λάο Χουάνγκ απάντησε αμέσως και είπε ότι θα ρίξει μια ματιά. Μια ώρα αργότερα τηλεφώνησε ο Διευθύνων Σύμβουλος της Supermicro. Πλήρωσα λίγο παραπάνω, μπήκα στην ουρά και πήρα τη μηχανή 20 μέρες αργότερα. Είχα την τιμή να φάω νωρίς καβούρια.


Δεν είναι η πρώτη φορά που ο Li Mu έστειλε ένα email στον Lao Huang. Είχε στείλει προηγουμένως ένα email στον Lao Huang σε μια εκδήλωση κεκλεισμένων των θυρών στο NIPS και έφερε τους φίλους του ερευνητές να «ανοίξουν την πίσω πόρτα» για να συμμετάσχουν στο δικαστήριο. Υπήρξε μια φήμη μεταξύ των «θαυμαστών» του ότι είναι κάποιος που μπορεί ανά πάσα στιγμή να έχει ένα χαλαρό γεύμα με τον Λάο Χουάνγκ.

Αφού έφαγα καβούρια, αμφέβαλα για τη ζωή μου και συνάντησα κάθε λογής απίστευτα ζωύφια. Για παράδειγμα, η ανεπαρκής τροφοδοσία της GPU προκάλεσε αστάθεια, και αργότερα οι μηχανικοί της Super Micro τροποποίησαν τον κώδικα του bios για να τον επιδιορθώσουν, για παράδειγμα, η γωνία κοπής της οπτικής ίνας ήταν λανθασμένη, με αποτέλεσμα την ασταθή διάταξη δικτύου της Nvidia δεν ήταν το βέλτιστο, έτσι φτιάξαμε ένα νέο σχέδιο και αργότερα η Nvidia υιοθέτησα αυτό το σχέδιο ο ίδιος. Εξακολουθώ να μην το καταλαβαίνω Αγοράσαμε λιγότερες από χίλιες κάρτες, επομένως μπορούμε να θεωρηθούμε μικροί αγοραστές. Αλλά οι μεγάλοι αγοραστές δεν αντιμετώπισαν αυτά τα προβλήματα που αντιμετωπίσαμε; Γιατί χρειαζόμαστε τον εντοπισμό σφαλμάτων;


Όταν συζήτησα με μερικούς ανθρώπους στον κλάδο, διαπίστωσα ότι μερικοί άνθρωποι έχουν ήδη «απαντήσει» στον Li Mu: Πολλοί μεγάλοι κατασκευαστές έχουν αντιμετωπίσει αυτά τα προβλήματα νωρίτερα. Αφήστε τα σφάλματα στους ανταγωνιστές σας.

Ταυτόχρονα, νοικιάσαμε επίσης τον ίδιο αριθμό H100 και υπήρχαν κάθε είδους σφάλματα Η GPU είχε προβλήματα κάθε μέρα και αναρωτιόμασταν αν ήμασταν οι μόνοι που χρησιμοποιούσαμε αυτό το σύννεφο. Αργότερα, είδα την τεχνική αναφορά του Llama 3 που έλεγε ότι αφού πέρασαν στο H100, το μοντέλο διακόπηκε εκατοντάδες φορές κατά τη διάρκεια της προπόνησης.

Αν συγκρίνετε αυτοκατασκευή και χρηματοδοτική μίσθωση, το κόστος ενοικίασης για τρία χρόνια είναι σχεδόν το ίδιο με το κόστος της ιδιοκατασκευής. Το πλεονέκτημα της ενοικίασης κάρτας είναι η ηρεμία. Υπάρχουν δύο οφέλη στην αυτο-οικοδόμηση. Πρώτον, εάν η τεχνολογία της Nvidia είναι ακόμα πολύ μπροστά σε τρία χρόνια, μπορεί να ελέγχει τις τιμές έτσι ώστε οι GPU να διατηρούν ακόμα την αξία τους. Ένα άλλο είναι το χαμηλό κόστος της αυτοκατασκευασμένης αποθήκευσης δεδομένων. Η αποθήκευση πρέπει να είναι κοντά στη GPU Είτε πρόκειται για ένα μεγάλο σύννεφο είτε για ένα μικρό σύννεφο GPU, η τιμή αποθήκευσης είναι υψηλή. Ωστόσο, ένα μοντέλο εκπαίδευσης μπορεί να χρησιμοποιήσει πολλά TB χώρου για την αποθήκευση σημείων ελέγχου και η αποθήκευση δεδομένων εκπαίδευσης ξεκινά από 10 PB. Εάν χρησιμοποιείτε το AWS S3, τα 10PB θα κοστίζουν δύο εκατομμύρια το χρόνο. Εάν αυτά τα χρήματα χρησιμοποιηθούν για αυτοκατασκευή, μπορεί να φτάσουν τα 100 PB.

1

Επιχειρήσεις: Χάρη στους πελάτες, τα καταφέραμε τον πρώτο χρόνο

Ήμασταν πολύ τυχεροί που τα έσοδα και τα έξοδά μας ήταν ακόμη και τον πρώτο χρόνο.

Οι δαπάνες μας αφορούν κυρίως ανθρώπινο δυναμικό και υπολογιστική ισχύ Χάρη στους οικονομικούς πόρους της Openai και στο μακρινό προβάδισμα της Nvidia, και οι δύο δαπάνες είναι αρκετά μεγάλες. Η πηγή εσόδων μας είναι η κατασκευή προσαρμοσμένων μοντέλων για μεγάλους πελάτες. Οι περισσότερες από τις εταιρείες που μπήκαν στο LLM πολύ νωρίς ήταν επειδή οι Διευθύνοντες Σύμβουλοι τους έπαιρναν πολύ μεγάλες αποφάσεις. Είμαι πολύ ευγνώμων στον πελάτη που μας έδωσε χρόνο να αναπνεύσουμε, διαφορετικά θα πήγαινα βιαστικά σε διάφορους επενδυτές τους τελευταίους μήνες.

Στη συνέχεια, περισσότερες εταιρείες θα πρέπει να προσπαθήσουν να χρησιμοποιήσουν το LLM, είτε πρόκειται για αναβάθμιση των δικών τους προϊόντων είτε για μείωση του κόστους και αύξηση της αποτελεσματικότητας. Ο λόγος είναι ότι αφενός, το κόστος τεχνολογίας μειώνεται, και αφετέρου, οι ηγέτες του κλάδου (όπως οι πελάτες μας) θα κυκλοφορήσουν διαδοχικά προϊόντα που βασίζονται στο LLM, ενισχύοντας τον κλάδο.

Δίνουμε επίσης προσοχή στην εφαρμογή του LLM on toC. Οι κορυφαίοι παίκτες του προηγούμενου κύματος, όπως το c.ai και το perplexity, εξακολουθούν να αναζητούν επιχειρηματικά μοντέλα, αλλά υπάρχουν και καμιά δεκαριά μικρές εγγενείς εφαρμογές LLM που έχουν καλά έσοδα. Παρέχαμε ένα μοντέλο για μια νεοσύστατη εταιρεία που παίζει ρόλους, εστιάζουν σε παίκτες βαθιάς εμβέλειας και εξισορροπούν τα έσοδα και τα έξοδα, κάτι που είναι επίσης υπέροχο. Οι δυνατότητες του μοντέλου εξακολουθούν να εξελίσσονται και περισσότερες λεπτομέρειες (φωνή, μουσική, εικόνες, βίντεο) ενσωματώνονται, πιστεύω ότι θα υπάρξουν περισσότερες ευφάνταστες εφαρμογές στο μέλλον.

Συνολικά, η βιομηχανία και το κεφάλαιο εξακολουθούν να είναι ανυπόμονα. Φέτος, αρκετές εταιρείες που έχουν ιδρυθεί για περισσότερο από ένα χρόνο αλλά έχουν συγκεντρώσει δισεκατομμύρια επέλεξαν να αποχωρήσουν. Από την τεχνολογία στο προϊόν είναι μια μακρά διαδικασία, είναι φυσιολογικό να διαρκέσει 2 ή 3 χρόνια. Υπολογίζοντας την εμφάνιση των αναγκών των χρηστών, μπορεί να χρειαστεί περισσότερος χρόνος. Εστιάζουμε στο παρόν, εξερευνούμε το μονοπάτι στην ομίχλη και παραμένουμε αισιόδοξοι για το μέλλον.


Η εμπορευματοποίηση είναι ένα κοφτερό μαχαίρι που κρέμεται πάνω από τα κεφάλια σχεδόν όλων των εταιρειών LLM. Τον πρώτο χρόνο της, η BosonAI επέλεξε δύο τύπους επιχειρήσεων: προσαρμογή μοντέλων για μεγάλους πελάτες και παροχή βασικών μοντέλων για νεοφυείς επιχειρήσεις. Στην πραγματικότητα, αυτή η ιδέα είναι πολύ ρεαλιστική, απλά πηγαίνετε όπου έχετε χρήματα. Η εμπειρία του επενδυτή να εγκαταλείψει τα περιστέρια φαίνεται να είχε αντίκτυπο στις επιλογές εμπορευματοποίησης του Li Mu. Ελπίζει ότι μπορεί να «υποστηρίξει» τον εαυτό του και να κερδίσει χρόνο και χώρο για τεχνολογική πρόοδο.

1

Τεχνολογία: Τέσσερα στάδια γνώσης LLM

Η κατανόηση του LLM έχει περάσει από τέσσερα στάδια. Το πρώτο στάδιο είναι από το Bert στο GPT3. Αισθάνεται ότι η νέα αρχιτεκτονική και τα μεγάλα δεδομένα μπορούν να γίνουν. Όταν ήμασταν στο Amazon, πραγματοποιήσαμε αμέσως εκπαίδευση και εφαρμογή προϊόντων σε μεγάλη κλίμακα.

Το δεύτερο στάδιο ήταν όταν κυκλοφόρησε το GPT4 όταν ξεκίνησα για πρώτη φορά την επιχείρησή μου, κάτι που ήταν τεράστιο σοκ.Ο περισσότερος λόγος προέρχεται από το γεγονός ότι η τεχνολογία δεν δημοσιοποιείται. Σύμφωνα με φήμες, υπολογίζεται ότι ένα μοντέλο εκπαίδευσης είναι 100 εκατομμύρια και το τυπικό κόστος δεδομένων είναι δεκάδες εκατομμύρια.. Πολλοί επενδυτές με ρώτησαν πόσο θα κοστίσει η αναπαραγωγή του GPT4 και είπα 300-400 εκατομμύρια. Αργότερα, ένας από αυτούς επένδυσε πραγματικά εκατοντάδες εκατομμύρια.

Το τρίτο στάδιο είναι το πρώτο εξάμηνο έναρξης μιας επιχείρησης.Δεν μπορούμε να φτιάξουμε το GPT4, οπότε ας ξεκινήσουμε από συγκεκριμένα προβλήματα.. Άρχισα λοιπόν να αναζητώ πελάτες, συμπεριλαμβανομένων εκείνων που ασχολούνται με τα παιχνίδια, την εκπαίδευση, τις πωλήσεις, τα οικονομικά και τις ασφάλειες. Μοντέλα τρένων με βάση συγκεκριμένες ανάγκες.Στην αρχή, δεν υπήρχαν καλά μοντέλα ανοιχτού κώδικα στην αγορά, οπότε τα εκπαιδεύσαμε από την αρχή. Αργότερα βγήκαν πολλά καλά μοντέλα που μείωσαν το κόστος μας.Στη συνέχεια, σχεδιάστε μια μέθοδο αξιολόγησης με βάση το επιχειρηματικό σενάριο, σημειώστε τα δεδομένα, δείτε πού δεν λειτουργεί το μοντέλο και βελτιώστε το ανάλογα.


Σε μισό χρόνο, η Boson μεταπήδησε γρήγορα από κλειστού κώδικα σε ανοιχτό κώδικα, όλα με βάση τα αποτελέσματα και τους πελάτες. Αντίθετα, όσο περισσότεροι επαγγελματίες όπως ο Li Mu έχουν βαθύτερη κατανόηση της ανάπτυξης της τεχνητής νοημοσύνης, τόσο λιγότερο ενδιαφέρονται για τη λεγόμενη συζήτηση ανοιχτού κώδικα και κλειστού κώδικα σε αυτό το στάδιο.

Στα τέλη του 2023, με ευχάριστη έκπληξη διαπιστώσαμε ότι τα μοντέλα της σειράς Photon (ένας τύπος Boson) ξεπέρασαν την απόδοση του GPT4 σε εφαρμογές πελατών. Το πλεονέκτημα της προσαρμογής του μοντέλου είναι ότι το κόστος συμπερασμάτων είναι το 1/10 της κλήσης του API. Αν και τα API είναι πολύ φθηνότερα σήμερα, η δική μας τεχνολογία επίσης βελτιώνεται και εξακολουθεί να είναι το 1/10 του κόστους. Επιπλέον, οι καθυστερήσεις κ.λπ. μπορούν να ελεγχθούν καλύτερα. Η κατανόηση σε αυτό το στάδιο είναι ότι για συγκεκριμένες εφαρμογές, μπορούμε να νικήσουμε τα καλύτερα μοντέλα της αγοράς.

Το τέταρτο στάδιο είναι το δεύτερο εξάμηνο έναρξης μιας επιχείρησης.Αν και ο πελάτης πήρε το μοντέλο που ζήτησε στο συμβόλαιο, δεν ήταν αυτό που περίμενε γιατί το GPT4 δεν ήταν αρκετό. Στην αρχή της χρονιάς, διαπιστώσαμε ότι ήταν δύσκολο για το μοντέλο να κάνει άλλο ένα άλμα, αν ήταν εκπαιδευμένο για μία μόνο εφαρμογή.Κοιτάζοντας πίσω, αν το AGI φτάσει στο επίπεδο των απλών ανθρώπων, αυτό που θέλουν οι πελάτες είναι το επίπεδο των επαγγελματιών. Τα παιχνίδια απαιτούν επαγγελματίες σχεδιαστές και επαγγελματίες ηθοποιούς, η εκπαίδευση απαιτεί δασκάλους χρυσών μεταλλίων, οι πωλήσεις απαιτούν πωλήσεις χρυσών μεταλλίων και τα οικονομικά και η ασφάλιση απαιτούν ανώτερους αναλυτές. Όλα αυτά είναι AGI συν επαγγελματικές δυνατότητες του κλάδου. Αν και νιώθαμε δέος για το AGI εκείνη την εποχή, νιώσαμε ότι ήταν αναπόφευκτο.

Στην αρχή της χρονιάς, σχεδιάσαμε μια σειρά μοντέλων Higgs (God Particle, ένας τύπος μποζονίου). Η εστίαση στις γενικές ικανότητες ακολουθεί τα καλύτερα μοντέλα, αλλά ξεχωρίζει σε μια συγκεκριμένη ικανότητα. Οι ικανότητες που επιλέξαμε ήταν το παιχνίδι ρόλων: παίξτε έναν εικονικό χαρακτήρα, παίξτε δάσκαλο, παίξτε πωλήσεις, παίξτε αναλυτή και ούτω καθεξής. Ενημερώθηκε στα μέσα του 2024δεύτερης γενιάς, στο Arena-Hard και το AlpacaEval 2.0, που δοκιμάζουν γενικές δυνατότητες, το V2 είναι συγκρίσιμο με το καλύτερο μοντέλο και δεν είναι πολύ πίσω στο MMLU-Pro, το οποίο δοκιμάζει τη γνώση.

Το Higgs-V2 βασίζεται στη βάση Llama3 και στη συνέχεια κάνει πλήρη μετα-προπόνηση. Δεν έχουμε τους πόρους για να ξοδέψουμε πολλά χρήματα για να επισημάνουμε δεδομένα όπως το Meta, επομένως το V2 είναι καλύτερο από το Llama3 Instruct. Ο λόγος θα πρέπει να προέρχεται κυρίως από την καινοτομία του αλγόριθμου.

Μετά φτιάξαμε έναΣύνολο αξιολόγησης παιχνιδιών ρόλων, συμπεριλαμβανομένων παραστάσεων βασισμένες σε χαρακτήρες και παραστάσεων βασισμένες σε σκηνές. Λυπάμαι που το μοντέλο μου κατέλαβε την πρώτη θέση στη λίστα μου. Ωστόσο, δεν υπάρχουν δεδομένα που χρησιμοποιούνται για αξιολόγηση κατά τη διάρκεια της εκπαίδευσης μοντέλων. Επειδή αυτό το σύνολο αξιολόγησης προορίζεται για προσωπική χρήση και ελπίζει να αντικατοπτρίζει πραγματικά τις δυνατότητες του μοντέλου, είναι απαραίτητο να αποφευχθούν σύνολα δεδομένων υπερπροσαρμογής μοντέλων. Αλλά οι μαθητές που έκαναν το σετ αξιολόγησης ήθελαν να γράψουν μια τεχνική έκθεση, έτσι απλά την κυκλοφόρησαν. Είναι ενδιαφέρον ότι το δείγμα δοκιμής ρόλων προέρχεται από το c.ai, αλλά οι δυνατότητες του μοντέλου βρίσκονται στο κάτω μέρος.

Το τέταρτο στάδιο κατανόησης είναι ότι ένα καλό κάθετο μοντέλο δεν πρέπει να είναι αδύναμο σε γενικές ικανότητες, όπως ο συλλογισμός και η παρακολούθηση των οδηγιών Αυτές οι δυνατότητες χρειάζονται επίσης κάθετα. Μακροπρόθεσμα, τόσο τα γενικά όσο και τα κάθετα μοντέλα θα πρέπει να κινηθούν προς το AGI. Απλώς το κάθετο μοντέλο μπορεί να είναι λίγο πιο προσανατολισμένο στο θέμα, με υψηλές βαθμολογίες σε επαγγελματικά μαθήματα και εντάξει γενικά μαθήματα, επομένως το κόστος έρευνας και ανάπτυξης είναι ελαφρώς χαμηλότερο και οι μέθοδοι έρευνας και ανάπτυξης θα είναι διαφορετικές.

Τι γίνεται με το πέμπτο στάδιο κατανόησης; Είναι ακόμα ένα έργο σε εξέλιξη και ελπίζω να το μοιραστώ σύντομα.

1

Όραμα: Ανθρώπινη συντροφιά

Είναι ντροπιαστικό να λέμε ότι καλύπτουμε το κεφάλι μας στην τεχνολογία και την προσαρμογή για τους πελάτες και μετά σιγά-σιγά σκεφτόμαστε ποιο όραμα επιδιώκουμε. Εξετάζουμε τι θέλουν οι πελάτες, τι θέλουμε και τι μπορεί να χρειαστούμε στο μέλλον. Μιλώντας για τον εαυτό μου, πριν από πολλά χρόνια λαχταρούσα μια νταντά ρομπότ να με βοηθήσει να φροντίσω τα παιδιά μου και να τα συνοδεύσω, γιατί δυσκολευόμουν να το κάνω και δεν καταλάβαινα καλά την τρέχουσα γνώση και τις σκέψεις των παιδιών μου.

Μακάρι να είχα έναν πραγματικά φοβερό εικονικό βοηθό στη δουλειά που θα μπορούσε να εφεύρει νέα πράγματα μαζί μου. Όταν γεράσω, θέλω να έχω και ενδιαφέροντα ρομπότ να με συνοδεύουν. Η πρόβλεψή μου για το μέλλον είναι ότι τα εργαλεία παραγωγής θα αναπτύσσονται όλο και περισσότερο και ότι ένα άτομο μπορεί να ολοκληρώσει πράγματα που θα μπορούσαν να ολοκληρωθούν μόνο από μια ομάδα πριν, με αποτέλεσμα οι άνθρωποι να γίνονται πιο ατομικοί και ανεξάρτητοι. κάνοντάς τους ακόμα πιο μοναχικούς.

Συνδυάζοντας αυτά, έχουμε ορίσει το όραμά μας ως «ευφυείς πράκτορες που συνοδεύουν τους ανθρώπους». Ένας έξυπνος πράκτορας με υψηλή συναισθηματική νοημοσύνη και διαδικτυακό IQ. Αν ήταν πραγματικό πρόσωπο, θα ήταν μια επαγγελματική ομάδα. Για παράδειγμα, αν θέλετε να παίξει μαζί σας, τότε είναι επαγγελματίας σχεδιαστής + ηθοποιός. Συνοδέψτε σας στην άσκηση και, στη συνέχεια, ενθαρρύνετε τους δασκάλους + τους επαγγελματίες προπονητές αθλημάτων. Αν μελετήσω μαζί σου, μπορώ να σου εξηγήσω τι δεν καταλαβαίνεις. Το πλεονέκτημα ενός μοντέλου είναι ότι μπορεί να σε συντροφεύει για πολύ καιρό και να σε καταλαβαίνει πραγματικά. Και μπορώ «ειλικρινά να είμαι για σένα».

Ωστόσο, η τρέχουσα τεχνολογία απέχει ακόμα πολύ από το όραμα. Η σημερινή τεχνολογία μπορεί να σας συνοδεύσει για μια συνομιλία. Σε πολλές περιπτώσεις, η συζήτηση δεν είναι τόσο καλή, το περιεχόμενο λείπει και το IQ και το EQ μερικές φορές δεν είναι online. Όλα αυτά είναι προβλήματα που πρέπει να λυθούν τώρα. Εάν έχετε φίλους που θέλουν να κάνουν αυτήν την εφαρμογή στο εξωτερικό, μη διστάσετε να επικοινωνήσετε μαζί μας.

1

Ομάδα: Τα απαιτητικά πράγματα πρέπει να βασίζονται στην ομάδα

Μόνο μετά την έναρξη μιας επιχείρησης κατάλαβα πραγματικά τη σημασία μιας ομάδας. Όταν ήμουν σε ένα μεγάλο εργοστάσιο, ένιωθα σαν να ήμουν μια βίδα, τα μέλη της ομάδας μου ήταν βίδες, ακόμα και η ομάδα ήταν μια βίδα. Αλλά η επιχειρηματική ομάδα είναι ένα αυτοκίνητο. Το αυτοκίνητο είναι μικρότερο, αλλά μπορεί να τρέχει, να μεταφέρει φορτία, να στρίβει με ευελιξία και μπορεί να πάει σε κάθε γωνία.Λίγο μετά την ίδρυση της εταιρείας, ο MiHoYo Lao Cai έριξε μια ματιά και είδε τους πάντες στο ίδιο δωμάτιο. Είπε με συγκίνηση ότι μια μικρή ομάδα είναι εξαιρετική.


Οι δυο τους είναι απόφοιτοι του Πανεπιστημίου της Σαγκάης Jiao Tong, ο Li Mu αποφοίτησε από το προπτυχιακό πρόγραμμα του 2004 και ο Cai Haoyu αποφοίτησε από το προπτυχιακό πρόγραμμα του 2005 και οι δύο παρέμειναν στο σχολείο για να συνεχίσουν τις μεταπτυχιακές σπουδές.

Φυσικά υπάρχουν κάποιες ταλαιπωρίες Πρέπει να ελέγχετε αν υπάρχει λάδι ανά πάσα στιγμή, και πρέπει να προσέχετε να μην ανακινείτε το αυτοκίνητο σε δύσκολους δρόμους. Κάθε μέλος είναι σημαντικό και δεν υπάρχει πλεονασμός Εάν ένα άτομο δεν είναι αποτελεσματικό, μπορεί να είναι σκασμένο. Οι άνθρωποι είναι επίσης πολύτιμοι. Ένα άτομο μπορεί να χάσει ένα ελαστικό.

Στο παρελθόν, όταν επέλεγα έργα, διάλεγα έργα που θα μπορούσα να οδηγήσω την ανάπτυξη. Αλλά σημαίνει επίσης ότι το πρόβλημα δεν θα είναι πολύ πέρα ​​από τις δυνατότητές μου. Το να ξεκινήσεις μια επιχείρηση είναι μεγάλο πρόβλημα και όλα εξαρτώνται από την ομάδα. Αν και χρησιμοποιείται πολύ "εγώ" σε αυτό το άρθρο, στην πραγματικότητα η δουλειά γίνεται από την ομάδα. Χωρίς την ομάδα, ίσως χρειαστεί να αλλάξω τη σταδιοδρομία μου στην πώληση μαθημάτων (δεν χρειάζεται χειροκρότημα εδώ).


Το μάθημα AI που έλαβε ο Li Mu στο σταθμό Β είναι το πιο δημοφιλές μάθημα στο κινεζικό Διαδίκτυο. Πολλοί τον αποκαλούν «ο μέντορα που δεν έχουν γνωρίσει ποτέ». Τα μαθήματα είναι προσβάσιμα, υπομονετικά και συχνά μοιράζονται κουτσομπολιά της βιομηχανίας.

1

Προσωπική επιδίωξη: φήμη ή περιουσία;

Μέχρι στιγμής, βασιζόμουν στο να ακολουθήσω την εσωτερική μου φωνή για να πάρω αποφάσεις Αφού δουλέψω, θα σπουδάσω για διδακτορικό, θα κάνω βίντεο και θα ξεκινήσω μια επιχείρηση. Η επιχειρηματικότητα απαιτεί την υποστήριξη ισχυρών κινήτρων για να ξεπεραστούν ατελείωτες δυσκολίες. Αυτό απαιτεί μια βαθύτερη ανάλυση των δικών σας κινήτρων.

Το κίνητρο προέρχεται είτε από την επιθυμία είτε από τον φόβο. Πριν από δέκα χρόνια, μπορεί να ήμουν πιο παθιασμένος με τη φήμη και την περιουσία, αλλά στην τρέχουσα ηλικία μου, νιώθω ότι η οριακή χρησιμότητα των χρημάτων δεν είναι πλέον υψηλή και η συναισθηματική αξία που φέρνει η φήμη είναι επίσης πολύ μικρή. Το βαθύτερο κίνητρό μου προέρχεται από τον φόβο ότι η ζωή μπορεί να μην έχει νόημα. Παραμερίζοντας την απεραντοσύνη του σύμπαντος, ακόμη και στη μακρά ιστορία της ανθρωπότητας, ένα άτομο είναι απλώς ένας κόκκος άμμου. Φτάστε απροσδόκητα και εξαφανιστείτε γρήγορα. Έχουν ζήσει 100 δισεκατομμύρια άνθρωποι στη γη και η συντριπτική τους πλειοψηφία δεν θα αφήσει κανένα ίχνος στην ιστορία. Μετά βίας αναγνωρίζω κανένα από τα χιλιάδες ονόματα στο γενεαλογικό μου δέντρο.

Ποιο είναι λοιπόν το νόημα της ύπαρξης ενός ανθρώπου; Όταν ήμουν παιδί, είχα κατάθλιψη γιατί δεν μπορούσα να σκεφτώ καθαρά αυτό το πρόβλημα. Θέλω λοιπόν να δημιουργήσω αξία και να αποκτήσω νόημα ύπαρξης. Επέλεξα να «προχωρήσω» για να βελτιώσω την ικανότητά μου να δημιουργώ αξία εμπλοκές και δυσκολίες που εμπλέκονται, και η δημιουργία πραγματικών υποθέσεων, επιλέξτε να ξεκινήσετε μια επιχείρηση και να ενώσετε τις προσπάθειες πολλών ανθρώπων για να δημιουργήσετε μεγαλύτερη αξία.

1

υστερόγραφο

Η Σου Χούα και εγώ περπατούσαμε στο Στάνφορντ πέρυσι, με χάιδεψε στον ώμο και μου είπε: «Πες μου την αλήθεια, γιατί θέλεις να ξεκινήσεις μια επιχείρηση εκείνη τη στιγμή: «Απλώς θέλω να αλλάξω την καριέρα μου». Τότε η Σου Χούα χαμογέλασε.

Τώρα το καταλαβαίνω, γιατί έχει ζήσει τα σκαμπανεβάσματα της επιχειρηματικότητας. Αν απαντούσα ξανά σε αυτήν την ερώτηση σήμερα, θα έλεγα: «Μόλις έχασα το μυαλό μου». Αλλά χαίρομαι που δεν περίμενα ότι θα ήταν τόσο εύκολο εκείνη τη στιγμή, οπότε πηδήθηκα πρώτα. Διαφορετικά, αυτό που μπορεί να δουν όλοι είναι "Αναστοχασμός για δέκα χρόνια δουλειάς". Νομίζω ότι η ιστορία που έγραψα σήμερα είναι πιο ενδιαφέρουσα.

Χαιρετίσματα σε όλους τους επιχειρηματίες.

Τέλος, η Li Mu διαφημίστηκε επίσης η BosonAI έχει επί του παρόντος την έδρα της στη Santa Clara και η πρόσληψη περιλαμβάνει την περιοχή του San Francisco Bay και το Βανκούβερ.