berita

Ini mungkin merupakan tinjauan paling tulus dan informatif tentang model kewirausahaan skala besar hingga saat ini.

Pada malam hari tanggal 14 Agustus 2024, Li Mu menerbitkan artikel ulasan tentang satu tahun memulai bisnis di kolom Bilibili dan Zhihu miliknya: "Satu Tahun Memulai Bisnis, Tiga Tahun di Dunia", berbagi skala besarnya model memulai usaha Kemajuan, perjuangan, dan renungan di tahun pertama.

Dalam artikel tersebut, ia mengulas perjalanan kewirausahaannya:

Dari ide awal memulai bisnis sebagai alat produktivitas untuk model besar, hingga bertemu Zhang Yiming dan "dibangunkan" olehnya, dia memutuskan untuk langsung membangun model itu sendiri;

Saya "dilepaskan" selama proses pembiayaan, dan karena saya baru pertama kali memulai bisnis, saya sedikit "mahal" dan gagal "mendapatkan 1 miliar uang tunai" seperti beberapa rekan saya;

Saya menghubungi Jen-Hsun Huang secara langsung untuk mendapatkan H100 yang langsung "diatur" oleh pihak lain, tetapi menemukan bahwa kartu ini memiliki banyak bug selama pelatihan;

Kemudian kami akhirnya menemukan cara untuk mencapai titik impas dalam komersialisasi dan terus bergerak menuju tujuan "agen cerdas yang ditemani manusia".

Sementara Li Mu berbagi kesulitan yang dia alami secara langsung, dia juga terus bertanya pada dirinya sendiri selama tahun ini: "Mengapa saya harus memulai bisnis?" Dia "ditanyakan" oleh Su Hua dan terinspirasi oleh komentar santai Cai Haoyu tentang perusahaannya. Pada akhirnya, jawaban yang dia berikan untuk pertanyaan ini sangat Li Mu:

Jika saya harus menjawab pertanyaan ini lagi hari ini, saya akan berkata: "Saya baru saja kehilangan akal."

Namun dia juga berkata, "Motivasi terdalam saya berasal dari ketakutan bahwa hidup tidak memiliki makna."

“Lalu apa arti keberadaan seseorang? Saat saya masih kecil, saya mengalami depresi karena tidak dapat memecahkan masalah ini. Jadi saya ingin menciptakan nilai dan mendapatkan makna keberadaan. Saya memilih untuk “maju” untuk meningkatkan kemampuan saya dalam menciptakan nilai; Memilih untuk merekam video panjang dan menulis materi pengajaran untuk menciptakan nilai pendidikan; memilih untuk menulis ringkasan studi PhD, pekerjaan, dan kewirausahaan, menggambarkan keterikatan dan kesulitan, dan menciptakan nilai dari kasus nyata; untuk memulai bisnis dan menyatukan kekuatan banyak orang untuk menciptakan nilai yang lebih besar."

Berikut teks lengkap ulasan Li Mu, artikel tersebut direproduksi dari Li Mu.Catatan editor dalam tanda kurung berisi beberapa informasi tambahan:

Laporkan ke teman AndaMagister HukumKemajuan, perjuangan dan refleksi di tahun pertama berwirausaha

Ketika saya berada di Amazon untuk tahun kelima, saya berpikir untuk memulai bisnis, namun tertunda karena epidemi. Pada usia tujuh setengah tahun, saya merasa terlalu gatal, jadi saya mengundurkan diri. Sekarang aku memikirkannya, jika ada sesuatu yang harus aku coba dalam hidupku, aku akan melakukannya sejak dini. Karena begitu Anda benar-benar memulai, Anda akan menemukan begitu banyak hal baru untuk dipelajari, dan Anda selalu bertanya-tanya mengapa Anda tidak memulainya lebih awal.

Sebelum memulai bisnis, saya melakukan serangkaian proyek yang diberi nama Gluon. Dalam fisika kuantum, Gluon adalah boson yang mengikat quark, melambangkan bahwa proyek ini awalnya merupakan proyek gabungan antara Amazon dan Microsoft. Pada saat itu, manajer proyek menepuk-nepuk kepalanya dan namanya keluar, tetapi penamaan sangat sulit bagi pemrogram. Kami berjuang dengan berbagai nama file dan nama variabel setiap hari. Pada akhirnya, perusahaan baru tersebut hanya menamainya dengan nama Boson. Saya harap semua orang akan tersenyum penuh arti ketika mereka mendapatkan meme "Boson dan Fermion membentuk dunia". Tapi saya tidak menyangka banyak orang akan menganggapnya sebagai Boston.

"Aku di Boston. Ayo kita bertemu kapan-kapan?" "Hah? Tapi aku di Bay Area."

Pembiayaan: Investor utama melarikan diri sehari sebelum penandatanganan

Pada akhir tahun 2022, saya mendapat dua ide untuk menggunakan model bahasa besar (LLM) sebagai alat produktivitas. Saya kebetulan bertemu Zhang Yiming dan meminta nasihatnya. Usai berdiskusi, beliau bertanya: Mengapa tidak mengambil LLM sendiri? Saya secara tidak sadar tersentak: Tim kami di Amazon telah melakukan ini selama beberapa tahun, dengan puluhan ribu kartu, dan banyak kesulitan seperti blabla.

Yiminghehe berkata: Ini adalah kesulitan jangka pendek, dan kita perlu mengambil pandangan jangka panjang.

Keuntungan saya adalah saya mendengarkan saran dan benar-benar memilih LLM.Tim pendiri mengumpulkan orang-orang yang bertanggung jawab atas data, pra-pelatihan, pasca-pelatihan, dan arsitektur, dan pergi untuk mengumpulkan dana. Jika beruntung, saya segera menerima investasi awal. Tetapi uangnya tidak cukup untuk membeli kartu tersebut, jadi saya harus mendapatkan putaran kedua. Pemimpin putaran ini adalah sebuah organisasi yang sangat besar, yang membutuhkan waktu beberapa bulan untuk mendokumentasikan dan menegosiasikan persyaratannya. Namun sehari sebelum penandatanganan, pemimpin tersebut mengatakan dia tidak akan berinvestasi, yang secara langsung menyebabkan penarikan beberapa investor.Saya sangat berterima kasih kepada investor yang tersisa karena telah menyelesaikan putaran ini dan mendapatkan tiket untuk melakukan LLM.

Kalau saya renungkan hari ini, saya bisa saja terus menggalang dana selagi semangat di pasar modal masih ada.Mungkin seperti pengusaha lainnya, dia kini punya uang tunai satu miliar.Saat itu, saya khawatir jika saya mengumpulkan terlalu banyak uang, akan sulit untuk keluar, atau saya akan terlempar ke langit. Kalau dipikir-pikir, memulai bisnis adalah tentang mengubah hidup Anda melawan rintangan. Apa jalan keluarnya?

Mesin: orang pertama yang memakan kepiting

Jika Anda punya uang, belilah GPU. Saya bertanya kepada berbagai pemasok dan jawaban bulatnya adalah H100 akan dikirimkan dalam setahun.Saya punya ide dan langsung menulis email ke Lao Huang. Lao Huang langsung menjawab dan berkata dia akan memeriksanya. Satu jam kemudian CEO Supermicro menelepon. Saya membayar lebih sedikit, mengantri, dan mendapatkan mesin itu 20 hari kemudian. Saya merasa terhormat bisa makan kepiting lebih awal.

Setelah makan kepiting, saya meragukan hidup saya dan menemukan segala jenis serangga yang luar biasa. Misalnya, pasokan daya yang tidak mencukupi ke GPU menyebabkan ketidakstabilan, dan kemudian para insinyur Super Micro memodifikasi kode bios untuk menambalnya; misalnya, sudut pemotongan serat optik salah, mengakibatkan komunikasi tidak stabil, misalnya tata letak jaringan yang direkomendasikan Nvidia kurang maksimal, jadi kami membuat rencana baru, dan kemudian Nvidia saya sendiri yang mengadopsi rencana ini. Saya masih belum memahaminya. Kami membeli kurang dari seribu kartu, jadi kami bisa dianggap pembeli kecil. Namun bukankah pembeli besar pernah mengalami masalah seperti yang kami alami? Mengapa kami memerlukan debug?

Pada saat yang sama, kami juga menyewa H100 dalam jumlah yang sama, dan terdapat berbagai macam bug. GPU mengalami masalah setiap hari, dan kami bahkan bertanya-tanya apakah hanya kami yang menggunakan cloud ini. Kemudian, saya melihat laporan teknis Llama 3 yang mengatakan bahwa setelah mereka beralih ke H100, model tersebut terputus ratusan kali selama pelatihan. Saya merasa sangat bersimpati dengan rasa sakit yang tersirat.

Jika kita bandingkan pembangunan sendiri dan sewa, biaya sewa selama tiga tahun hampir sama dengan biaya pembangunan sendiri. Keuntungan menyewa kartu adalah ketenangan pikiran. Ada dua manfaat membangun diri sendiri. Pertama, jika teknologi Nvidia masih jauh di depan dalam tiga tahun, maka ia bisa mengendalikan harga agar GPU tetap mempertahankan nilainya. Alasan lainnya adalah rendahnya biaya penyimpanan data yang dibuat sendiri. Penyimpanan harus dekat dengan GPU. Baik itu cloud besar atau cloud GPU kecil, harga penyimpanannya tinggi. Namun, satu pelatihan model dapat menggunakan beberapa TB ruang untuk menyimpan pos pemeriksaan, dan penyimpanan data pelatihan dimulai pada 10PB. Jika Anda menggunakan AWS S3, 10PB akan menelan biaya dua juta setahun. Kalau uang ini dipakai untuk pembangunan sendiri bisa mencapai 100PB.

Bisnis: Terima kasih kepada pelanggan, kami mencapai titik impas di tahun pertama

Kami sangat beruntung pemasukan dan pengeluaran kami seimbang di tahun pertama.

Pengeluaran kami terutama untuk tenaga kerja dan daya komputasi. Berkat sumber daya keuangan Openai dan keunggulan Nvidia, kedua pengeluaran tersebut cukup besar. Sumber pendapatan kami adalah membuat model yang disesuaikan untuk pelanggan besar. Sebagian besar perusahaan yang memasuki LLM sangat awal karena CEO mereka sangat suka mengambil keputusan. Mereka tidak terintimidasi oleh tingginya daya komputasi dan biaya tenaga kerja, dan dengan tegas mendorong tim internal mereka untuk bekerja sama dalam mencoba teknologi baru. Saya sangat berterima kasih kepada klien karena telah memberi kami waktu untuk bernafas, jika tidak, saya akan bergegas ke berbagai investor dalam beberapa bulan terakhir.

Selanjutnya, lebih banyak perusahaan harus mencoba menggunakan LLM, baik untuk meningkatkan produk mereka sendiri atau mengurangi biaya dan meningkatkan efisiensi. Alasannya adalah di satu sisi, biaya teknologi menurun, dan di sisi lain, para pemimpin industri (seperti pelanggan kami) akan secara berturut-turut merilis produk berbasis LLM, sehingga menggemparkan industri.

Kami juga memperhatikan penerapan LLM pada toC. Pemain top di gelombang sebelumnya, seperti c.ai dan kebingungan, masih mencari model bisnis, tetapi ada juga selusin aplikasi asli LLM kecil yang memiliki pendapatan bagus. Kami menyediakan model untuk perusahaan rintisan yang bermain peran. Mereka fokus pada pemain dalam dan menyeimbangkan pendapatan dan pengeluaran, dan itu juga bagus. Kemampuan model masih terus berkembang, dan lebih banyak modalitas (suara, musik, gambar, video) yang diintegrasikan. Saya yakin akan ada lebih banyak aplikasi imajinatif di masa depan.

Secara keseluruhan, industri dan modal masih belum sabar. Tahun ini, beberapa perusahaan yang telah berdiri lebih dari setahun tetapi telah mengumpulkan miliaran dolar memilih untuk keluar. Dari teknologi hingga produk adalah proses yang panjang, normalnya memakan waktu 2 atau 3 tahun. Mengingat munculnya kebutuhan pengguna, mungkin membutuhkan waktu lebih lama. Kami fokus pada masa kini, menjelajahi jalan di tengah kabut, dan tetap optimis terhadap masa depan.

Teknologi: Empat tahap kognisi LLM

Pemahaman LLM telah melalui empat tahap. Tahap pertama dari Bert ke GPT3. Rasanya arsitektur baru dan big data sudah bisa dilakukan. Saat kami di Amazon, kami juga langsung melakukan pelatihan dan implementasi produk dalam skala besar.

Tahap kedua adalah ketika GPT4 dirilis ketika saya pertama kali memulai bisnis saya, yang merupakan kejutan besar.Sebagian besar alasannya berasal dari fakta bahwa teknologi tersebut tidak dipublikasikan. Menurut rumor yang beredar, satu pelatihan model diperkirakan bernilai 100 juta, dan biaya data standarnya mencapai puluhan juta.. Banyak investor yang bertanya kepada saya berapa biaya untuk mereproduksi GPT4, dan saya menjawab 300-400 juta. Belakangan, salah satu dari mereka justru menginvestasikan ratusan juta.

Tahap ketiga adalah setengah tahun pertama memulai usaha.Kami tidak bisa membuat GPT4, jadi mari kita mulai dari masalah spesifik.. Jadi saya mulai mencari pelanggan, termasuk pelanggan di bidang game, pendidikan, penjualan, keuangan, dan asuransi. Latih model berdasarkan kebutuhan spesifik.Pada awalnya, tidak ada model open source yang bagus di pasaran, jadi kami melatihnya dari awal. Belakangan, banyak model bagus yang keluar, sehingga mengurangi biaya kami.Kemudian rancang metode evaluasi berdasarkan skenario bisnis, tandai datanya, lihat di mana model tidak berfungsi, dan perbaiki sesuai dengan itu.

Pada akhir tahun 2023, kami terkejut saat mengetahui bahwa model seri Foton (sejenis Boson) kami mengungguli GPT4 dalam aplikasi pelanggan. Keuntungan menyesuaikan model adalah biaya inferensinya 1/10 dari pemanggilan API. Meskipun API saat ini jauh lebih murah, teknologi kami juga mengalami kemajuan dan biayanya masih 1/10. Selain itu, penundaan, dll dapat dikontrol dengan lebih baik. Pemahaman pada tahap ini adalah bahwa untuk aplikasi spesifik, kami dapat mengalahkan model terbaik di pasar.

Tahap keempat adalah paruh kedua tahun memulai usaha.Meskipun pelanggan mendapatkan model yang mereka minta dalam kontrak, hal tersebut tidak sesuai dengan harapan mereka karena GPT4 saja tidak cukup. Pada awal tahun, kami menemukan bahwa sulit bagi model untuk melakukan lompatan lain jika dilatih untuk satu aplikasi.Melihat ke belakang, jika AGI mencapai level manusia biasa, maka yang diinginkan pelanggan adalah level profesional. Permainan membutuhkan perencana profesional dan aktor profesional, pendidikan membutuhkan guru medali emas, penjualan membutuhkan penjualan medali emas, dan keuangan serta asuransi membutuhkan analis senior. Ini semua adalah AGI plus kemampuan profesional industri. Meskipun kami kagum pada AGI pada saat itu, kami merasa hal itu tidak dapat dihindari.

Pada awal tahun, kami merancang serangkaian model Higgs (Partikel Dewa, sejenis Boson). Berfokus pada kemampuan umum mengikuti model terbaik, namun menonjol dalam kemampuan tertentu. Kompetensi yang kami pilih adalah role-playing: bermain karakter virtual, bermain guru, bermain penjualan, bermain analis, dan sebagainya. Itu diperbarui pada pertengahan tahun 2024generasi kedua, pada Arena-Hard dan AlpacaEval 2.0 yang menguji kemampuan umum, V2 sebanding dengan model terbaik, dan tidak ketinggalan jauh di MMLU-Pro yang menguji pengetahuan.

Higgs-V2 didasarkan pada basis Llama3 dan kemudian menyelesaikan pasca-pelatihan. Kami tidak memiliki sumber daya untuk mengeluarkan banyak uang untuk memberi label data seperti Meta, jadi V2 lebih baik daripada Llama3 Instruct. Alasannya terutama berasal dari inovasi algoritma.

Lalu kami membuatKumpulan penilaian permainan peran, termasuk pertunjukan berdasarkan karakter dan pertunjukan berdasarkan adegan. Saya menyesal model saya menduduki peringkat pertama dalam daftar saya. Namun, tidak ada data yang digunakan untuk evaluasi selama pelatihan model. Karena kumpulan evaluasi ini ditujukan untuk penggunaan pribadi dan diharapkan benar-benar mencerminkan kemampuan model, maka kumpulan data model yang overfit perlu dihindari. Namun siswa yang membuat set evaluasi ingin menulis laporan teknis, sehingga mereka merilisnya begitu saja. Menariknya, sampel tes role-playing berasal dari c.ai, tetapi kemampuan modelnya berada di bawah.

Tahap pemahaman yang keempat adalah model vertikal yang baik tidak boleh lemah dalam kemampuan umum, seperti penalaran dan mengikuti instruksi. Kemampuan ini juga diperlukan secara vertikal. Dalam jangka panjang, model umum dan vertikal harus beralih ke AGI. Hanya saja model vertikal bisa sedikit lebih berorientasi pada mata pelajaran, dengan nilai tinggi pada mata kuliah profesional dan mata kuliah umum oke, sehingga biaya penelitian dan pengembangan sedikit lebih rendah dan metode penelitian dan pengembangan akan berbeda.

Bagaimana dengan pemahaman tahap kelima? Ini masih dalam proses dan saya berharap dapat segera membagikannya.

Visi: Persahabatan manusia

Sangat memalukan untuk mengatakan bahwa kami fokus pada teknologi dan penyesuaian untuk pelanggan, dan kemudian perlahan-lahan memikirkan visi apa yang kami kejar. Kami melihat apa yang diinginkan pelanggan, apa yang kami inginkan, dan apa yang mungkin kami perlukan di masa depan. Berbicara sendiri, bertahun-tahun yang lalu saya merindukan robot pengasuh untuk membantu saya merawat anak-anak saya dan menemani mereka, karena saya merasa sulit untuk melakukan ini, dan saya tidak begitu memahami kognisi dan pemikiran anak-anak saya saat ini.

Saya berharap saya memiliki asisten virtual hebat di tempat kerja yang dapat menciptakan hal-hal baru bersama saya. Ketika saya bertambah tua, saya juga ingin memiliki robot-robot yang menarik untuk menemani saya. Prediksi saya ke depan adalah alat-alat produksi akan semakin berkembang, dan satu orang dapat menyelesaikan hal-hal yang sebelumnya hanya dapat diselesaikan oleh sebuah tim, sehingga manusia menjadi lebih individual dan mandiri. membuat mereka semakin kesepian.

Dengan menyatukan semua ini, kami telah menetapkan visi kami sebagai "agen cerdas yang mendampingi manusia". Agen cerdas dengan kecerdasan emosional tinggi dan IQ online. Jika itu adalah orang sungguhan, itu akan menjadi tim profesional. Misalnya, jika Anda ingin bermain dengan Anda, maka itu adalah perencana + aktor profesional. Menemani Anda berolahraga, lalu memberi semangat kepada guru + pelatih olahraga profesional. Jika saya belajar dengan Anda, saya dapat menjelaskan apa yang Anda tidak mengerti. Kelebihan seorang model adalah bisa menemani Anda dalam waktu lama dan sangat memahami Anda. Dan aku bisa "dengan tulus untukmu".

Namun teknologi yang ada saat ini masih jauh dari visi tersebut. Teknologi masa kini bisa menemani Anda ngobrol. Dalam banyak situasi, percakapannya kurang bagus, isinya kurang, dan IQ serta EQ terkadang tidak online. Ini semua adalah masalah yang perlu diselesaikan sekarang. Jika anda mempunyai teman yang ingin membuat aplikasi luar negeri ini, silahkan menghubungi kami.

Tim: Hal-hal yang menantang harus bergantung pada tim

Baru setelah memulai bisnis saya benar-benar menyadari pentingnya sebuah tim. Ketika saya berada di sebuah pabrik besar, saya merasa seperti saya adalah sebuah sekrup, anggota tim saya adalah sekrup, dan bahkan tim saya adalah sebuah sekrup. Tapi tim wirausaha adalah sebuah mobil. Mobilnya lebih kecil, tapi bisa berjalan, membawa beban, berbelok dengan fleksibel, dan bisa melaju ke setiap tikungan.Tidak lama setelah perusahaan didirikan, MiHoYo Lao Cai melihat dan melihat semua orang di ruangan yang sama. Dia berkata dengan penuh emosi bahwa tim kecil itu hebat.

Tentu saja ada beberapa ketidaknyamanan. Anda harus selalu memeriksa apakah ada oli, dan Anda harus berhati-hati agar mobil tidak terguncang di jalan yang sulit. Setiap anggota itu penting dan tidak ada redundansi. Jika satu orang tidak efektif, bisa jadi bannya kempes. Manusia juga berharga. Satu orang bisa kehilangan satu ban.

Dulu, ketika saya memilih proyek, saya akan memilih proyek yang dapat saya pimpin pengembangannya. Tapi itu juga berarti masalahnya tidak akan melampaui kemampuanku. Memulai bisnis adalah masalah besar, dan itu semua tergantung tim. Meski banyak kata "saya" yang digunakan dalam artikel ini, nyatanya pengerjaannya dilakukan oleh tim. Tanpa tim, saya mungkin harus beralih karier ke menjual kursus (tidak perlu tepuk tangan di sini).

Pengejaran pribadi: ketenaran atau kekayaan?

Sejauh ini, saya mengandalkan suara hati untuk mengambil keputusan. Setelah bekerja, saya akan belajar untuk mendapatkan gelar Ph.D., membuat video, dan memulai bisnis. Kewirausahaan memerlukan dukungan motivasi yang kuat untuk mengatasi kesulitan yang tiada habisnya. Ini memerlukan analisis yang lebih mendalam tentang motivasi Anda sendiri.

Motivasi datang dari keinginan atau ketakutan. Sepuluh tahun yang lalu, saya mungkin lebih tertarik pada ketenaran dan kekayaan, tetapi pada usia saya saat ini, saya merasa utilitas marjinal uang tidak lagi tinggi, dan nilai emosional yang dibawa oleh ketenaran juga sangat kecil. Motivasi terdalam saya berasal dari ketakutan bahwa hidup tidak ada artinya. Mengesampingkan luasnya alam semesta, bahkan dalam sejarah panjang umat manusia, manusia hanyalah sebutir pasir. Tiba secara tak terduga dan menghilang dengan cepat. Ada 100 miliar orang yang hidup di bumi, dan sebagian besar dari mereka tidak akan meninggalkan jejak apapun dalam sejarah. Saya hampir tidak mengenali satu pun dari ribuan nama di silsilah keluarga saya.

Lalu apa arti keberadaan seseorang? Ketika saya masih kecil, saya mengalami depresi karena saya tidak bisa berpikir jernih tentang masalah ini. Jadi saya ingin menciptakan nilai dan mendapatkan makna keberadaan. Saya memilih untuk "maju" untuk meningkatkan kemampuan saya dalam menciptakan nilai; saya memilih untuk merekam video panjang dan menulis materi pengajaran untuk menciptakan nilai pendidikan; saya memilih untuk menulis ringkasan studi Ph.D keterikatan dan kesulitan yang terlibat, dan menciptakan kasus nyata. Nilai memilih untuk memulai bisnis dan menyatukan upaya banyak orang untuk menciptakan nilai yang lebih besar.

nota bene

Su Hua dan saya sedang berjalan-jalan di Stanford tahun lalu. Dia menepuk bahu saya dan berkata, "Katakan sejujurnya, mengapa Anda ingin memulai bisnis?" Pada saat itu, saya tidak berpikir demikian: "Saya hanya ingin mengubah karierku." Lalu Su Hua tersenyum.

Sekarang saya paham, karena beliau pernah mengalami naik turunnya berwirausaha. Jika saya harus menjawab pertanyaan ini lagi hari ini, saya akan berkata: "Saya baru saja kehilangan akal." Tapi saya senang saya tidak menyangka akan semudah itu pada saat itu, jadi saya langsung memikirkannya. Jika tidak, yang mungkin dilihat semua orang adalah "Refleksi sepuluh tahun bekerja”. Menurut saya cerita yang saya tulis hari ini lebih menarik.

Salut untuk semua pengusaha.

Terakhir, Li Mu juga mengiklankan. BosonAI saat ini berkantor pusat di Santa Clara, dan rekrutmennya mencakup San Francisco Bay Area dan Vancouver.