berita

“Saya berharap produk generasi berikutnya dapat mengulanginyaDibandingkan dengan NVIDIA B200 saat iniProduk yang lebih canggih…”

Ini adalah “tujuan kecil” terbaru yang disampaikan oleh Yang Gongyifan, pendiri dan CEO Zhonghao Xinying, sebuah startup chip pelatihan AI, baru-baru ini kepada Xinying.Yang Gongyifan adalah veteran senior penelitian dan pengembangan chip. Dia telah terlibat dalam penelitian dan pengembangan chip kelas atas selama lebih dari sepuluh tahun di perusahaan seperti Oracle dan Google, dan berpartisipasi dalam tim inti penelitian dan pengembangan chip sebagai anggota.Google TPU 2/3/4Desain dan Litbang, kembali ke Tiongkok pada akhir tahun 2018 untuk membentuk tim desain chip lengkap dan tim verifikasi prototipe, dan mendirikan Zhonghao Xinying pada tahun 2020.

Menurutnya, pada tahun 2023 Zhonghao XinyingMeraih keuntungan positif untuk pertama kalinya, laba bersih yang diatribusikan kepada perusahaan induk mencapai 81,33 juta yuan, dan pendapatan tahunan mencapai 485 juta yuan5putaran pembiayaan;ItuChip pelatihan TPU yang dikembangkan sendiri "Snap" telah dimasukkan ke dalam produksi massal, di mana kekuatan komputasi model pelatihan "Snap" mencapai NVIDIA A100Hampir 1,5 kali lipat .Zhonghao Xinying menggunakan chip pelatihan AI "Snap" sebagai landasan dan membangun cluster komputasi cerdas AI berskala besar "Taize" melalui kemampuan interkoneksi antar-chip berkecepatan tinggi sebanyak 1.024 chip.Skala daya komputasi cluster kilocard mencapai 200PFLOPS。

▲ Chip pelatihan AI Zhonghao Xinying "Jepret"

Berbeda dengan GPU yang saat ini mendominasi pasar chip AI, jalur yang dipilih Yang Gongyifan adalah arsitektur TPU yang dirancang khusus untuk pembelajaran mendalam. Dalam pandangannya: “Arsitektur TPU adalah arsitektur yang secara alami menguntungkan untuk model AI besar proses produksi yang sama dan proses yang sama, kinerjanya akan mencapai 3 hingga 5 kali lipat dari arsitektur GPU tradisional.”

Yang Gong Yifan berkata bahwa Zhonghao Xinying saat iniSatu-satunya di negara ini yang memilikinyaTPUPelatihan dan promosi arsitektur terintegrasiKecerdasan buatanPerusahaan teknologi inti chip . Ia memperkirakan dalam 5-10 tahun ke depan,TPUdan kelasTPUPangsa pasar arsitektur akan tercapai80%,yang tersisa10%-20%Itu tradisiGPU。

Selain mempromosikan penelitian dan pengembangan serta penerapan chip AI, Zhonghao Xinying juga telah mengembangkan sendiri model besar terlatih yang dapat memberikan kemampuan keluaran yang "kaku", yang pada akhirnya akan dibuka untuk mitra di bidang keuangan, perawatan medis, dan pendidikan. , dll. untuk menerapkan model besar profesional dalam penggunaan bidang vertikal.

Chip AI adalah perlombaan jarak jauh yang terkenal dan menghabiskan banyak uang. Bagaimana Zhonghao Xinying bisa mencapai keuntungan dalam lima tahun? Sebagai startup chip, mengapa perusahaan ini mengembangkan model besarnya sendiri dan membangun pusat komputasi cerdasnya sendiri, dan bagaimana perusahaan tersebut berencana untuk menonjol dalam persaingan yang semakin ketat untuk chip AI dalam negeri? Baru-baru ini, Yang Gongyifan, pendiri dan CEO Zhonghao Xinying, melakukan percakapan mendalam dengan Xinying Xinying, berbagi seluruh pemikiran dan pilihan dalam proses kewirausahaan serta analisis dan penilaian perkembangan teknologi dan tren implementasi bisnis.

▲ Yang Gongyifan, pendiri dan CEO Zhonghao Xinying

1. Lebih dari 10 tahun pengalaman penelitian dan pengembangan chip, sangat terlibat dalam penelitian dan pengembangan Google TPU, kembali ke Tiongkok untuk memulai bisnis pada tahun 2018

Pengalaman Yang Gongyifan selama lebih dari 10 tahun di bidang chip kelas atas meletakkan dasar baginya untuk menemukan arah kewirausahaan yang tepat.

Setelah memperoleh gelar master dalam ilmu komputer dari Universitas Stanford, Yang Gongyifan berpartisipasi dan memimpin desain dan produksi 12 CPU berkinerja tinggi tingkat atas termasuk SPARCT8/M8 di Oracle Corporation. keluar lebih dari sepuluh kali.

▲ Makalah relevan yang diterbitkan oleh Yang Gongyifan selama bekerja di Oracle (Sumber: IEEE Xplore)

Bergabung dengan Google pada tahun 2017 menanamkan benih baginya untuk kembali ke Tiongkok untuk memulai bisnis di masa depan.

Selama di Google, Yang Gongyifan berpartisipasi dalam desain dan penelitian dan pengembangan TPU 2/3/4 sebagai anggota tim inti penelitian dan pengembangan chip. Ia menyebutkan bahwa pengalaman sepuluh tahun sebelumnyalah yang memungkinkan mereka melakukan penelitian berdasarkan komputasi kebutuhan aplikasi dan model komputasi. Setelah optimasi terbaik, TPU 2/3/4 berhasil dikembangkan.

Pada bulan Juni 2017, delapan rekan penulis dari Google merilis sebuah mahakarya berjudul "Attention is All You Need", yang akan menjadi sistem revolusioner yang dilatih di TPU.Transformator Arsitekturnya didorong secara ekstrim, yang merupakan awal dari arsitektur Transformer menjadi populer dalam penelitian model besar. Pada saat yang sama, Yang Gongyifan merasa bahwa model besar secara bertahap dilengkapi dengan kecerdasan manusia, dan TPU akan berdampak besar pada perkembangan industri. Ia sangat yakin bahwa model besar akan menggantikan manusia dan menjadi inti produktivitas sosial pada tahun 2025 dan 2026.

▲Arsitektur Google TPU (Sumber: YouTube)

Yang Gongyifan percaya bahwa transformasi bidang komputasi dengan model besar kali ini merupakan perubahan terbesar dalam sejarah manusia. Karena semua perhitungan sebelumnya dilakukan pada satu chip untuk menyelesaikan satu atau beberapa aplikasi, sekarang ini adalah pertama kalinya ribuan chip digunakan untuk menyelesaikan satu aplikasi, sehingga menimbulkan masalah besar pada implementasi seluruh arsitektur komputasi itu adalah peluang.

Menurutnya, jarang sekali ada tantangan sebesar itu, perubahan besar, dan skenario penerapan yang begitu luas, jadi dia harus melakukannya. Berdasarkan pemahaman ini, ia kembali ke Shenzhen pada akhir tahun 2018, membentuk tim untuk membangun chip pelatihan AI TPU yang dapat dikontrol secara independen dan diproduksi di dalam negeri, dan secara resmi mendirikan Zhonghao Xinying pada tahun 2020.

Hal ini juga menandai momen pertama pencapaian wirausahanya.2019Pada tahun 2016, kami melihat bahwa simulator telah selesai, dijalankan, dan bekerja dengan baik, yang membuktikan bahwa desain chip mereka layak dilakukan.

Pada awal-awal memulai bisnis, ide Yang Gong Yifan adalah membentuk tim terlebih dahulu yang bisa membuat produk. Oleh karena itu, tim awal mendarat di Shenzhen, membentuk tim desain chip dan tim verifikasi prototipe, serta menyelesaikan desain modular chip. Setelah itu, Zhonghao Xinying mendarat di Hangzhou pada tahun 2020. Dengan promosi produk, masuknya pembiayaan, dan produksi massal chip, mereka membentuk tim rantai pasokan dan tim pemasaran yang lengkap. Saat ini, jumlah tim telah mencapai lebih dari 170 orang, di antaranya personel R&D menyumbang 10% dari total. Rasionya di atas 80%.

Namun tahap awal memulai usaha tidaklah mulus. Pada saat itu, sebagian besar pemain domestik, lembaga investasi, dan pelanggan tidak menyadari prospek pengembangan dan penerapan model besar di masa depan di industri. Menurut ingatan Yang Gongyifan, pada awal pendiriannya, Zhonghao Xinying tidak memiliki pendapatan sama sekali selama dua tahun, dan baru pada tahun 2021 operasi pertamanya akan secara resmi menguntungkan pada tahun 2023. Pada tahun 2023, pendapatan perusahaan mencapai 485 juta yuan, dengan laba bersih yang dapat diatribusikan kepada induk perusahaan sebesar 81,33 juta yuan.

Saat ini, Zhonghao Xinying telah menyelesaikan 5 putaran pembiayaan, termasuk jumlah pembiayaan yang diungkapkan2022Tahun9selesai dalam beberapa bulanAPutaran pembiayaan ini berjumlah sekitar 100 juta yuan, dipimpin oleh Saizhi Bole Investment, dengan partisipasi dari Hangzhou High-tech Investment dan lainnya;2023Selesai dalam beberapa tahun berturut-turutPra-BDanPra-B+putaran pembiayaan, masing-masing bernilai ratusan juta dan puluhan juta yuan.

Dalam pandangan Yang Gongyifan, pengakuan investor terhadap mereka dibagi menjadi beberapa tahap, tahap awal mereka melihat tim, dalam jangka menengah mereka fokus pada apakah produknya memenuhi permintaan pasar, dan pada tahap selanjutnya mereka fokus pada apakah produknya memenuhi permintaan pasar. tentang apakah produk tersebut memiliki daya saing inti dan arah ekspansi industri yang baru. Baik dari sudut pandang tata letak produk, pemilihan rute teknis, atau integritas tim, Zhonghao Xinying tidak ketinggalan dalam setiap langkahnya.Saat ini, Zhonghao Xinying telah berkembang menjadi satu-satunya perusahaan di negara yang menguasaiTPUPelatihan dan promosi arsitektur terintegrasiKecerdasan buatanSebuah perusahaan dengan teknologi inti chip.

dua,TPU secara alami disesuaikan dengan model besar,Performa chip pelatihan AI 1,5 kali lipat dari A100

“Biarkan daya komputasi menjadi kekuatan pendorong pembangunan manusia”, Tata letak bisnis Zhonghao Xinying berkembang seiring dengan visi ini.

Yang Gongyifan menjelaskan bahwa hal pertama yang harus dilakukan untuk mencapai tujuan ini adalah membuat chip terlebih dahulu, karena ini adalah infrastruktur yang paling rendah. Setelah infrastruktur yang mendasarinya selesai, chip tersebut dapat dibangun menjadi rantai pasokan yang lengkap untuk memastikan infrastruktur tersebut dapat dibangun Pasokan produksi yang berkelanjutan.

Di sisi lain, terdapat mitra ekologi yang menerapkan model industri pada tingkat algoritma. Peran Zhonghao Xinying dalam hal ini adalah melakukan penelitian mandiri dan melatih model-model besar terlebih dahulu, lalu membukanya bagi mitra industri seperti keuangan, pendidikan, dan perawatan medis.

Di era model besar,TPUDanTransformatorArsitekturnya secara alami dapat beradaptasi.

Dibandingkan denganprosesorSatuan perhitungan skalar di danGPUSatuan perhitungan vektor diTPUTugas komputasi dapat diselesaikan dengan menggunakan unit komputasi dua dimensi atau bahkan dimensi yang lebih tinggi.TPUDesainnya memudahkan penerapan cluster kilo-card, terhubung1024Sebuah chip menjadi32×32Matriks dua dimensi memungkinkan setiap chip mencapai simetri 100% dengan chip mana pun di seluruh jaringan.

Dia menambahkan,TPU Arsitekturnya dioptimalkan untuk solusi pembelajaran mendalam dan juga dapat digunakan untuk penghitungan pembelajaran mendalam berskala besar, seperti Intelligent Computing Network dan Wanka Internet.Namun, Yang Gong Yifan berkataTPUKinerjanya relatif buruk dalam hal keserbagunaan, tetapi dalam halKecerdasan buatanDalam skenario aplikasi, dalam proses dan teknologi produksi yang sama,TPUPertunjukan arsitektur bersifat tradisionalGPUdari3-5waktu.

didirikan5 Pada tahun 2018, Zhonghao Xinying telah mencapai produksi massal dan industrialisasi chip dalam sekejap.Ini adalah momen pencapaiannya yang kedua, saat tim R&D begadang semalaman“menyalakan”, proses penyelesaian verifikasi produk masih segar dalam ingatannya.

Dibandingkan dengan NVIDIAA100, dikembangkan oleh Zhonghao XinyingGPTPU AIchip pelatihan“momen”Kinerja komputasi adalah miliknya1.5kali, konsumsi energi berkurang saat menyelesaikan jumlah tugas pelatihan yang sama.30%, biaya daya komputasi unit adalah42%。

"Taize"Kecerdasan buatanServer dilengkapi dengan8 Chip pelatihan "momen" dapat mendukung pelatihan dan inferensi model besar dengan lebih dari 100 miliar parameter.Yang Gong Yifan mengungkapkan bahwa di antara produk yang dikirimkan selama periode pelatihan saat ini, pelanggan Zhonghao Xinying telah menyelesaikannyaLlama 2Pelatihan dan inferensi model lain pada cluster Kcal.

“momen”Dengan Gundam yang unik1024Kemampuan interkoneksi chip-ke-chip berkecepatan tinggi untuk membangun cluster komputasi cerdas berskala besar“Tainori”, kinerja cluster sistem adalah tradisionalGPUPuluhan kaliKecerdasan buatanpersyaratan komputasi.

Zhonghao Xinying bisa melakukannyaTPU Poin penting lainnya dari chip ini adalah Yang Gongyifan mengatakan bahwa mereka tidak menggunakan empirisme ketika merekrut insinyur.Dia mengatakan bahwa ketika bekerja dengan insinyur berpengalaman di awal proses desain, mereka menemukan bahwa para insinyur tersebut tidak dapat memahami proses desainTPUInovasi konsep dan desain lebih cenderung terikat oleh pengalaman yang berulang-ulang dan tidak mampu berpikir lebih langsung untuk menyelesaikan masalah dengan cepat dan mengoptimalkan kinerja.

Menghadapi permintaan daya komputasi yang lebih besar di era model besar, ia menambahkan cluster Wanka harus tersedia, danTPUKeunggulan alami arsitektur dalam kemampuan jaringan menentukan bahwa arsitektur tersebut memiliki lebih banyak keunggulan dalam membangun cluster Wanka dan memiliki kinerja relatif lebih baik.

3. Memasuki jalur model besar pra-pelatihan, ukuran pasar arsitektur mirip TPU dapat mencapai 80%

Tahun lalu, Zhonghao Xinying juga memperkenalkan talenta terbaik untuk membentuk tim algoritma model besar.

Performa unik arsitektur TPU dapat meningkatkan kebebasan perangkat lunak yang digunakan dalam aplikasi perusahaan dan mempermudah penyelesaian desain paralel, sehingga mencapai optimalisasi performa dan konstruksi sistem.

Untuk menemukan solusi yang lebih memenuhi kebutuhan perusahaan, pemain chip dapat melatih model mereka sendiri untuk lebih memahami karakteristik model dan skenario penerapan, serta meningkatkan kepuasan dan loyalitas pelanggan terhadap chip. Produk model besar untuk keperluan umum saat ini umumnya memiliki kemampuan "fleksibel" yang kuat seperti pemahaman teks, pengambilan informasi melalui Internet, dan dialog multi-putaran. Namun, ketika menghadapi skenario aplikasi industri yang sangat profesional, seringkali sulit untuk memahami pengetahuan bisnis secara terpisah bidang Logika dan terminologi profesional; pada saat yang sama, keakuratan perhitungan kuantitatif model besar umum buruk, dan kemampuan komputasi yang ada sama sekali tidak mampu memenuhi skenario aplikasi industri yang memerlukan akurasi numerik tinggi, seperti penerbangan sipil dan keuangan.

Berdasarkan hal ini, Zhonghao Xinying sedang membangun model besar dasar dengan kemampuan keluaran yang "kaku", dan menjadikan model besar dasar sebagai sumber terbuka bagi mitra industri keuangan, pendidikan, medis, dan lainnya untuk bekerja sama, sehingga mitra industri dapat melakukan secondisasi model berdasarkan pada tumpukan perangkat lunak dan data terkait. Pelatihan, anotasi data, dll. memungkinkan model memiliki cadangan pengetahuan industri dan secara bertahap diimplementasikan dalam skenario yang terbagi untuk menggantikan lingkungan produksi tertentu.

Sejak tahun lalu, mereka telah mempelajari cara mengimplementasikan Demo tersebut. Setelah melihat kelayakannya, mereka mulai secara bertahap memulai pra-pelatihan model industri pada tahun ini.

Dengan tata letak bisnis yang lengkap dan penilaian terhadap tren industri, Yang Gongyifan yakin bahwa di era model besar, dalam 5-10 tahun ke depan, pangsa pasar TPU dan chip mirip TPU di bidang perangkat keras komputasi AI akan mencapainya. 80%, dan 20% sisanya adalah GPU tradisional.

Dia juga mengklarifikasi tujuan Zhonghao Xinying dalam iterasi dan komersialisasi produk. Produk chip generasi berikutnya yang dikembangkan oleh Zhonghao Xinying diharapkan dapat mengikuti standar kinerja NVIDIA B200. Dalam hal komersialisasi, mereka berharap dapat memperdalam kerja sama dengan lebih banyak pelanggan seperti integrator, operator, dan produsen Internet besar.

Kesimpulan: Peluang meledaknya pasar arsitektur TPU telah tiba

Sejak didirikan pada tahun 2018, Zhonghao Xinying telah menyaksikan perkembangan chip AI dari tahap awal pengembangan pasar hingga periode peluang ketika model-model besar memicu permintaan pasar. Namun melihat ke belakang, di awal kemunculan pasar chip AI, sebuah startup harus menghadapi berbagai tantangan jika ingin secara bertahap menguasai pangsa pasar dengan arsitektur TPU.

Saat ini, model-model besar telah membawa peningkatan dalam permintaan daya komputasi, chip AI telah memasuki era baru, dan keunggulan arsitektur TPU telah muncul, yang juga membuat ekspektasi Zhonghao Xinying terhadap peluang ledakan pasar lebih cepat dari jadwal. Yang Gongyifan mengatakan bahwa dia yakin bahwa skenario penerapan AI akan jauh melebihi skenario penggunaan komputasi sebelumnya, dan sumber daya komputasi yang diperlukan untuk model AI juga akan melebihi imajinasi sumber daya komputasi dalam sejarah manusia. Permintaan pasar akan meningkat pesat dalam jangka pendek.

Di masa depan, ia berharap Zhonghao Xinying dapat menjadi pemimpin dalam industri chip AI Tiongkok, dan TPU memiliki peluang terbaik untuk menjadi sesuatu yang mirip dengan "x86" di jalur ini. Babak baru dalam kisah chip AI Tiongkok telah dimulai…