berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Dalam dua hari terakhir, peluncuran Apple Intelligence menjadi salah satu berita teknologi terbesar.

Meskipun dibandingkan dengan versi lengkap Apple Intelligence yang diumumkan lebih dari sebulan yang lalu, fitur Apple Intelligence yang diperkenalkan di Apple iOS 18.1 beta 1 tidak lengkap. Image Playground, Genmoji, notifikasi prioritas, Siri dengan kesadaran layar dan integrasi ChatGPT... ini Sama sekali tidak.

Namun secara umum, Apple tetap menghadirkan Writing Tools (alat tulis), perekam panggilan (termasuk transkripsi) dan Siri dengan desain baru.

Diantaranya, Alat Penulisan mendukung penulisan ulang, spesialisasi, singkatan, dan fungsi lainnya, dan dapat digunakan dalam skenario seperti mengobrol, memposting ke Momen, catatan Xiaohongshu, dan merekam panggilan teks tidak hanya dapat merekam panggilan, tetapi juga secara otomatis mentranskripsikannya ke dalam teks, yang nyaman bagi pengguna.

Selain itu, Siri juga telah "ditingkatkan", namun sayangnya saat ini terbatas pada desain, termasuk efek khusus "marquee" baru dan dukungan input keyboard.

Namun yang mencolok adalah yang diungkapkan Apple dalam makalah berjudul "Apple Intelligence Foundation Language Models" ituApple tidak menggunakan NVIDIA H100 umum dan GPU lainnya, tetapi memilih TPU dari "saingan lamanya" Google untuk melatih model dasar Apple Intelligence.

Gambar/Apel

Gunakan Google TPU untuk membuat Apple Intelligence

Seperti yang kita ketahui bersama, Intelijen Apple dibagi menjadi tiga lapisan: satu adalah AI pada perangkat yang berjalan secara lokal di perangkat Apple, dan yang lainnya adalah AI cloud yang berjalan di pusat data milik Apple berdasarkan teknologi "komputasi awan pribadi". Menurut berita dari rantai pasokan, Apple akan membangun pusat datanya sendiri dengan memproduksi M2 Ultra secara massal.

Selain itu, ada lapisan lain yang terhubung ke model cloud pihak ketiga yang besar, seperti GPT-4o, dll.

Tapi ini adalah sisi kesimpulannya. Cara Apple melatih model AI-nya sendiri selalu menjadi salah satu fokus perhatian di industri. Dilihat dari makalah resmi Apple, Apple melatih dua model dasar pada perangkat keras cluster TPUv4 dan TPUv5p:

Salah satunya adalah model sisi perangkat AFM-on-device dengan skala parameter 300 juta, yang dilatih menggunakan 2048 blok TPU v5p dan dijalankan secara lokal di perangkat Apple; yang lainnya adalah server AFM model sisi server dengan ukuran yang lebih besar skala parameter, menggunakan 8192 blok. Pelatihan chip TPU v4 pada akhirnya dijalankan di pusat data milik Apple.

Gambar/Apel

Ini aneh. Kita semua tahu bahwa GPU seperti Nvidia H100 saat ini menjadi pilihan utama untuk melatih AI.

Sebaliknya, TPU Google tampaknya "tidak diketahui".

Namun faktanya, TPU Google adalah akselerator yang dirancang khusus untuk tugas pembelajaran mesin dan pembelajaran mendalam, yang dapat memberikan keunggulan kinerja luar biasa. Dengan daya komputasi yang efisien dan koneksi jaringan berlatensi rendah, TPU Google berkinerja baik saat menangani tugas pelatihan model besar.

Misalnya, TPU v4 dapat memberikan daya komputasi puncak hingga 275 TFLOPS per chip, dan menghubungkan 4096 chip TPUv4 ke superkomputer TPU skala besar melalui interkoneksi berkecepatan sangat tinggi, sehingga menggandakan skala daya komputasi.

Dan tidak hanya Apple, perusahaan model besar lainnya juga telah mengadopsi TPU Google untuk melatih model besar mereka.Claude dari Anthropic adalah contoh tipikal.

Peringkat Chatbot Arena, Foto/LMSYS

Claude kini bisa dikatakan sebagai pesaing terkuat model OpenAI GPT. Di arena robot chat LMSYS, Claude 3.5 Sonnet dan GPT-4o selalu menjadi "naga berjongkok dan ayam phoenix" (pujian). Menurut pengungkapannya, Anthropic tidak pernah membeli GPU Nvidia untuk membangun superkomputer, melainkan menggunakan cluster TPU di Google Cloud untuk pelatihan dan inferensi.

Pada akhir tahun lalu, Anthropic juga secara resmi mengumumkan akan menjadi yang pertama menggunakan cluster TPU v5e di Google Cloud untuk melatih Claude.

Penggunaan Anthropic dalam jangka panjang dan hasil yang dicapai Claude sepenuhnya menunjukkan efisiensi dan keandalan Google TPU dalam pelatihan AI.

Selain itu, Gemini dari Google juga mengandalkan sepenuhnya pada chip TPU yang dikembangkan sendiri untuk pelatihan. Model Gemini bertujuan untuk memajukan teknologi pemrosesan dan pembangkitan bahasa alami, dan proses pelatihannya memerlukan pemrosesan data teks dalam jumlah besar dan melakukan penghitungan model yang kompleks.

Kekuatan komputasi TPU yang kuat dan arsitektur pelatihan terdistribusi yang efisien memungkinkan Gemini menyelesaikan pelatihan dalam waktu yang relatif singkat dan mencapai terobosan kinerja yang signifikan.

Namun jika Gemini bisa dimengerti, lalu mengapa orang-orang dari Anthropic hingga Apple memilih Google TPU daripada GPU Nvidia?

TPU dan GPU, pertarungan rahasia antara Google dan Nvidia

Pada SIGGRAPH 2024, konferensi grafis komputer terkemuka yang diadakan pada hari Senin, pendiri dan CEO NVIDIA Jensen Huang mengungkapkan bahwa NVIDIA akan mengirimkan sampel arsitektur Blackwell minggu ini, yang merupakan arsitektur GPU generasi terbaru NVIDIA.

Pada tanggal 18 Maret 2024, NVIDIA merilis arsitektur GPU generasi terbarunya – Blackwell, dan GPU B200 generasi terbaru pada konferensi GTC. Dalam hal performa, GPU B200 dapat mencapai daya komputasi 20 petaflops (satu kuadriliun operasi floating-point per detik) pada FP8 dan FP6 baru, menjadikannya unggul dalam memproses model AI yang kompleks.

Dua bulan setelah rilis Blackwell, Google juga merilis TPU generasi keenam (Trillium TPU), setiap chip dapat memberikan daya komputasi puncak hampir 1.000 TFLOPS (triliun per detik) di bawah BF16, dan Google juga mengevaluasinya sebagai "TPU dengan kinerja tertinggi dan paling hemat energi hingga saat ini."

Gambar/Google

Dibandingkan dengan Trillium TPU milik Google, GPU NVIDIA Blackwell masih memiliki keunggulan tertentu dalam komputasi performa tinggi dengan dukungan memori bandwidth tinggi (HBM3) dan ekosistem CUDA. Dalam satu sistem, Blackwell dapat menghubungkan hingga 576 GPU secara paralel untuk mencapai daya komputasi yang kuat dan skalabilitas yang fleksibel.

Sebaliknya, Trillium TPU Google berfokus pada efisiensi dan latensi rendah dalam pelatihan terdistribusi skala besar. TPU dirancang untuk tetap efisien dalam pelatihan model skala besar dan meningkatkan efisiensi komputasi secara keseluruhan dengan mengurangi latensi komunikasi melalui interkoneksi jaringan berkecepatan sangat tinggi.

Dan tidak hanya pada chip AI generasi terbaru,“Perang rahasia” antara Google dan Nvidia sebenarnya sudah berlangsung selama delapan tahun, dimulai pada tahun 2016 ketika Google mengembangkan chip AI TPU miliknya sendiri.

Hingga saat ini, GPU NVIDIA H100 merupakan chip AI terpopuler di pasar mainstream. GPU ini tidak hanya menyediakan memori bandwidth tinggi hingga 80 GB, namun juga mendukung memori HBM3 dan mewujudkan komunikasi efisien beberapa GPU melalui interkoneksi NVLink. Berdasarkan teknologi Tensor Core, GPU H100 memiliki efisiensi komputasi yang sangat tinggi dalam tugas pembelajaran mendalam dan inferensi.

Namun pada saat yang sama, TPUv5e memiliki keunggulan signifikan dalam performa biaya dan sangat cocok untuk melatih model berukuran kecil dan menengah. Keunggulan TPUv5e terletak pada daya komputasi terdistribusi yang kuat dan rasio konsumsi energi yang dioptimalkan, sehingga membuatnya bekerja dengan baik saat memproses data berskala besar. Selain itu, TPUv5e juga tersedia melalui Google Cloud Platform, memungkinkan pengguna melakukan pelatihan dan penerapan cloud secara fleksibel.

Pusat data Google, foto/Google

Secara keseluruhan, NVIDIA dan Google memiliki strategi berbeda untuk chip AI: NVIDIA mendorong batas kinerja model AI dengan menyediakan daya komputasi yang kuat dan dukungan pengembang yang ekstensif; sementara Google meningkatkan kinerja chip AI melalui arsitektur komputasi terdistribusi yang efisien . Dua pilihan jalur berbeda ini memungkinkan mereka menunjukkan keunggulan unik di bidang aplikasinya masing-masing.

Namun yang lebih penting, satu-satunya yang dapat mengalahkan Nvidia adalah mereka yang mengadopsi strategi desain bersama perangkat lunak dan perangkat keras serta memiliki kemampuan chip dan kemampuan perangkat lunak yang kuat.

Google adalah salah satu lawannya.

Penantang terkuat hegemoni Nvidia

Blackwell adalah peningkatan besar lainnya dari NVIDIA setelah Hopper. Ia memiliki kemampuan komputasi yang kuat dan dirancang untuk model bahasa skala besar (LLM) dan AI generatif.

Menurut laporan, GPU B200 diproduksi menggunakan proses N4P TSMC, memiliki hingga 208 miliar transistor, "terdiri" dari dua chip GPU menggunakan teknologi interkoneksi, dan dilengkapi dengan HBM3e (memori bandwidth tinggi) hingga 192GB, dengan bandwidth hingga 8TB/dtk.

Dalam hal kinerja, Trillium TPU Google telah meningkat 4,7 kali lipat di bawah BF16 dibandingkan dengan TPU v5e generasi sebelumnya, dan kapasitas dan bandwidth HBM, serta bandwidth interkoneksi chip, juga meningkat dua kali lipat. Selain itu, Trillium TPU juga dilengkapi dengan SparseCore generasi ketiga, yang dapat mempercepat pelatihan model dasar generasi baru, dengan latensi lebih rendah dan biaya lebih rendah.

Trillium TPU sangat cocok untuk pelatihan model bahasa skala besar dan sistem rekomendasi. Ini dapat diperluas hingga ratusan set dan menghubungkan puluhan ribu chip melalui teknologi interkoneksi jaringan tingkat PB per detik, mewujudkan tingkat "komputer super" lainnya. " , sangat meningkatkan efisiensi komputasi dan mengurangi latensi jaringan.

Gambar/Google

Mulai paruh kedua tahun ini, pengguna Google Cloud akan menjadi orang pertama yang mengadopsi chip ini.

Secara umum, keunggulan perangkat keras Google TPU terletak pada daya komputasi yang efisien dan arsitektur pelatihan terdistribusi dengan latensi rendah. Hal ini membuat TPU berkinerja baik dalam pelatihan model bahasa skala besar dan sistem rekomendasi. Namun, keunggulan Google TPU terletak pada ekosistem lengkap lainnya yang tidak bergantung pada CUDA dan integrasi vertikal yang lebih dalam.

Melalui platform Google Cloud, pengguna dapat secara fleksibel melatih dan menerapkan di cloud. Model layanan cloud ini tidak hanya mengurangi investasi perusahaan pada perangkat keras, namun juga meningkatkan efisiensi pelatihan model AI. Google dan Cloud juga menyediakan serangkaian alat dan layanan yang mendukung pengembangan AI, seperti TensorFlow dan Jupyter Notebook, sehingga memudahkan developer untuk melatih dan menguji model.

Google TPU v5p digunakan oleh Apple, foto/Google

Ekosistem AI Google juga mencakup berbagai alat dan kerangka pengembangan, seperti TensorFlow, kerangka kerja pembelajaran mesin sumber terbuka yang banyak digunakan dan dapat sepenuhnya memanfaatkan kemampuan akselerasi perangkat keras TPU. Google juga menyediakan alat lain untuk mendukung pengembangan AI, seperti TPU Estimator dan Keras. Integrasi yang lancar dari alat ini sangat menyederhanakan proses pengembangan.

Selain itu, keunggulan Google adalah Google sendiri merupakan pelanggan dengan permintaan terbesar akan daya komputasi TPU. Dari pemrosesan konten video YouTube yang sangat besar hingga setiap pelatihan dan inferensi Gemini, TPU telah lama diintegrasikan ke dalam sistem bisnis Google dan juga telah memenuhi kebutuhan daya komputasi Google yang sangat besar.

Dapat dikatakan bahwa integrasi vertikal Google jauh lebih menyeluruh daripada Nvidia, dan hampir sepenuhnya menguasai titik-titik utama mulai dari pelatihan model, aplikasi, hingga pengalaman pengguna. Hal ini sebenarnya memberi Google kemungkinan lebih besar untuk memulai dari bawah menurut teknologi dan tren pasar. Mulai mengoptimalkan efisiensi.

Oleh karena itu, meskipun Trillium TPU masih sulit bersaing dengan GPU Blackwell dalam hal indikator kinerja chip, dalam hal pelatihan model besar, Google masih dapat secara sistematis mengoptimalkan efisiensi untuk menyaingi atau bahkan melampaui ekosistem CUDA NVIDIA.

Menggunakan TPU di Google Cloud adalah pilihan terbaik Apple

Singkatnya, kinerja, biaya, dan keunggulan ekologis dari cluster TPU Google menjadikannya pilihan ideal untuk pelatihan model AI skala besar. Pada gilirannya, menggunakan TPU di Google Cloud juga merupakan pilihan terbaik Apple pada tahap ini.

Komputasi super berbasis TPU v4 juga digunakan oleh Apple.Gambar/Google

Di satu sisi ada kinerja dan biaya. TPU berkinerja baik dalam menangani tugas pelatihan terdistribusi berskala besar, memberikan kemampuan komputasi yang efisien dan latensi rendah untuk memenuhi kebutuhan Apple dalam pelatihan model AI. Dengan menggunakan platform Google Cloud, Apple dapat mengurangi biaya perangkat keras, menyesuaikan sumber daya komputasi secara fleksibel, dan mengoptimalkan keseluruhan biaya pengembangan AI.

Aspek lainnya adalah ekologi.Ekosistem pengembangan AI Google juga menyediakan banyak alat dan dukungan, memungkinkan Apple mengembangkan dan menerapkan model AI-nya secara lebih efisien. Ditambah dengan infrastruktur dan dukungan teknis Google Cloud yang kuat, ekosistem ini juga memberikan landasan yang kuat untuk proyek AI Apple.

Pada bulan Maret tahun ini, Sumit Gupta, yang pernah bekerja untuk Nvidia, IBM, dan Google, bergabung dengan Apple untuk memimpin infrastruktur cloud. Menurut laporan, Sumit Gupta bergabung dengan tim infrastruktur AI Google pada tahun 2021, dan akhirnya menjadi manajer produk TPU Google, Arm CPU yang dikembangkan sendiri, dan infrastruktur lainnya.

Sumit Gupta memahami keunggulan TPU Google lebih baik daripada kebanyakan orang di Apple.

Pada paruh pertama tahun 2024, lingkaran teknologi sedang bergejolak.
Penerapan model-model besar semakin cepat, ponsel AI, PC AI, peralatan rumah tangga AI, pencarian AI, e-commerce AI... Aplikasi AI bermunculan tanpa henti;
Vision Pro mulai dijual dan mendarat di pasar Tiongkok, memicu gelombang lain komputasi spasial XR;
HarmonyOS NEXT resmi dirilis, mengubah ekosistem OS seluler;
Mobil telah sepenuhnya memasuki "babak kedua", dan kecerdasan telah menjadi prioritas utama;
Persaingan e-commerce menjadi semakin ketat, dengan harga yang lebih rendah dan layanan yang lebih baik;
Gelombang ekspansi ke luar negeri sedang melonjak, dan merek-merek Tiongkok memulai perjalanan globalisasi;

Pada bulan Juli, topik ulasan tengah tahun Lei Technology·diluncurkan, merangkum merek, teknologi, dan produk yang layak dicatat pada paruh pertama tahun 2024 di industri teknologi, mencatat masa lalu dan menantikan masa depan, jadi pantau terus.