berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Ledakan model AI kecil telah menjadi arena baru bagi raksasa AI untuk bersaing.

Perang harga model besar sedang berlangsung selamanya. Perusahaan AI yang telah menginvestasikan sejumlah besar uang sangat membutuhkan kemajuan lebih lanjut dalam bisnis mereka. Baru-baru ini, mereka telah meluncurkan model kecil mereka yang berbiaya rendah dan mudah diterapkan , dan babak kompetisi baru telah dimulai.

Pertama, HuggingFace merilis SmolLM - 135M, 360M dan 1.7B. Ia hanya menggunakan 650B token untuk pelatihan, namun kinerjanya melebihi Qwen 1.5B dan Phi 1.5B.

Keesokan harinya, Mistral AI dan NVIDIA bersama-sama merilis Mistral NeMo, yang disebut sebagai "model kecil terbaik Mistral AI". Model ini mudah digunakan dan dapat langsung menggantikan sistem apa pun menggunakan Mistral 7B.

Pada hari yang sama, OpenAI melakukan "berbelanja" dan meluncurkan versi mini GPT-4o - GPT-4o Mini. OpenAI menyebut model baru ini sebagai "model parameter kecil yang paling kuat dan hemat biaya" dan menganggapnya sebagai The model tampilan menggantikan posisi "panggung depan" versi web GPT-3.5.

Tidak mau kalah, Apple merilis model kecil DCLM pada hari yang sama dengan OpenAI, dan menjadi open source segera setelah dirilis. “Ini adalah model open source dengan performa terbaik hingga saat ini,” kata Vaishaal Shankar, ilmuwan riset di tim ML Apple.

Model ini memiliki parameter kecil dan menggunakan lebih sedikit memori. Dalam skenario tertentu, setelah penyesuaian, hasilnya dapat dibandingkan dengan model besar, menjadikannya pilihan yang hemat biaya.

"Model kecil harus lebih mudah untuk mewujudkan nilainya." Xu Xiaotian, kepala arsitek data dan kecerdasan buatan IBM China, mengatakan dalam sebuah wawancara dengan reporter dari 21st Century Business Herald: "Sekelompok model kecil profesional bekerja sama dengan agen untuk mencapai tujuan." integrasi alur bisnis, fungsionalitas, dan ekonomi. Ini akan lebih mungkin dilakukan secara seksual.”

Di medan perang model generatif AI, kecepatan iterasinya sangat cepat. Yang "terbaik" saat ini mungkin akan segera dikalahkan oleh versi baru besok, dan "catatan sejarah" terus-menerus dibalik dan ditulis ulang. "Model-model tersebut diperbarui terlalu cepat, dan sulit untuk menilai. Salah satu pabrikan mengklaim bahwa model tersebut adalah yang 'terbesar dan terbaik', sementara pabrikan lain menyatakan bahwa model tersebut adalah yang 'terkecil dan terbaik.'" Seorang pengamat senior di bidang kecerdasan buatan industri mengatakan kepada 21st Century Business Herald Menurut wartawan, model kecerdasan buatan sangat mempesona. Jika perusahaan AI ingin sukses dalam kisah bisnis, mereka harus bekerja sepuluh kali lipat atau seratus kali lipat.

Sumber gambar: Gambar Kreatif Xu Shuxing

Jalur model kecil membuka "roll"

Raksasa AI merilis model-model kecil secara intensif untuk bersaing tidak hanya dalam hal kinerja tetapi juga harga.

Menurut situs resmi Open AI, dalam pengujian benchmark seperti MMLU, MGSM, HumanEval, dan MMMU, GPT-4o mini telah menunjukkan penalaran teks dan visual serta penalaran matematis yang lebih baik dibandingkan model kecil seperti GPT-3.5 Turbo dan Gemini Flash, Claude Haiku. , kemampuan pengkodean dan penalaran multi-modal, terutama kemampuan penalaran matematika dan pengkodean, jauh lebih baik daripada GPT-3.5 Turbo dan model kecil lainnya, dan sedikit lebih lemah dibandingkan GPT-4o. Dalam pemeringkatan arena tes buta LMSYS terbaru, GPT-4o mini juga meraih peringkat pertama bersama dengan GPT-4o. Bahkan CEO OpenAI Sam Altman tidak dapat menyembunyikan kegembiraannya dan memposting di platform media sosial, dengan mengatakan, “Kami sangat bersemangat. tentang penilaian apa pun.”

Selain kinerja luar biasa, OpenAI juga hadir dengan kartu truf berbiaya rendah. Saat diluncurkan secara online pada tanggal 18 Juli, OpenAI mengumumkan bahwa GPT-4o mini akan dihargai 15 sen per juta token masukan dan 60 sen per juta token keluaran, yang 60% lebih murah dibandingkan GPT-3.5 Turbo. Pada tanggal 24 Juli, OpenAI kembali mengumumkan bahwa mulai sekarang hingga tanggal 23 September, mereka akan menyediakan layanan penyempurnaan mini GPT-4o untuk pengguna level 4 dan level 5 secara gratis, dengan batas harian 2 juta token, dan kelebihannya akan dikenakan biaya. dengan harga US$3 per 1 juta token. OpenAI mengatakan: "Kami berharap GPT-4o mini akan memperluas cakupan penerapan kecerdasan buatan dan membuat kecerdasan buatan lebih terjangkau."

Laporan penelitian Ping An Securities percaya bahwa GPT-4o mini adalah generasi baru "model kecil" kecerdasan buatan tingkat pemula dengan harga yang lebih murah, yang memiliki kinerja dan efektivitas biaya. Saat ini, model-model besar di seluruh dunia secara bertahap menunjukkan tren perkembangan yang beralih dari persaingan sepihak dalam hal kinerja menjadi persaingan yang menekankan kinerja dan kepraktisan. Ketika kemampuan model besar mencapai tingkat tertentu, mereka pasti akan beralih ke penerapan. Dengan meningkatkan kinerja biaya produk mereka dan mempromosikan promosi dan penerapan aplikasi hilir, produsen model besar diharapkan dapat mempercepat pembentukan lingkaran bisnis tertutup di pasar. rantai industri model besar.

Model Apple DCLM yang dirilis setelah GPT-4o mini juga menarik perhatian. DCLM memiliki kode, bobot, proses pelatihan, dan kumpulan data yang sepenuhnya open source. DCLM dibagi menjadi dua ukuran: 1,4 miliar parameter dan 7 miliar parameter. Versi 7 miliar parameternya melampaui Mistral-7B, dan kinerjanya mendekati Llama 3 dan Gemma. Pada benchmark MMLU (5-shot), DCLM-7B mencapai akurasi 63,7%. Menurut para peneliti, kinerja ini meningkat sebesar 6,6% dibandingkan model bahasa data terbuka MAP-Neo yang canggih sebelumnya dan memerlukan komputasi 40% lebih sedikit. Lebih penting lagi, hasil ini melampaui Mistral-7B-v0.3 dengan akurasi 62,7%, dan mendekati Gemma 8B dengan akurasi 64,3%, Llama3 8B dengan akurasi 66,2%, dan Phi-3 7B dengan akurasi sebesar 69,9%.

Daripada “lebih besar lebih baik,” Apple lebih memilih menggunakan model kecil. Pada bulan April tahun ini, Apple mengumumkan empat model besar terlatih yang disebut OpenELM, yang berukuran sangat kecil. Pada saat itu, mereka sudah bergerak menuju tujuan "memungkinkan kecerdasan buatan berjalan secara lokal di perangkat Apple."

Pada bulan Juni, Apple mengungkapkan peta jalan pengembangan AI-nya dan berencana untuk menanamkan model-model kecil ke dalam perangkat seluler dengan lancar, yang tidak hanya akan mencapai tujuan "lebih cepat dan lebih aman", tetapi juga memecahkan masalah utama dalam mengintegrasikan perangkat dan model seluler dalam satu gerakan. .

Mistral NeMo, dibangun dalam kemitraan dengan Mistral AI dan NVIDIA, menjalani tahap penyempurnaan dan penyelarasan tingkat lanjut agar unggul dalam mengikuti instruksi yang tepat, penalaran, menangani berbagai putaran percakapan, dan menghasilkan kode. Dapat dipahami bahwa Mistral NeMo terutama ditargetkan pada lingkungan perusahaan dan bertujuan untuk memungkinkan perusahaan menerapkan solusi kecerdasan buatan tanpa memerlukan sumber daya cloud dalam jumlah besar.

Dalam wawancara dengan Venturebeat, Bryan Catanzaro, wakil presiden penelitian pembelajaran mendalam terapan di NVIDIA, menguraikan keunggulan model kecil. “Model kecil lebih mudah didapat dan dijalankan serta dapat memiliki model bisnis yang berbeda karena orang dapat menjalankannya pada sistem mereka sendiri di rumah,” ujarnya.

Model-model besar telah memasuki paruh kedua. Dari volume teknis hingga aplikasi, pasar semakin tertarik pada model-model berefisiensi tinggi dan berbiaya rendah yang lebih mudah diterapkan secara lokal. Hal ini mencerminkan keinginan akan keamanan, privasi, efisiensi tinggi, dan biaya tinggi pertunjukan.

Analis industri percaya bahwa ada tren baru yang jelas dalam penerapan AI, yaitu model yang dapat berjalan secara efisien pada perangkat keras lokal, yang menghilangkan kekhawatiran banyak perusahaan mengenai adopsi solusi AI dalam skala besar, seperti privasi data, latensi, dan tingkat keamanan yang tinggi. biaya. “Hal ini dapat membuat persaingan menjadi lebih adil, dan usaha kecil dengan sumber daya terbatas juga akan menerima manfaat dari model AI, sehingga menjembatani kesenjangan yang ada dengan perusahaan besar.”

Dapatkan di belakang kemudi trek model kecil

Mengapa raksasa AI membuka jalur model kecil? sebagian atau karena pertimbangan biaya.

Model berukuran besar membutuhkan biaya yang mahal untuk dikembangkan dan dijalankan, dan bahkan raksasa seperti OpenAI kesulitan untuk membelinya.

Baru-baru ini, orang dalam menganalisis bahwa “OpenAI mungkin kehilangan US$5 miliar tahun ini dan menghadapi risiko kehabisan dana dalam waktu 12 bulan.” Pada bulan Maret tahun ini, OpenAl telah menghabiskan hampir $4 miliar untuk menyewa server Microsoft untuk menjalankan ChatGPT dan model bahasa besar (LLM) yang mendasarinya. Selain menjalankan ChatGPT, biaya pelatihan OpenAl, termasuk biaya data, bisa melonjak hingga $3 miliar tahun ini. Tahun lalu, OpenAl mempercepat pelatihan AI baru lebih cepat dari yang direncanakan, menurut orang-orang yang mengetahui masalah tersebut. OpenAl awalnya berencana menghabiskan sekitar $800 juta untuk biaya tersebut, namun akhirnya menghabiskan lebih banyak uang.

Sebagai perbandingan, model kecil memiliki biaya rendah, respons cepat, dan dapat dijalankan secara lokal, sehingga lebih mudah beradaptasi terhadap kebutuhan penggunaan yang dipersonalisasi dan tepat. Orang dalam industri mengatakan: "Dengan terbatasnya pasokan perangkat keras AI global, model kecil berarti biaya penerapan dan pelatihan yang lebih rendah, dan efek keluarannya cukup untuk menangani beberapa tugas tertentu."

Seorang pebisnis relevan yang bertanggung jawab atas perusahaan AI dalam negeri mengatakan kepada reporter dari 21st Century Business Herald bahwa skala parameter kecil dapat menghemat biaya inferensi secara signifikan. Biaya perangkat keras yang diperlukan untuk pelatihan dan penyesuaian model jauh lebih rendah dibandingkan dengan model besar. Pengembang yang matang bahkan dapat melatih model vertikal dengan biaya rendah, biaya operasi ini jauh lebih rendah dibandingkan model besar.

Prediksi terbaru Andrej Karpathy, salah satu pendiri OpenAI dan mantan direktur senior AI di Tesla, cukup mewakili. Ia mengusulkan agar persaingan ukuran model generatif akan dibalik untuk bersaing dengan model yang lebih kecil dan lebih cerdas.

Dalam penjelasan Andrej Karpathy, alasan mengapa model besar saat ini begitu besar adalah karena masih sangat boros selama pelatihan. Meskipun model besar memiliki memori yang sangat baik, itu juga berarti model besar mengingat banyak detail yang tidak relevan, dan isi tersebut Ini tidak boleh dipanggil berulang kali dalam masalah tertentu.

Untuk model kecil, tujuan pelatihan menjadi lebih sederhana, lebih langsung, dan lebih efisien, sehingga memungkinkan AI mempelajari lebih banyak informasi berguna secara langsung.

Namun, model besar dan model kecil bukanlah model yang "pilihan", dan jalur pengembangannya tetap memiliki arti penting untuk saling belajar.

Andrej Karpathy berkata: "Model harus menjadi lebih besar terlebih dahulu sebelum menjadi lebih kecil. Karena kita memerlukan model yang besar untuk merekonstruksi dan membentuk data menjadi bentuk yang ideal. Satu model membantu menghasilkan data pelatihan untuk model berikutnya, dan secara bertahap memperoleh pelatihan yang sempurna set. Kemudian berikan ke model kecil, yang tidak perlu mengingat semuanya tetapi perlu mencarinya sesekali untuk memastikan keakuratannya.”

Robin Li juga menyatakan pada Baidu AI Developer Conference Create 2024 bahwa aplikasi asli AI skala besar di masa depan pada dasarnya akan menjadi arsitektur Moe, yang merupakan perpaduan model besar dan kecil. Robin Li juga mengatakan bahwa menyaring model dasar melalui kompresi model besar dan kemudian melatihnya dengan data jauh lebih baik daripada melatih model kecil dari awal. Ini lebih baik, lebih cepat, dan lebih hemat biaya daripada model yang dilatih berdasarkan model sumber terbuka . Rendah.