berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Laporan Jantung Mesin

Departemen Editorial Jantung Mesin

Netizen penasaran apakah Mathstral bisa menyelesaikan masalah "siapa yang lebih besar, 9.11 atau 9.9?"

Kemarin, lingkaran AI diliputi oleh pertanyaan sederhana: "Siapa yang lebih besar, 9.11 atau 9.9?" Model bahasa besar termasuk OpenAI GPT-4o, Google Gemini, dll. semuanya terbalik.

Hal ini memungkinkan kita untuk melihat bahwa model bahasa besar tidak dapat memahami dan memberikan jawaban yang benar seperti manusia ketika menghadapi beberapa masalah numerik.

Untuk masalah matematika numerik dan kompleks, model khusus lebih terspesialisasi.

Hari ini, model besar unicorn Perancis, Mistral AI, merilis aModel 7B "Mathstral" berfokus pada penalaran matematika dan penemuan ilmiah, untuk memecahkan masalah matematika tingkat lanjut yang memerlukan penalaran logis multi-langkah yang kompleks.

Model ini dibangun di atas Mistral 7B, mendukung panjang jendela konteks 32k, dan mengikuti perjanjian sumber terbuka lisensi Apache 2.0.

Mathstral dibangun dengan mempertimbangkan trade-off kecepatan kinerja yang luar biasa, sebuah filosofi pengembangan yang secara aktif dipromosikan oleh Mistral AI, terutama dengan kemampuan penyesuaiannya.

Pada saat yang sama, Mathstral adalah model penting yang dapat digunakan atau disempurnakan. Bobot model telah ditempatkan di HuggingFace.

• Bobot model: https://huggingface.co/mistralai/mathstral-7B-v0.1

Grafik di bawah menunjukkan perbedaan kinerja MMLU antara Mathstral 7B dan Mistral 7B berdasarkan mata pelajaran.

Mathstral mencapai kinerja inferensi mutakhir pada skalanya pada berbagai tolok ukur standar industri. Khusus pada kumpulan data MATEMATIKA mencapai tingkat kelulusan 56,6% dan tingkat kelulusan 63,47% pada MMLU.

Pada saat yang sama, tingkat kelulusan Mathstral pada MATH (56,6%) lebih tinggi 20% dibandingkan Minerva 540B. Selain itu, Mathstral mendapat skor 68,4% pada MATEMATIKA dengan suara mayoritas @64 dan 74,6% menggunakan model hadiah.

Hasil ini pun membuat netizen penasaran apakah Mathstral bisa menyelesaikan masalah "siapa yang lebih besar, 9.11 atau 9.9?"

Kode Mamba: Kodestral Mamba

• Bobot model: https://huggingface.co/mistralai/mamba-codestral-7B-v0.1

Dirilis bersamaan dengan Mathstral 7B, ada juga model Codestral Mamba yang khusus digunakan untuk pembuatan kode, yang menggunakan arsitektur Mamba2 dan juga mengikuti perjanjian open source lisensi Apache 2.0. Ini adalah model panduan dengan lebih dari 7 miliar parameter yang dapat digunakan, dimodifikasi, dan didistribusikan oleh peneliti secara gratis.

Perlu disebutkan bahwa Codestral Mamba dirancang dengan bantuan penulis Mamba Albert Gu dan Tri Dao.

Arsitektur Transformer selalu mendukung setengah dari bidang AI. Namun, tidak seperti Transformer, model Mamba memiliki keunggulan penalaran waktu linier dan secara teoritis dapat memodelkan rangkaian dengan panjang tak terbatas. Arsitekturnya memungkinkan pengguna untuk berinteraksi dengan model secara luas dan cepat tanpa dibatasi oleh panjang input. Efisiensi ini sangat penting untuk pembuatan kode.

Dalam pengujian benchmark, Codestral Mamba mengungguli model open source pesaing CodeLlama 7B, CodeGemma-1.17B dan DeepSeek dalam pengujian HumanEval.

Mistral menguji model tersebut, yang tersedia gratis di API la Plateforme Mistral, dan dapat menangani input hingga 256.000 token – dua kali lebih banyak dari GPT-4o OpenAI.

Dengan dirilisnya Codestral Mamba, beberapa netizen telah menggunakannya di VSCode dan sangat lancar.