समाचारं

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

नवीन बुद्धि प्रतिवेदन

सम्पादक : सम्पादकीय विभाग

[नव प्रज्ञायाः परिचयः] । अधुना 7B लघु मॉडल् एकः प्रवृत्तिः अभवत् यस्य ग्रहणार्थं AI दिग्गजाः दौडं कुर्वन्ति । गूगलस्य Gemma2 7B इत्यस्य अनुसरणं कृत्वा अद्य Mistral इत्यनेन STEM विषयाणां कृते Mathstral इति द्वौ अपि 7B मॉडल्, तथा च Codestral Mamba इति मामाबा आर्किटेक्चर इत्यस्य उपयोगेन कोड मॉडल् इति द्वौ अपि विमोचितौ

मिस्ट्रल् इत्यस्य अपरं आश्चर्यम् अस्ति!

अद्यैव मिस्ट्रल् इत्यनेन द्वौ लघुमाडलौ विमोचितौ : Mathstral 7B तथा Codestral Mamba 7B इति ।

प्रथमं गणितीयतर्कस्य वैज्ञानिकाविष्कारस्य च कृते विनिर्मितम् Mathstral 7B इति ।

MATH benchmark test इत्यस्मिन् 56.6% pass@1 इति स्कोरं प्राप्तवान्, यत् Minerva 540B इत्यस्मात् 20% अधिकं अस्ति । मथस्ट्रल् इत्यनेन MATH इत्यत्र ६८.४%, पुरस्कारप्रतिरूपस्य उपयोगेन ७४.६% च स्कोरः प्राप्तः ।

कोड् मॉडल् Codestral Mamba इति प्रथमेषु मुक्तस्रोतप्रतिरूपेषु अन्यतमः अस्ति यः Mamba 2 आर्किटेक्चरं स्वीकृतवान् ।

उपलब्धानां 7B कोड मॉडल् मध्ये इदं सर्वोत्तमम् अस्ति, 256k टोकनस्य सन्दर्भदीर्घतायाः उपयोगेन प्रशिक्षितम् ।

उभयम् अपि मॉडल् अपाचे २.० अनुज्ञापत्रस्य अन्तर्गतं विमोचितम् अस्ति, तथा च भाराः सम्प्रति HuggingFace गोदामे अपलोड् कृताः सन्ति ।

हगिंग फेस पता: https://huggingface.co/mistralai

मठ्स्त्रालः

रोचकं तत् अस्ति यत् आधिकारिकघोषणानुसारं मथ्स्ट्राल् इत्यस्य विमोचनं संयोगेन आर्किमिडीजस्य जन्मस्य २३११ वर्षाणि पूर्णानि अभवन् ।

Mathstral इत्येतत् STEM विषयाणां कृते उन्नतगणितसमस्यानां समाधानार्थं विनिर्मितम् अस्ति येषु जटिलं, बहुचरणीयं तर्कं आवश्यकं भवति । पैरामीटर् केवलं 7B अस्ति तथा च सन्दर्भविण्डो 32k अस्ति ।

अपि च, मथ्स्ट्रालस्य शोधविकासस्य अपि एकः भारीभारः भागीदारः अस्ति-नुमिना, या गतसप्ताहे एव काग्ले इत्यस्य प्रथमे ए.आइ.गणितीय-ओलम्पियाड्-प्रतियोगितायां चॅम्पियनशिपं प्राप्तवान्

अपि च, केचन ट्विट्टर्-उपयोक्तारः आविष्कृतवन्तः यत् Mathstral "कः बृहत्तरः, 9.·11 वा 9.9?"

पूर्णाङ्कानां दशमलवानां च पृथक् पृथक् तुलना भवति, चिन्तनशृङ्खला च स्पष्टा भवति यत् उत्तमगणितीयप्रतिरूपकार्यस्य आदर्शः इति वक्तुं शक्यते ।

Mistral 7B इत्यस्य भाषाक्षमतायाः आधारेण Mathstral इत्येतत् STEM विषयेषु अधिकं ध्यानं ददाति । एमएमएलयू इत्यस्य विषयविभाजनपरिणामानां अनुसारं गणितं, भौतिकशास्त्रं, जीवविज्ञानं, रसायनशास्त्रं, सांख्यिकी, सङ्गणकविज्ञानम् इत्यादयः क्षेत्राणि मथस्ट्रलस्य निरपेक्षलाभाः सन्ति

आधिकारिक-ब्लॉग-पोस्ट्-अनुसारं मथस्ट्रल्-महोदयः मॉडल-प्रदर्शनस्य विनिमयरूपेण किञ्चित् अनुमान-वेगं बलिदानं करोति इति भासते, परन्तु मूल्याङ्कन-परिणामानां आधारेण अयं व्यापारः सार्थकः अस्ति

गणितस्य तर्कस्य च क्षेत्रेषु बहुविधबेन्चमार्कपरीक्षासु मथस्ट्रल् इत्यनेन लामा ३ ८बी तथा गेम्मा२ ९बी इत्यादीनां लोकप्रियानाम् लघुमाडलानाम् पराजयः कृतः, विशेषतः एएमसी २०२३, एआईएमई २०२४ इत्यादिषु गणितप्रतियोगितप्रश्नेषु सोटापर्यन्तं प्राप्तम्

अपि च, उत्तमं आदर्शफलं प्राप्तुं अनुमानसमयं अधिकं वर्धयितुं शक्यते ।

यदि ६४ अभ्यर्थीनां कृते बहुमतमतदानस्य उपयोगः भवति तर्हि MATH इत्यत्र Mathstral इत्यस्य स्कोरः ६८.३७% यावत् भवितुम् अर्हति अतः अतिरिक्तं पुरस्कारमाडलं योजयित्वा ७४.५९% उच्चं स्कोरं प्राप्तुं शक्नोति ।

HuggingFace तथा la Plateforme मञ्चानां अतिरिक्तं, भवान् आधिकारिकतया विमोचितौ Mistral-finetune तथा Mistral Inference इत्येतयोः मुक्तस्रोतद्वयं SDK इत्यपि आह्वयितुं शक्नोति यत् मॉडलस्य उपयोगं कर्तुं वा सूक्ष्मरूपेण ट्यून कर्तुं वा शक्नोति

कोडस्ट्रल मम्बा

Transformer आर्किटेक्चरस्य अनुसरणं कुर्वती Mixtral श्रृङ्खलायाः विमोचनानन्तरं Mamba2 आर्किटेक्चरस्य उपयोगेन प्रथमं कोडजनरेशन मॉडल् Codestral Mamba इत्यपि विमोचितम् अस्ति

अपि च, अनुसन्धानविकासप्रक्रियायां माम्बा, अल्बर्ट् गु, त्रिदाओ इत्यादीनां मूललेखकानां अपि सहायता अभवत् ।

रोचकं तत् अस्ति यत् आधिकारिकघोषणालेखे विशेषतया सम्बन्धितस्य "क्लिओपेट्रा" क्लिओपेट्रा सप्तमस्य उल्लेखः कृतः, यया नाटकीयरूपेण विषयुक्तेन सर्पेण स्वजीवनस्य समाप्तिः कृता

माम्बा आर्किटेक्चरस्य विमोचनानन्तरं तस्य उत्तमं प्रयोगात्मकं प्रदर्शनं व्यापकं ध्यानं आशावादं च प्राप्तवान् तथापि यतः सम्पूर्णेन एआइ समुदायेन ट्रांसफॉर्मर इत्यत्र अधिकं धनं निवेशितम्, अतः वयं दुर्लभाः एव औद्योगिकमाडलाः दृष्टवन्तः ये वास्तवतः माम्बा इत्यस्य उपयोगं कुर्वन्ति

अस्मिन् समये कोडस्ट्रल् माम्बा अस्मान् नूतनवास्तुकलानां अध्ययनस्य नूतनदृष्टिकोणं प्रदातुं शक्नोति।

माम्बा-वास्तुकला प्रथमवारं २०२३ तमस्य वर्षस्य डिसेम्बर्-मासे प्रारम्भः अभवत्, अस्मिन् वर्षे मे-मासे माम्बा-२ इत्यस्य अद्यतनं संस्करणं च द्वौ लेखकौ प्रक्षेपितवन्तौ ।

ट्रांसफार्मर इत्यस्य विपरीतम् माम्बा-प्रतिरूपस्य रेखीयकालतर्कस्य लाभः अस्ति तथा च सैद्धान्तिकरूपेण अनन्तदीर्घतायाः अनुक्रमस्य प्रतिरूपणं कर्तुं समर्थः अस्ति ।

उभयम् अपि 7B मॉडल् अस्ति यदा Mathstral इत्यस्य context window केवलं 32k अस्ति, Codestral Mamba इत्यस्य विस्तारः 256k यावत् कर्तुं शक्यते ।

अनुमानसमये सन्दर्भदीर्घतायां च एषः दक्षतालाभः, तथैव द्रुतप्रतिक्रियाणां सम्भावना च, एन्कोडिंगदक्षतायाः उन्नयनार्थं व्यावहारिकपरिदृश्येषु विशेषतया महत्त्वपूर्णः अस्ति

मिस्ट्रल्-दलः माम्बा-माडलस्य एतत् लाभं दृष्ट्वा तस्य प्रयासे अग्रणीः अभवत् । बेन्चमार्क परीक्षणात् 7B पैरामीटर् Codestral Mamba इत्यस्य न केवलं अन्येषां 7B मॉडल् इत्यस्य अपेक्षया स्पष्टाः लाभाः सन्ति, अपितु बृहत्तर-परिमाणस्य मॉडल् इत्यनेन सह अपि स्पर्धां कर्तुं शक्नोति

८ बेन्चमार्कपरीक्षासु कोडस्ट्रल् माम्बा मूलतः कोड् लामा ३४बी इत्यनेन सह मेलनं कृतवान्, अपि च ६ परीक्षणेषु प्रदर्शनं अतिक्रान्तवान् ।

परन्तु तस्य बृहद्भगिन्या Codestral 22B इत्यस्य तुलने Codestral Mamba इत्यस्य पैरामीटर्-हानिः प्रतिबिम्बिता अस्ति, अद्यापि तस्य क्षमतायाः अभावः दृश्यते

उल्लेखनीयं यत् Codestral 22B इति नूतनं मॉडलं मासद्वयात् न्यूनकालपूर्वं विमोचितं पुनः अहं शोचयामि यत् पेरिस्-नगरे मुख्यालयं कृत्वा Mistral इत्येतत् एतावत् लोकप्रियम् अस्ति।

Codestral Mamba इत्येतत् Mistral-inference इत्यस्य उपयोगेन अपि परिनियोजितुं शक्यते, अथवा NVIDIA द्वारा विमोचितस्य द्रुतनियोजनस्य API TensorRL-LLM इत्यस्य उपयोगेन अपि परिनियोजनं कर्तुं शक्यते ।

गिटहब पता: https://github.com/NVIDIA/TensorRT-LLM

स्थानीयसञ्चालनार्थं आधिकारिकब्लॉगे उक्तं यत् भवान् llama.cpp इत्यस्य अनन्तरं समर्थने ध्यानं दातुं शक्नोति। परन्तु ओल्लामा शीघ्रं कार्यं कृत्वा मथस्ट्रल् इत्यस्य आदर्शपुस्तकालये योजितवान् ।

कोडस्ट्रल् माम्बा इत्यस्य अद्यतनीकरणाय नेटिजन्स् इत्यस्य आग्रहस्य सम्मुखे ओल्लामा अपि अतीव बलात् अवदत् यत् "वयं पूर्वमेव तस्मिन् कार्यं कुर्मः, कृपया अधीरता मा भवतु" इति ।

सन्दर्भाः : १.

https://mistral.ai/समाचार/कोडेस्ट्रल-माम्बा/

https://mistral.ai/समाचार/mathstral/

https://venturebeat.com/ai/mistral-releases-codestral-mamba-for-शीघ्र-दीर्घ-कोड-जनन/