2024-07-17
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
पश्चिमवायुः आओफेइ मन्दिरात् आगच्छति
Qubits |.सार्वजनिक खाता QbitAI
"यूरोपीय ओपनएआइ" "ट्रांसफॉर्मर चैलेन्जर" च मिलित्वा कार्यं कृतवन्तौ!
Mistral AI इत्यनेन अधुना एव प्रथमं प्रारम्भं कृतम्मम्बा२वास्तुकला कृते मुक्तस्रोतप्रतिरूपम् - .कोडस्ट्रल मम्बा(7B), कोडजननविशेषज्ञः ।
Transformer आर्किटेक्चरस्य विपरीतम्, Mamba आर्किटेक्चर "रेखीयसमयतर्क" कर्तुं शक्नोति तथा च सैद्धान्तिकरूपेण अनन्तदीर्घतानिवेशस्य समर्थनं कर्तुं शक्नोति ।
Mistral AI: अत एव वयं आक्रमणस्य प्रतिरोधाय माम्बा आर्किटेक्चरेन आरब्धस्य कोड रीजनिंग् मॉडल् इत्यस्य उपयोगं कुर्मः।
मिस्ट्रल् एआइ इत्यस्य कथनमस्ति यत् अस्य सर्वाधिकं अस्ति२५६k टोकन सन्दर्भकोडस्ट्रल् माम्बा इत्यस्य परीक्षणं .
बेन्चमार्कपरीक्षायां कोडस्ट्रल् माम्बा इत्यस्य समग्रप्रदर्शनं CodeGemma-1.1 7B, CodeLlama 7B, DeepSeek v1.5 7B, CodeLlama 34B च अतिक्रान्तम् ।
केचन नेटिजनाः अवदन् यत् एषा तरङ्गः एव गतिः यस्मिन् मिस्ट्रल् एआइ माम्बा वास्तुकलाम् अग्रे नेष्यति।
माम्बा वास्तुकलानां लेखकानां मध्ये एकः, सीएमयू-संस्थायाः सहायकप्रोफेसरःअल्बर्ट गुव्यक्त:
दुर्बलतर "टोकनाइजेशन" (उदा. कोड, बाइट्-स्तरीयप्रतिरूपणं) युक्ताः भिन्नाः मोडालिटीः अथवा आँकडास्वरूपाः SSM इत्यादिभ्यः संपीडित-प्रतिरूपेभ्यः अधिकतया लाभं प्राप्नुयुः
कोडस्ट्रल् माम्बा इत्यस्य अतिरिक्तं मिस्ट्रल् एआइ इत्यनेन नूतनं अपि प्रकाशितम्गणितीय प्रतिरूप——मठ्स्त्रालः(७ख)。
किं रोचकं यत् नेटिजन्स् इत्यनेन एतत् कृतम् यत् गतदिनेषु बृहत् मॉडल् बहुधा पलटितम् अस्ति ।कः बृहत्तरः, ९.११ वा ९.९ वा ?" प्रश्नः, Mathstral प्रथमं पूर्णाङ्कानां तुलनां कृतवान्, ततः दशमलवभागानाम् तुलनां कृतवान्, अन्ते च तत् सम्यक् प्राप्तुं सफलः अभवत् ।
पूर्णाः कोडस्ट्रल् माम्बा बेन्चमार्कपरिणामाः निम्नलिखितरूपेण सन्ति ।
HumanEval C++/Java/JavaScript/Bash इत्यादिषु सर्वेषु बेन्चमार्केषु Codestral Mamba व्यापकरूपेण CodeGemma-1.1 7B, CodeLlama 7B इत्येतम् अतिक्रमयति, बृहत्तरं CodeLlama 34B च अतिक्रमयति
Mistral AI इत्यस्य पूर्वं सशक्ततमं मुक्तस्रोतप्रोग्रामिंगप्रतिरूपम्कोडस्ट्रल 22Bतस्य कोडस्ट्रल् माम्बा इत्यस्य च मध्ये महत् अन्तरं नास्ति ।
तदतिरिक्तं DeepSeek v1.5 7B अपि बेन्चमार्क् मध्ये उत्तिष्ठति, तथा च Codestral Mamba इत्यनेन सह आगत्य आगत्य गच्छति ।
DeepSeek v1.5 7B स्पाइडर (जटिल क्रॉस-डोमेन शब्दार्थविश्लेषणं तथा पाठतः SQL कार्याणि), HumanEval Java, HumanEval Bash, MBPP इत्यादीनां दृष्ट्या Codestral Mamba इत्यस्मात् उत्तमम् अस्ति ।
बेन्चमार्कपरिणामानां अतिरिक्तं Codestral Mamba इत्यस्य विषये सर्वाधिकं रोचकं वस्तु अस्ति यत् एतत् Mamba2 आर्किटेक्चर मॉडल् इत्यस्य प्रथमः समूहः अस्ति ।
FlashAttention लेखक द्वारा माम्बा वास्तुकलात्रि दाओतथा कार्टेसिया एआइ इत्यस्य सीएमयू सहायकप्रोफेसरः, सहसंस्थापकः, मुख्यवैज्ञानिकः चअल्बर्ट गुगतवर्षस्य अन्ते प्रस्तावितः।
पूर्वं ChatGPT इत्यादिषु बृहत् Transformer आर्किटेक्चर मॉडलेषु एकः प्रमुखः वेदनाबिन्दुः आसीत् : दीर्घपाठस्य संसाधनेन कम्प्यूटिंगशक्तिः विशालमात्रायां उपभोगः भवति स्म । अस्य पृष्ठतः कारणं ट्रान्सफॉर्मर वास्तुकलायां ध्यानतन्त्रस्य द्विघातजटिलता अपि अस्ति ।
मम्बा प्रथमः अस्ति यः ट्रान्सफॉर्मरस्य प्रदर्शनस्य यथार्थतया मेलनं करोतिरेखीय समय श्रृङ्खला प्रतिरूप, अपि राज्यान्तरिक्षप्रतिरूपम् (SSM, State Space Model) अस्ति ।
माम्बा गहनशिक्षणाय उपयुक्तस्य अधिकआधुनिकसंरचितएसएसएम (S4, संरचित एसएसएम) इत्यस्य उपरि निर्मितः अस्ति तथा च क्लासिकवास्तुकला आरएनएन इत्यनेन सह समानता अस्ति ।
अत्र मुख्यतया त्रीणि नवीनतानि सन्ति : निवेशसूचनायाः चयनात्मकप्रक्रियाकरणं, हार्डवेयर-जागरूक-एल्गोरिदम्, सरलतर-वास्तुकला च ।
माम्बा-वास्तुकला बहिः आगत्य एव उद्योगे व्यापकं ध्यानं आकर्षितवती । स्थिरता एआइ संस्थापकः एनवीडिया वैज्ञानिकः च जिम फैन् इत्यादयः अस्य उद्भवस्य विषये उत्साहिताः सन्ति ।
माम्बा इत्यस्य मूलपत्रं वर्षस्य आरम्भे ICLR इत्यनेन अङ्गीकृतम्, येन मण्डले उष्णविमर्शः जातः ।
परन्तु अधुना एव नूतनपीढीयाः शीर्षसम्मेलनेन CoLM2024 इत्यनेन स्वीकृतम् अस्ति ।
Mamba2 अस्य द्वितीयपीढी अस्ति, यत्र राज्यस्य स्थानस्य विस्तारः ८ गुणा अभवत्, प्रशिक्षणस्य वेगः ५०% वर्धितः च ।
Mamba2 पत्रे ज्ञातं यत् Transformer इत्यस्मिन् ध्यानतन्त्रस्य SSM इत्यनेन सह अतीव निकटं गणितीयसम्बन्धः अस्ति, तथा च ICML 2024 इत्यस्य कृते पत्रस्य सफलतया चयनं कृतम्
कोडस्ट्रल् माम्बा इत्यस्य अतिरिक्तं मिस्ट्रल् एआइ इत्यनेन मुक्तस्रोतस्य गणितीयप्रतिरूपमपि प्रारब्धम्——मठ्स्त्रालः(७ख), आर्किमिडीजस्य जन्मस्य २३११ तमे वर्षे स्मरणरूपेण ।
Mathstral Mistral 7B इत्यस्य आधारेण अस्ति, यत् STEM (विज्ञानम्, प्रौद्योगिकी, अभियांत्रिकी, गणितम्) इत्यत्र केन्द्रितम् अस्ति, यस्य सन्दर्भविण्डो 32k अस्ति ।
बेन्चमार्कपरीक्षायां मथस्ट्रल् मैथ् ५६.६%, एमएमएलयू ६३.४७% च प्राप्तवान् ।
मुद्दा अस्ति यत्, Mathstral अधिकानुमानसमयगणनाभिः अपि उत्तमं परिणामं प्राप्तुं शक्नोति:
बहुमतमतदानतन्त्रस्य उपयोगं कुर्वन् Mathstral 7B इत्यनेन MATH परीक्षणे 68.37% अंकः प्राप्तः, 64 अभ्यर्थी मॉडल् मध्ये सशक्तं पुरस्कारप्रतिरूपं प्रयोक्तुं च स्कोरः 74.59% यावत् सुधरितः
विभिन्नेषु MMLU विषयेषु Mathstral 7B तथा Mistral 7B इत्येतयोः मध्ये प्रदर्शनान्तरं निम्नलिखितम् अस्ति ।
सन्दर्भलिङ्कानि : १.
[1]https://mistral.ai/समाचार/कोडेस्ट्रल-माम्बा/
[2]https://mistral.ai/समाचार/mathstral/
[3]https://x.com/MistralAI/status/1813222156265791531
[4]https://x.com/GuillaumeLample/status/1813231491154899012
[5]https://x.com/theo_gervet/status/1813226968600469824
[6]https://x.com/tuturetom/status/1813238885453033540
[7]https://x.com/WenhuChen/status/1812562112524226569
नवीनतमवार्तासूचनाः संग्रह्य व्यवस्थित्य सर्वेषां कृते निःशुल्कं पश्यन्तु।
