समाचारं

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

मिङ्ग्मिन् आओफेइ मन्दिरात् आगच्छति
Qubits |.सार्वजनिक खाता QbitAI

केवलं Transformer आर्किटेक्चरं प्रतिस्थापयन्तु, ततः सर्वेषु पक्षेषु प्रदर्शने तत्क्षणमेव सुधारः भविष्यति, येन समानपरिमाणस्य सर्वोत्तमः मुक्तस्रोतप्रतिरूपः भवितुं शक्यते!

(अवधानतन्त्रं न विद्यते)

एतत् नवीनतमम् अस्तिबाज मम्बा 7Bप्रतिकृति।

प्रयुङ्क्तेमाम्बा राज्य अन्तरिक्ष भाषा प्रतिरूप वास्तुकलाविविधपाठजननकार्यं सम्पादयितुं ।

पारम्परिकं ध्यानतन्त्रं रद्दं कृत्वा यदा आदर्शः दीर्घक्रमं संसाधयति तदा न्यूनगणनादक्षतायाः समस्या प्रभावीरूपेण सुधरति

तत् सम्भालितुं शक्नोतिअनन्तदीर्घम्क्रमः, परन्तु स्मृतेः आवश्यकताः न वर्धन्ते ।

सन्दर्भः कियत् अपि दीर्घः भवतु,प्रत्येकं टोकनं जनयितुं समयः मूलतः समानः भवति。

फलतः फाल्कन माम्बा मॉडलस्य कार्यक्षमता सर्वेषु पक्षेषु सुधारितः अस्ति, येन अनेके ट्रांसफॉर्मर आर्किटेक्चर मॉडल्, यथा लामा-३.१ (८बी), मिस्ट्रल् (७बी), फाल्कन्-२ (११बी) च पराजिताः

उपर्युक्तानि परिणामानि संयुक्त अरब अमीरातस्य अबुधाबीनगरस्य प्रौद्योगिकीनवाचारसंस्थायाः (TII) आनयितानि, यत् फाल्कन-माडलस्य विकासदलम् अस्ति

अस्मिन् श्रृङ्खले कुलम् चत्वारि मॉडल् सन्ति : मूलभूतसंस्करणम्, निर्देशस्य सूक्ष्म-समायोजन-संस्करणं, 4bit संस्करणं तथा निर्देश-सूक्ष्म-ट्यूनिङ्ग-संस्करणं 4bit संस्करणम् ।

नवीनतमं मॉडलं TII Falcon License 2.0 इत्यस्य अन्तर्गतं उद्घाटितम् अस्ति, यत् Apache 2.0 अनुज्ञापत्रस्य अन्तर्गतम् अस्ति ।

नेटिजन्स् प्रेक्षकाः उद्घोषयन्ति स्म यत् क्रीडायाः नियमाः परिवर्तयितुं प्रवृत्ताः सन्ति!

विश्वस्य प्रथमः मुक्तस्रोतः SSLM

कार्यक्षमतायाः दृष्ट्या Falcon Mamba 7B सर्वेषु पक्षेषु अनेकानि मुक्तस्रोतमाडलं अतिक्रमयति ।

प्रथमपीढीयाः मम्बस्य आधारेण अस्ति ।

मम्बा इति कराज्य अन्तरिक्ष प्रतिरूप(SSM, राज्य अन्तरिक्ष प्रतिरूप)। एतत् आरएनएन तथा सीएनएन इत्येतयोः विशेषतां संयोजयति तथा च चयनतन्त्रं प्रवर्तयन् पाठसूचनायाः संसाधनस्य दक्षतां सुधारयति यत् वर्तमाननिवेशस्य आधारेण मॉडलं चयनात्मकरूपेण सूचनां प्रसारयितुं वा विस्मर्तुं वा शक्नोति

तस्मिन् एव काले, एतत् हार्डवेयर-जागरूकं समानान्तर-एल्गोरिदम् डिजाइनं करोति यत् पुनरावर्तनीय-मोड्-मध्ये चाल्यते, GPU-स्मृति-स्तरयोः मध्ये IO-प्रवेशं परिहरति, गणना-दक्षतायां च सुधारं करोति

अन्ते एतत् वास्तुकलाम् अपि सरलीकरोति, Transformer इत्यस्मिन् SSM आर्किटेक्चरं MLP खण्डं च एकस्मिन् खण्डे संयोजयति ।

Transformer तः Mamba - मध्ये परिवर्तनेन Falcon model -इत्यनेन स्मृति-वर्धनं विना मनमाना दीर्घ-अनुक्रमं सम्पादयितुं शक्यते । विशेषतः एकस्य A10 24GB GPU कृते उपयुक्तम् ।

अध्ययने अनुक्रमसंसाधनस्य द्वयोः भिन्नयोः दृष्टिकोणयोः अपि चर्चा कृता अस्ति ।

समानान्तरपूर्वपूरणविधिः GPU समानान्तरप्रक्रियाकरणाय उपयुक्ता अस्ति तथा च उच्चस्मृतिआवश्यकता अस्ति तथा च क्रमिकपूरणविधिः SSM मॉडल् कृते उपयुक्ता अस्ति तथा च स्मृतिबाधायाः अधीनतां विना कस्यापि लम्बतायां अनुक्रमं सम्भालितुं शक्नोति

बृहत्-परिमाणेन प्रशिक्षण-स्थिरतां सुनिश्चित्य, फाल्कन-माम्बा-प्रतिरूपे अतिरिक्त-आरएमएस-सामान्यीकरण-स्तरस्य उपयोगः भवति ।

RMS सामान्यीकरणस्तरः LayerNorm इत्यस्य गणनाप्रक्रियायाः सरलीकरणं कर्तुं शक्नोति तथा च गणनाराशिं न्यूनीकर्तुं शक्नोति ।

मॉडलस्य प्रशिक्षणं 5500GT आँकडानां उपयोगेन कृतम्, यत् मुख्यतया RefedWeb आँकडासमूहात् सार्वजनिकदत्तांशतः च आगच्छति । प्रशिक्षणप्रक्रिया मूलतः एकरूपा भवति, प्रशिक्षणस्य उत्तरपदेषु उच्चगुणवत्तायुक्तानां योजनादत्तांशस्य अल्पं परिमाणं योजितं भवति, यत् अन्तिमपदे प्रतिरूपस्य अनुकूलनार्थं साहाय्यं करोति

1 इत्यस्य बैच-आकारस्य 1-130k इत्यस्य प्रॉम्प्ट्-शब्ददीर्घतायाः च H100 इत्यत्र टोकन-जननस्य परीक्षणे फाल्कन-माम्बा इत्ययं कर्तुं समर्थः अभवत्नूतनं टोकनं जनयति समये स्थिरं थ्रूपुटं निर्वाहयन्तु, यस्य अर्थः अस्ति यत् तस्य कार्यक्षमता पाठदीर्घतायाः प्रभावः न भवति तथा च कार्यक्षमतायाः अवनतिं विना दीर्घक्रमान् स्थिररूपेण सम्भालितुं शक्नोति ।

Falcon Mamba अनेकानि Hugging Face APIs समर्थयति, यत्र AutoModelForCausalLM तथा pipline च सन्ति ।

एकं निर्देश-ट्यूनिङ्ग-संस्करणम् अपि प्रारब्धम् अस्ति, यत् अतिरिक्तं ५ अर्ब-टोकन-सूक्ष्म-ट्यूनिङ्ग् कृत्वा मॉडल् अधिकं सटीकं कर्तुं शक्नोति ।

नवीनतममाडलं Hugging Face तथा GitHub~ इत्यत्र प्राप्तुं शक्यते

सन्दर्भलिङ्कानि : १.
https://huggingface.co/blog/falconmamba # हार्डवेयर-प्रदर्शनम्