2024-07-24
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
मशीन हृदय रिपोर्ट
मशीन हृदय सम्पादकीय विभाग
अधुना एव, बहुप्रतीक्षितं Llama 3.1 आधिकारिकतया विमोचितम् अस्ति!
मेटा आधिकारिकतया "मुक्तस्रोतः नूतनयुगस्य नेतृत्वं करोति" इति स्वरं प्रकाशितवान् ।
आधिकारिकब्लॉग् मध्ये मेटा अवदत् यत् - "अद्यपर्यन्तं मुक्तस्रोतबृहत्भाषाप्रतिमानाः कार्यक्षमतायाः कार्यक्षमतायाः च दृष्ट्या अधिकतया बन्दमाडलानाम् पृष्ठतः एव आसन्। अधुना, वयं मुक्तस्रोतस्य नेतृत्वे नूतनयुगस्य आरम्भं कुर्मः। वयं मेटा ल्लामा सार्वजनिकरूपेण विमोचितवन्तः 3.1 405B वयं मन्यामहे यत् इदं विश्वस्य बृहत्तमं शक्तिशाली च मुक्तस्रोत-आधार-प्रतिरूपम् अस्ति, अद्यपर्यन्तं सर्वेषु Llama-संस्करणेषु 300 मिलियन-अधिकं डाउनलोड्-कृतम्, वयं च अधुना एव आरभामः |”.
मेटा संस्थापकः मुख्यकार्यकारी च जुकरबर्ग् इत्यनेन अपि व्यक्तिगतरूपेण "Open Source AI Is the Path Forward" इति दीर्घः लेखः लिखितः, यत्र ओपन सोर्सः सर्वेषां विकासकानां, मेटा, विश्वस्य च कृते किमर्थं उत्तमं वस्तु अस्ति इति व्याख्यायते
अस्य विमोचनस्य मुख्यविषयाणि सन्ति-
पताः https://llama.meta.com/
नेटिजन्स् तत् डाउनलोड् कृत्वा तस्य प्रयोगं कर्तुं शक्नुवन्ति।
ल्लमा ३.१ परिचयः
Llama 3.1 405B प्रथमं सार्वजनिकरूपेण उपलब्धं मॉडलं यत् सामान्यज्ञानस्य, हेरफेरक्षमता, गणितस्य, उपकरणस्य उपयोगः, बहुभाषिकअनुवादस्य च दृष्ट्या शीर्ष एआइ मॉडल् प्रतिद्वन्द्वी भवति
मेटा कथयति यत् लामा इत्यस्य नवीनतमपीढी नूतनान् अनुप्रयोगान् प्रतिरूपणं च प्रेरयिष्यति, यत्र लघुमाडलानाम् उन्नयनार्थं प्रशिक्षितुं च सिंथेटिकदत्तांशजननस्य लाभः, मॉडल् आसवनं च अस्ति-एषा क्षमता मुक्तस्रोतस्थाने पूर्वं कदापि न प्राप्ता
तस्मिन् एव काले मेटा इत्यनेन 8B तथा 70B मॉडल् इत्यस्य उन्नतसंस्करणमपि प्रारब्धम्, येषु बहुभाषाणां समर्थनं भवति, सन्दर्भदीर्घता 128K भवति, तर्कक्षमता च सशक्ताः सन्ति नवीनतमाः प्रतिरूपाः उन्नत-उपयोग-प्रकरणानाम् समर्थनं कुर्वन्ति यथा दीर्घ-रूप-पाठ-सारांशः, बहुभाषिक-संभाषण-एजेण्ट्, कोडिंग्-सहायकाः च ।
यथा, Llama 3.1 कथाः स्पेन्भाषायां अनुवादयितुं शक्नोति :
यदा उपयोक्ता पृच्छति यत् "३ शर्ट्स्, ५ युग्मानि शॉर्ट्स्, १ वेषः च सन्ति। मानातु यत् भवान् १० दिवसान् यावत् यात्रां कर्तुं गच्छति। किं वस्त्राणि पर्याप्तरूपेण सज्जीकृतानि सन्ति?
दीर्घः सन्दर्भः : अपलोड् कृतानां दस्तावेजानां कृते Llama 3.1 8k टोकनपर्यन्तं बृहत् दस्तावेजानां विश्लेषणं सारांशं च कर्तुं समर्थः अस्ति ।
कोडिंग् सहायकः, उपयोक्तुः आवश्यकतानां कृते, शीघ्रं कोडं लिखितुं शक्नोति:
तदतिरिक्तं Llama 3.1 405B इत्यस्य विकासकः अपि "spoiler" इति ट्वीट् कृतवान् यत् GPT-4o इत्यादीनां स्वरस्य दृश्यक्षमतायाः च एकीकरणस्य मॉडलस्य विकासः अद्यापि विकासाधीनः अस्ति इति
मेटा इत्यनेन मुक्तस्रोत-अनुज्ञापत्रे अपि परिवर्तनं कृतम् यत् विकासकाः अन्येषां मॉडल्-सुधारार्थं ल्लामा-माडलस्य (४०५बी-सहितस्य) उत्पादनस्य उपयोगं कर्तुं शक्नुवन्ति । तदतिरिक्तं, स्वस्य मुक्तस्रोतप्रतिबद्धतायाः अनुरूपं अद्य आरभ्य मेटा एतानि आदर्शानि llama.meta.com तथा Hugging Face इत्यत्र डाउनलोड् कर्तुं समुदायाय उपलब्धं करोति।
download link:
आदर्श मूल्याङ्कनम्
मेटा इत्यस्य मूल्याङ्कनं १५० तः अधिकेषु बेन्चमार्क-दत्तांशसमूहेषु भवति, तदतिरिक्तं विस्तृतमानवमूल्यांकनम् ।
प्रयोगात्मकपरिणामेषु ज्ञायते यत् प्रमुखः मॉडलः Llama 3.1 405B कार्याणां श्रेण्यां GPT-4, GPT-4o तथा Claude 3.5 Sonnet इत्यादिभिः प्रमुखैः आधारमाडलैः सह प्रतिस्पर्धां करोति अपि च, 8B तथा 70B लघुप्रतिरूपाः समानसङ्ख्यायाः मापदण्डैः सह बन्द-स्रोत-मुक्त-स्रोत-प्रतिरूपैः सह प्रतिस्पर्धां कुर्वन्ति ।
आदर्श वास्तुकला
अद्यपर्यन्तं मेटा इत्यस्य बृहत्तमं मॉडल् इति नाम्ना १५ खरबतः अधिकानां टोकनानाम् उपयोगेन ल्लामा ३.१ ४०५बी इत्यस्य प्रशिक्षणं प्रमुखा आव्हाना अस्ति । अस्मिन् स्केले प्रशिक्षणं सक्षमं कर्तुं मेटा इत्यनेन सम्पूर्णं प्रशिक्षण-स्टैक् अनुकूलितं कृत्वा १६,००० तः अधिकेषु H100 GPUs इत्यत्र प्रशिक्षणं दत्तम्, येन एतत् मॉडल् अस्मिन् स्केल-मध्ये प्रशिक्षितं प्रथमं Llama मॉडलं जातम्
अस्य विषयस्य सम्बोधनाय मेटा इत्यनेन निम्नलिखितरूपेण डिजाइनविकल्पाः कृताः, यत्र मॉडलविकासप्रक्रियायाः स्केलयोग्यं सरलं च स्थापयितुं केन्द्रीकृताः ।
लामा इत्यस्य पूर्वसंस्करणानाम् अपेक्षया मेटा इत्यनेन पूर्वप्रशिक्षणार्थं प्रशिक्षणोत्तरं च प्रयुक्तानां आँकडानां परिमाणं गुणवत्ता च सुधारः कृतः, यथा पूर्वप्रशिक्षणदत्तांशस्य कृते अधिकसावधानीपूर्वकं पूर्वप्रक्रियाकरणप्रबन्धनपाइपलाइनविकासः, अधिककठोरगुणवत्तानिश्चयस्य विकासः च तथा प्रशिक्षणोत्तरदत्तांशस्य प्रबन्धनम्।
यथा भाषाप्रतिरूपमापननियमेभ्यः अपेक्षितं, मेटा इत्यस्य नूतनं प्रमुखप्रतिरूपं समानप्रक्रियायाः उपयोगेन प्रशिक्षितानां लघुमाडलानाम् अपेक्षया अधिकं प्रदर्शनं कृतवान् । मेटा लघुमाडलानाम् प्रशिक्षणोत्तरगुणवत्तां सुधारयितुम् 405B पैरामीटर् मॉडल् अपि उपयुज्यते ।
405B मॉडलस्य बृहत्-परिमाणस्य अनुमान-निर्गमस्य समर्थनार्थं मेटा इत्यनेन मॉडलस्य 16 बिट् (BF16) तः 8 बिट् (FP8) पर्यन्तं क्वाण्टीकरणं कृतम्, येन प्रभावीरूपेण आवश्यकाः कम्प्यूटिंग्-आवश्यकताः न्यूनीकृताः, मॉडल् एकस्मिन् सर्वर-नोड्-मध्ये चालयितुं च अनुमतिः दत्ता
आदेशं च गपशपं च tweaks
Llama 3.1 405B उपयोक्तृनिर्देशानां प्रतिक्रियारूपेण मॉडलानां उपयोगिता, गुणवत्ता, विस्तृतनिर्देशानुसरणं च सुधारयितुम् प्रयतते, तथा च उच्चस्तरस्य सुरक्षां सुनिश्चितं करोति।
प्रशिक्षणोत्तरपदे शोधदलेन पूर्वप्रशिक्षितप्रतिरूपस्य आधारेण संरेखणस्य अनेकपरिक्रमाः कृत्वा अन्तिमचैटप्रतिरूपं निर्मितम् प्रत्येकं दौरं पर्यवेक्षितं सूक्ष्म-ट्यूनिङ्गं (SFT), अस्वीकार-नमूनाकरणं (RS), प्रत्यक्ष-प्राथमिकता-अनुकूलनं (DPO) च सम्मिलितं भवति ।
शोधदलः SFT उदाहरणानां विशालबहुमतस्य उत्पादनार्थं कृत्रिमदत्तांशजननस्य उपयोगं करोति, यत्र सर्वेषु विशेषतासु अधिकगुणवत्तायुक्तं संश्लेषितदत्तांशं उत्पादयितुं बहुविधपुनरावृत्तयः भवति तदतिरिक्तं, शोधदलेन एतान् कृत्रिमदत्तांशं उच्चतमगुणवत्तापर्यन्तं छानयितुं तथा कार्यात्मकमापनीयतायां आँकडामात्रायाः सूक्ष्मतया ट्यून् कर्तुं बहुविधदत्तांशसंसाधनप्रविधिः नियोजितः
लामा प्रणाली
ल्लामा मॉडल् एआइ-प्रणाल्याः भागरूपेण सर्वदा अस्ति तथा च बाह्यसाधनानाम् आह्वानं सहितं बहुघटकानाम् समन्वयं कर्तुं शक्नोति । मेटा आधारप्रतिरूपात् परं गत्वा विकासकानां कृते तेषां दृष्टेः अनुरूपं कस्टम् उत्पादानाम् डिजाइनं निर्मातुं च लचीलतां दातुं डिजाइनं कृतम् अस्ति ।
मॉडल्-स्तरात् परं एआइ-इत्यस्य उत्तरदायित्वपूर्वकं विकासाय मेटा-संस्थायाः सम्पूर्णं सन्दर्भ-प्रणालीं विमोचितवती यस्मिन् बहुविध-उदाहरण-अनुप्रयोगाः अपि च नूतनाः घटकाः सन्ति यथा Llama Guard 3, बहुभाषिक-सुरक्षा-प्रतिरूपः, Prompt Guard, एकः प्रॉम्प्ट्-इञ्जेक्शन्-छिद्रकः च एते नमूनानुप्रयोगाः मुक्तस्रोतः सन्ति, मुक्तस्रोतसमुदायेन च निर्मितुं शक्यन्ते ।
घटकानां अन्तरफलकानि उत्तमरीत्या परिभाषितुं सहायतार्थं उद्योगेन, स्टार्टअपैः, मुक्तस्रोतसमुदायेन च अधिकव्यापकरूपेण सहकार्यं कर्तुं मेटा इत्यनेन GitHub इत्यत्र "Llama Stack" इत्यस्य टिप्पणीनुरोधः प्रकाशितः Llama Stack इति कैनोनिकल् टूल्चेन् घटकानां (फाईन-ट्यूनिङ्ग्, सिंथेटिक डाटा जनरेशन) एजेण्ट् अनुप्रयोगानाम् निर्माणार्थं मानकीकृत-अन्तरफलकानां समुच्चयः अस्ति । एतेन अन्तरक्रियाशीलतां अधिकसुलभतया प्राप्तुं साहाय्यं भवति ।
बन्दमाडलस्य विपरीतम्, लामा मॉडलस्य भाराः डाउनलोड् कर्तुं उपलभ्यन्ते । विकासकाः स्वस्य आवश्यकतानां अनुप्रयोगानाञ्च अनुरूपं प्रतिरूपं पूर्णतया अनुकूलितुं, नूतनदत्तांशसमूहेषु प्रशिक्षणं कर्तुं, अतिरिक्तं सूक्ष्म-समायोजनं कर्तुं च शक्नुवन्ति ।
Llama 3.1 405B इत्यस्य उपयोगेन विकसितम्
साधारणविकासकानाम् कृते 405B इत्यादीनां बृहत्परिमाणस्य प्रतिरूपस्य परिनियोजनं निःसंदेहं एकं आव्हानं भवति, तदर्थं च बहुमात्रायां कम्प्यूटिंगसंसाधनानाम्, व्यावसायिककौशलस्य च आवश्यकता भवति विकासकसमुदायेन सह संवादं कुर्वन् मेटा इत्यनेन अवगतम् यत् जननात्मक-एआइ-विकासः केवलं प्रतिरूपे प्रॉम्प्ट्-निवेशनात् अधिकः अस्ति । ते अपेक्षां कुर्वन्ति यत् सर्वे विकासकाः निम्नलिखितक्षेत्रेषु Llama 3.1 405B इत्यस्य क्षमतायाः पूर्णतया शोषणं करिष्यन्ति।
प्रक्षेपणात् आरभ्य विकासकानां कृते तत्क्षणमेव आरम्भं कर्तुं Llama 3.1 405B मॉडलस्य सर्वाणि उन्नतविशेषतानि उपलभ्यन्ते । विकासकाः उच्चक्रमस्य कार्यप्रवाहस्य अन्वेषणमपि कर्तुं शक्नुवन्ति, यथा मॉडल-आसवनस्य आधारेण कृत्रिम-दत्तांश-जननम् । अस्मिन् उन्नयनस्य मध्ये मेटा अधिकं कुशलं पुनर्प्राप्तिवर्धनजननं (RAG) प्राप्तुं भागिनैः AWS, NVIDIA तथा Databricks इत्यनेन प्रदत्तान् समाधानानपि निर्विघ्नतया एकीकृत्य स्थापयति तदतिरिक्तं, मेघे मॉडल् परिनियोजनाय न्यून-विलम्ब-अनुमानार्थं Groq अनुकूलितं कृतम् अस्ति, तथा च स्थानीय-प्रणालीनां कृते अपि एतादृशाः कार्यप्रदर्शन-सुधाराः कृताः सन्ति
मेटा इत्यनेन अस्मिन् समये Llama 3.1 405B इत्यस्य कृते "tool gift package" अपि निर्मितम् अस्ति, यत्र vLLM, TensorRT तथा PyTorch इत्यादीनि प्रमुखाः परियोजनानि सन्ति, मॉडलविकासात् "out of the box" परिनियोजनपर्यन्तं, एकस्मिन् चरणे
सन्दर्भलिङ्कः https://ai.meta.com/blog/meta-llama-3-1/
नवीनतमवार्तासूचनाः संग्रह्य व्यवस्थित्य सर्वेषां कृते निःशुल्कं पश्यन्तु।
