2024-07-16
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
मशीन हृदय रिपोर्ट
सम्पादक: पाण्डा
LLM इत्यस्मै कारणशृङ्खलां दर्शयतु ततः स्वयंसिद्धानि ज्ञातुं शक्नोति।
एआइ पूर्वमेव गणितज्ञानाम् वैज्ञानिकानां च शोधकार्यं कर्तुं साहाय्यं कुर्वन् अस्ति उदाहरणार्थं प्रसिद्धः गणितज्ञः टेरेन्स ताओ जीपीटी इत्यादीनां एआइ-उपकरणानाम् साहाय्येन स्वस्य शोधस्य अन्वेषणस्य च अनुभवं बहुवारं साझां कृतवान् अस्ति। एतेषु क्षेत्रेषु एआइ स्पर्धां कर्तुं दृढाः विश्वसनीयाः च कारणतर्कक्षमता अत्यावश्यकाः सन्ति ।
अस्मिन् लेखे प्रस्तुते शोधकार्य्ये ज्ञातं यत् लघुलेखेषु कारणसंक्रमणशीलतास्वसिद्धतायाः प्रदर्शनेषु प्रशिक्षितः ट्रांसफार्मरप्रतिरूपः बृहत्लेखेषु संक्रामकतास्वतःसिद्धतायाः सामान्यीकरणं कर्तुं शक्नोति।
अन्येषु शब्देषु यदि परिवर्तकः सरलकारणतर्कं कर्तुं शिक्षते तर्हि अधिकजटिलकारणतर्कस्य कृते तस्य उपयोगः भवितुं शक्नोति । दलेन प्रस्तावितं स्वयंसिद्धं प्रशिक्षणरूपरेखा निष्क्रियदत्तांशस्य आधारेण कारणतर्कं ज्ञातुं नूतनं प्रतिमानं भवति, यस्य उपयोगेन मनमाना स्वयंसिद्धानि ज्ञातुं शक्यन्ते यावत् प्रदर्शनं पर्याप्तं भवति।
आमुख
कारणतर्कं पूर्वनिर्धारितस्वयंसिद्धानां वा नियमानाम् अनुरूपं तर्कप्रक्रियासमूहः इति परिभाषितुं शक्यते ये विशेषतया कारणतां सम्बोधयन्ति । यथा, d-पृथक्करणं (निर्देशितपृथक्करणं) तथा do-गणनानियमाः स्वयंसिद्धाः इति गणयितुं शक्यन्ते, यदा तु टकरावसमूहस्य अथवा पृष्ठाङ्गणसमूहस्य विनिर्देशाः स्वयंसिद्धेभ्यः व्युत्पन्नाः नियमाः इति गणयितुं शक्यन्ते
सामान्यतया कारणानुमानं प्रणाल्यां चरानाम् अनुरूपं दत्तांशं उपयुज्यते । स्वयंसिद्धानि अथवा नियमाः नियमितीकरणेन, प्रतिरूपवास्तुकला, अथवा विशिष्टचरचयनस्य माध्यमेन आगमनात्मकपूर्वग्रहरूपेण यन्त्रशिक्षणप्रतिरूपेषु एकीकृताः कर्तुं शक्यन्ते
जुडिया पर्लस्य "कारणसीढी" उपलब्धानां दत्तांशस्य प्रकारेषु (अवलोकनदत्तांशः, हस्तक्षेपदत्तांशः, प्रतितथ्यदत्तांशः) भेदानाम् आधारेण कारणानुमानस्य सम्भाव्यप्रकारान् परिभाषयति
यतः स्वयंसिद्धाः कारणतायाः आधारशिला एव सन्ति, अतः वयं स्वयमेव चिन्तयितुं न शक्नुमः यत् किं वयं प्रत्यक्षतया यन्त्रशिक्षणप्रतिमानानाम् उपयोगं कृत्वा स्वयंसिद्धानां शिक्षणं कर्तुं शक्नुमः वा इति। अर्थात् यदि स्वयंसिद्धानां शिक्षणस्य मार्गः कस्यापि दत्तांशजननप्रक्रियायाः माध्यमेन प्राप्तदत्तांशं ज्ञातुं न भवति, अपितु प्रत्यक्षतया स्वयंसिद्धानां प्रतीकात्मकप्रदर्शनानि ज्ञातुं (एवं च कारणतर्कं ज्ञातुं) भवति तर्हि किम्?
विशिष्टदत्तांशवितरणस्य उपयोगेन निर्मितकार्यविशिष्टकारणप्रतिरूपैः सह तुलने एतादृशस्य प्रतिरूपस्य लाभः अस्ति यत् एतत् विविधविभिन्न-अधःप्रवाहपरिदृश्येषु कारणानुमानं सक्षमं कर्तुं शक्नोति यथा यथा भाषाप्रतिमानाः प्राकृतिकभाषायां व्यक्तानि प्रतीकात्मकदत्तांशं ज्ञातुं क्षमताम् प्राप्नुवन्ति तथा तथा एषः प्रश्नः महत्त्वपूर्णः भवति ।
वस्तुतः, केचन अद्यतनसंशोधनं प्राकृतिकभाषायां कारणानुमानसमस्यानां संकेतकं कृत्वा मानदण्डान् निर्माय बृहत्भाषाप्रतिमानानाम् (LLMs) कारणानुमानं कर्तुं क्षमतायाः मूल्याङ्कनं कृतवती अस्ति
माइक्रोसॉफ्ट, एमआईटी, भारतीयप्रौद्योगिकीसंस्थान हैदराबाद (IIT हैदराबाद) इत्येतयोः शोधदलेन अपि अस्मिन् दिशि महत्त्वपूर्णं कदमः गृहीतः अस्ति यत् प्रस्तावः कस्वयंसिद्धप्रशिक्षणद्वारा कारणतर्कं ज्ञातुं पद्धतयः。
स्वयंसिद्ध प्रशिक्षण
तेषां परिकल्पना अभवत् यत् कारणात्मकं स्वयंसिद्धं निम्नलिखितरूपेण व्यक्तं कर्तुं शक्यते ⟨प्रत्ययम्, परिकल्पना, परिणामः । तेषु परिकल्पना परिकल्पनां निर्दिशति अर्थात् कारणकथनं आधारः, यत् कथनं "सत्यम्" इति निर्धारयितुं प्रयुक्ता कस्यापि प्रासंगिकसूचनायाः संदर्भं ददाति परिणामः सरलः "हाँ" अथवा "न" भवितुम् अर्हति ।
यथा, "किं बृहत्भाषाप्रतिमानाः सहसंबन्धात् कारणत्वं अनुमानयितुं शक्नुवन्ति?"
अस्य टेम्पलेट् इत्यस्य आधारेण चरनामानि, चरसङ्ख्याः, चरक्रमः इत्यादीनि परिवर्त्य बहूनां सिंथेटिक ट्युपल्स् उत्पन्नं कर्तुं शक्यते ।
कारणात्मकं स्वयंसिद्धं ज्ञातुं तथा च स्वयंसिद्धप्रशिक्षणं कार्यान्वितुं ट्रांसफार्मरस्य उपयोगाय दलेन आँकडासमूहानां, हानिकार्यस्य, स्थितिनिक्षेपणस्य च निर्माणार्थं निम्नलिखितपद्धतीनां उपयोगः कृतः
स्वयंसिद्धप्रशिक्षणम् : आँकडासंग्रहः, हानिकार्यं, तथा च स्थितिसंकलनम्
प्रशिक्षणदत्तांशः
विशिष्टस्य स्वयंसिद्धस्य आधारेण "परिकल्पना" "परिकल्पना" इत्यस्य आधारेण समुचितलेबलं (हाँ वा न वा) प्रति नक्शाङ्कनं कर्तुं शक्यते । प्रशिक्षणदत्तांशसमूहं निर्मातुं, दलं विशिष्टचरसेटिंग्स् X, Y, Z, A इत्यस्य अन्तर्गतं सर्वाणि सम्भाव्य ट्युपल्स् {(P, H, L)}_N गणयति, यत्र P आधारः अस्ति तथा च H परिकल्पना अस्ति , L लेबलम् अस्ति (आम् वा न वा)।
कस्यचित् कारणचित्रस्य आधारेण P इति आधारं दत्तं यदि विशिष्टस्य स्वयंसिद्धस्य (एकं वा अधिकं वा) उपयोगेन P परिकल्पना व्युत्पन्नं कर्तुं शक्यते, तर्हि L इति लेबलं हाँ इति भवति
यथा, कल्पयतु यत् प्रणाल्याः अन्तर्निहितस्य वास्तविककारणचित्रस्य श्रृङ्खलाटोपोलॉजी अस्ति : X_1 → X_2 → X_3 →・・・→ X_n । ततः, सम्भाव्यः प्रत्ययः X_1 → X_2 ∧ X_2 → X_3, ततः X_1 → इति कल्पयतु उपर्युक्तानि स्वयंसिद्धानि अधिकजटिलप्रशिक्षणट्यूपल्सजननार्थं बहुवारं आगमनात्मकरूपेण उपयोक्तुं शक्यन्ते ।
प्रशिक्षणसेटिंग् कृते संक्रमणशीलता स्वयंसिद्धेन उत्पन्नानां N स्वयंसिद्धदृष्टान्तानां उपयोगेन कृत्रिमदत्तांशसमूहः D निर्मितः भवति । D इत्यस्मिन् प्रत्येकं उदाहरणं (P_i, H_ij, L_ij) रूपस्य निर्मितं भवति, यत्र n प्रत्येकस्मिन् i-तमे परिसरे नोडसङ्ख्या अस्ति । P इति आधारः, अर्थात् कस्यचित् कारणसंरचनायाः प्राकृतिकभाषाव्यञ्जना (यथा X कारणं Y, Y कारणं Z भवति तदनन्तरं H प्रश्नः (यथा X कारणं Y?); अथवा न)। एतत् रूपं दत्तकारणलेखे प्रत्येकस्य अद्वितीयशृङ्खलायाः कृते सर्वाणि नोडयुग्मानि प्रभावीरूपेण आच्छादयति ।
हानि कार्य
एकं दत्तांशसमूहं दत्तं, हानिकार्यं प्रत्येकस्य ट्युपलस्य भूमिसत्यलेबलस्य आधारेण परिभाषितं भवति, यत् एतादृशं व्यक्तं भवति: विश्लेषणं दर्शयति यत् एतस्य हानिस्य उपयोगेन अग्रिमटोकनपूर्वसूचनायाः तुलने आशाजनकं परिणामं दातुं शक्यते
स्थितिसङ्केतनीकरणम्
प्रशिक्षणस्य हानिकार्यस्य च अतिरिक्तं स्थितिसङ्केतनस्य चयनम् अन्यत् महत्त्वपूर्णं कारकम् अस्ति । स्थितिसङ्केतनं क्रमे टोकनस्य निरपेक्षस्य सापेक्षिकस्य च स्थितिविषये प्रमुखसूचनाः दातुं शक्नोति ।
प्रसिद्धः पत्रः "Attention is all you need" इति एकं निरपेक्षं स्थितिसङ्केतनरणनीतिं प्रस्तावयति यत् एतेषां कोडानाम् आरम्भार्थं आवधिकफलनस्य (sine अथवा cosine function) उपयोगं करोति
निरपेक्षस्थानसङ्केतनं कस्यापि अनुक्रमदीर्घतायाः सर्वेषां स्थानानां कृते नियतमूल्यानि प्रदाति । परन्तु केचन शोधकार्यं दर्शयति यत् निरपेक्षस्थानसङ्केतनं परिवर्तकस्य दीर्घतासामान्यीकरणकार्यस्य सामना कर्तुं कठिनम् अस्ति । शिक्षणीय APE रूपान्तरे प्रत्येकं स्थितिं एम्बेडिंग् यादृच्छिकरूपेण आरभ्यते, मॉडलस्य उपयोगेन प्रशिक्षितं च भवति । एषा पद्धतिः प्रशिक्षणकाले अपेक्षया दीर्घतरैः क्रमैः सह संघर्षं करोति, यतः नूतनाः स्थाननिक्षेपाः अद्यापि अप्रशिक्षिताः अप्रारब्धाः च सन्ति ।
रोचकं तत् अस्ति यत्, अद्यतननिष्कर्षाः सूचयन्ति यत् स्व-प्रतिगमन-प्रतिरूपेभ्यः स्थानिक-एम्बेडिंग्-हस्तीकरणेन प्रतिरूपस्य लम्बता-सामान्यीकरण-क्षमतासु सुधारः भवति, तथा च स्व-प्रतिगमन-विकोड-काले ध्यान-तन्त्रं स्थिति-सूचनाः एन्कोड्-करणाय पर्याप्तं भवति कारणकार्य्येषु सामान्यीकरणे तेषां प्रभावं अवगन्तुं दलेन भिन्न-भिन्न-स्थिति-सङ्केतनानां उपयोगः कृतः, यत्र शिक्षनीय-स्थिति-सङ्केतनं (LPE), साइनसॉइडल-स्थिति-सङ्केतनं (SPE), तथा च स्थिति-सङ्केतनं नास्ति (NoPE) च सन्ति
मॉडलस्य सामान्यीकरणक्षमतां सुधारयितुम्, दलेन दत्तांशक्षोभानां अपि उपयोगः कृतः, यत्र दीर्घतायाः, नोड्-नामस्य, श्रृङ्खलाक्रमस्य, शाखा-स्थितेः च क्षोभाः सन्ति
प्रयोगं
पुनः प्रश्नः उद्भवति यत् यदि एतस्य दत्तांशस्य उपयोगेन कश्चन प्रतिरूपः प्रशिक्षितः भवति तर्हि आदर्शः नूतनपरिदृश्येषु स्वयंसिद्धं प्रयोक्तुं शिक्षितुं शक्नोति वा?
अस्य प्रश्नस्य उत्तरं दातुं दलेन अस्य कारणात्मकस्वतन्त्रस्य स्वयंसिद्धस्य प्रतीकात्मकप्रदर्शनस्य उपयोगेन आद्यतः एव Transformer मॉडलं प्रशिक्षितम् ।
स्वस्य सामान्यीकरणप्रदर्शनस्य मूल्याङ्कनार्थं ते ३-६ आकारस्य नोड्सस्य सरलकारणस्वतन्त्रस्वतन्त्रशृङ्खलासु प्रशिक्षितवन्तः ततः सामान्यीकरणप्रदर्शनस्य अनेकविभिन्नपक्षेषु परीक्षणं कृतवन्तः, यथा लम्बतासामान्यीकरणप्रदर्शनस्य (आकारस्य ७-१५ श्रृङ्खलाः), नामसामान्यीकरणं (दीर्घतरचरनामानि), क्रमिकसामान्यीकरणं (विपरीतधारयुक्ताः श्रृङ्खलाः अथवा घुमावदारनोडाः), संरचनात्मकसामान्यीकरणं (शाखायुक्ताः आलेखाः) । चित्रे १ ट्रांसफॉर्मरस्य संरचनात्मकसामान्यीकरणस्य मूल्याङ्कनस्य एकः उपायः दर्शितः अस्ति ।
विशेषतः ते GPT-2 आर्किटेक्चर इत्यस्य आधारेण ६७ मिलियनं मापदण्डैः सह डिकोडर-आधारितं मॉडलं प्रशिक्षितवन्तः । अस्मिन् मॉडले १२ ध्यानस्तराः, ८ ध्यानशिरः, ५१२ एम्बेडिंग् आयामाः च सन्ति । ते प्रत्येकस्मिन् प्रशिक्षणदत्तांशसमूहे आद्यतः एव आदर्शं प्रशिक्षयन्ति स्म । पोजीशन एम्बेडिंग् इत्यस्य प्रभावं अवगन्तुं तेषां कृते त्रीणि पोजीशन एम्बेडिंग् सेटिंग्स् अपि अध्ययनं कृतम् : साइनसॉइडल् पोजीशन एन्कोडिंग् (SPE), लर्नेबल पोजीशन एन्कोडिंग् (LPE), नो पोजीशन एन्कोडिंग् (NoPE) च
परिणामाः सारणी १, चित्रे ३, चित्रे ४ च दर्शिताः सन्ति ।
सारणी 1 प्रशिक्षणकाले न दृष्टेषु बृहत्तरेषु कारणशृङ्खलेषु मूल्याङ्कनं कृत्वा भिन्न-भिन्न-प्रतिमानानाम् सटीकता प्रस्तुता अस्ति । द्रष्टुं शक्यते यत् नूतनस्य मॉडलस्य TS2 (NoPE) इत्यस्य कार्यक्षमता खरब-पैरामीटर्-स्केल-युक्तस्य GPT-4 इत्यस्य कार्यक्षमतायाः तुलनीयम् अस्ति ।
चित्र 3 दीर्घतरनोडनाम (प्रशिक्षणसमूहे स्थापितानां अपेक्षया दीर्घकालं) युक्तेषु कारणक्रमेषु सामान्यीकरणक्षमतायाः मूल्याङ्कनपरिणामान् भिन्नस्थाननिक्षेपाणां प्रभावं च दर्शयति
चित्रे ४ दीर्घकालं यावत् अदृष्टकारणक्रमस्य सामान्यीकरणक्षमतायाः मूल्याङ्कनं कृतम् अस्ति ।
तेषां ज्ञातं यत् सरलशृङ्खलासु प्रशिक्षिताः प्रतिमानाः बृहत्तरशृङ्खलासु स्वयंसिद्धानां बहुविधप्रयोगानाम् सामान्यीकरणं कुर्वन्ति, परन्तु क्रमिकं वा संरचनात्मकसामान्यीकरणं इत्यादिषु अधिकजटिलपरिदृश्येषु सामान्यीकरणं कर्तुं असफलाः भवन्ति परन्तु यदि मॉडलं सरलशृङ्खलानां तथा च यादृच्छिकविपरीतधारयुक्तशृङ्खलानां युक्ते मिश्रितदत्तांशसमूहे प्रशिक्षितं भवति तर्हि प्रतिरूपं विविधमूल्यांकनपरिदृश्यानां कृते सम्यक् सामान्यीकरणं करोति
एनएलपी कार्येषु लम्बतासामान्यीकरणस्य परिणामान् विस्तारयन् तेषां लम्बतादिमात्रासु कारणसामान्यीकरणं सुनिश्चित्य स्थितिनिहितानाम् महत्त्वं आविष्कृतम् तेषां सर्वोत्तमप्रदर्शनस्य प्रतिरूपस्य स्थितिसङ्केतनं नासीत्, परन्तु तेषां ज्ञातं यत् केषुचित् परिस्थितिषु साइनसॉइडलसङ्केतनं सम्यक् कार्यं करोति ।
इयं स्वयंसिद्धप्रशिक्षणपद्धतिः अधिककठिनसमस्यायाः सामान्यीकरणं अपि कर्तुं शक्यते, यथा चित्रे ५ दर्शितम् अस्ति । अर्थात् सांख्यिकीयस्वतन्त्रतायाः कथनयुक्तपरिसरस्य आधारेण कार्यलक्ष्यं कारणात् सहसंबन्धस्य भेदः भवति । अस्य कार्यस्य समाधानार्थं d-पृथक्करणं, मार्कोवगुणाः च इत्यादीनां अनेकानाम् स्वयंसिद्धानां ज्ञानस्य आवश्यकता भवति ।
दलेन उपरिष्टाद् एव पद्धत्या कृत्रिमप्रशिक्षणदत्तांशः उत्पन्नः, ततः एकं प्रतिरूपं प्रशिक्षितं, तथा च ज्ञातं यत् ३-४ चरयुक्ते कार्यप्रदर्शने प्रशिक्षितः ट्रांसफार्मरः ५ चरयुक्तस्य आलेखकार्यस्य समाधानं कर्तुं शिक्षितुं शक्नोति तथा च अस्मिन् कार्ये अस्य मॉडलस्य सटीकता GPT-4, Gemini Pro इत्यादीनां बृहत्तराणां LLMs इत्यस्य अपेक्षया अधिका अस्ति ।
दलेन उक्तं यत् - "अस्माकं शोधं स्वयंसिद्धानां प्रतीकात्मकप्रदर्शनानां माध्यमेन कारणतर्कं ज्ञातुं प्रतिमानं शिक्षितुं नूतनं प्रतिमानं प्रदाति, यत् वयं स्वयंसिद्धप्रशिक्षणं वदामः, अस्याः पद्धतेः आँकडाजननम् प्रशिक्षणप्रक्रिया च सार्वत्रिकम् अस्ति : यावत्कालं यावत् स्वयंसिद्धं भवितुम् अर्हति प्रतीकात्मकस्य ट्युपलस्य प्रारूपेण व्यक्तं भवति चेत्, एतत् पद्धत्या शिक्षितुं शक्यते ।
नवीनतमवार्तासूचनाः संग्रह्य व्यवस्थित्य सर्वेषां कृते निःशुल्कं पश्यन्तु।
