समाचारं

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

यद्यपि गहनशिक्षणेन अन्तिमेषु वर्षेषु महती सफलता प्राप्ता तथापि तस्य सिद्धान्तस्य विषये जनानां अवगमनं अद्यापि पश्चात् अस्ति ।

अस्य कारणात् गहनशिक्षणस्य हानिकार्यं अनुकूलनप्रक्रिया च सैद्धान्तिकदृष्ट्या व्याख्यातुं प्रयतन्ते ये शोधविषयाणि अधिकं ध्यानं प्राप्तवन्तः।

यद्यपि गहनशिक्षणे प्रयुक्तानि हानिकार्यं सामान्यतया उच्च-आयामी-जटिल-ब्लैक-बॉक्स-कार्यं इति गण्यते, तथापि एतत् मन्यते यत् एतेषु कार्येषु, विशेषतः वास्तविक-प्रशिक्षण-प्रक्षेपवक्रयोः सम्मुखीभूतानि, जटिल-सौम्य-संरचनानि सन्ति, ये प्रभावीरूपेण ढाल-आधारित-अनुकूलन-प्रक्रियायाः प्रवर्तनं कर्तुं शक्नुवन्ति

अन्येषु बह्वीषु वैज्ञानिकविषयेषु इव गहनशिक्षणस्य सिद्धान्तस्य निर्माणे एकं प्रमुखं सोपानं प्रयोगेभ्यः आविष्कृतानां अतुच्छघटनानां अवगमनेन तेषां अन्तर्निहिततन्त्राणां स्पष्टीकरणे निहितम् अस्ति

अधुना एव क्षेत्रे विद्वांसः एकं आश्चर्यजनकं घटनां आविष्कृतवन्तः-Mode Connectivity इति।

अर्थात् द्वयोः स्वतन्त्रयोः ढाल-अनुकूलयोः माध्यमेन प्राप्ताः भिन्नाः इष्टतमबिन्दवः पैरामीटर्-अन्तरिक्षे सरलमार्गेण संयोजितुं शक्यन्ते, तथा च मार्गे हानिः सटीकता वा प्रायः नित्यं तिष्ठति

एषा घटना निःसंदेहं आश्चर्यजनकं भवति यतोहि अ-उत्तल-कार्यस्य भिन्नाः इष्टतमबिन्दवः भिन्न-भिन्न-पृथक् "उपत्यकेषु" स्थिताः भवितुम् अर्हन्ति

परन्तु व्यवहारे प्राप्तानां इष्टतमबिन्दूनां कृते एतत् न भवति ।

किं अधिकं रोचकं यत् केचन शोधकर्तारः Linear Mode Connectivity इति आविष्कृतवन्तः यत् Mode Connectivity इत्यस्मात् अधिकं प्रबलम् अस्ति।

रेखीयविधासंयोजकतायाः विषये शोधं दर्शयति यत् रेखीयमार्गैः भिन्नाः इष्टतमबिन्दवः संयोजिताः भवितुम् अर्हन्ति ।

यद्यपि पूर्णतया स्वतन्त्रौ जालद्वयं सामान्यतया रेखीयविधसंयोजनं न सन्तुष्टं करिष्यति तथापि जालं प्राप्तुं द्वौ उपायौ स्तः यत् करोति:

प्रथमं जालं Spawning Method इति ।

यदा जालम् आरम्भात् आरभ्य अल्पसंख्याकानां युगानां कृते प्रशिक्षते तदा द्वौ जालौ प्राप्तुं मापदण्डाः प्रतिलिपिताः भवन्ति । ततः द्वयोः जालयोः भिन्न-भिन्न-संयोग-अन्तर्गतं स्वतन्त्रतया प्रशिक्षणं निरन्तरं भवति स्म ।

द्वितीयं जालं Permutation Method इति ।

अर्थात् प्रथमं जालद्वयं स्वतन्त्रतया प्रशिक्षितं भवति, ततः एकस्य जालस्य न्यूरॉन्सस्य पुनः व्यवस्थापनं भवति यत् अन्यस्य जालस्य न्यूरॉन् सह मेलनं भवति

पूर्वस्मिन् कार्ये शङ्घाई जिओ टोङ्ग विश्वविद्यालयस्य डॉ. झोउ झानपेङ्गः शङ्घाई कृत्रिमबुद्धिप्रयोगशालायाः सहकारिणः च रेखीयमोडसंपर्कस्य व्याख्यां फीचर-शिक्षणस्य दृष्ट्या आशां कृतवन्तः

तथा च प्रश्नं स्थापयति यत् प्रशिक्षितजालद्वयस्य भारस्य रेखीयरूपेण प्रक्षेपणं कुर्वन् आन्तरिकविशेषतानां किं भवति?

चित्र |.

शोधद्वारा तेषां ज्ञातं यत् प्रायः सर्वेषु स्तरेषु विशेषताः रेखीयसंयोजनस्य एकं प्रबलं रूपमपि तृप्तयन्ति: अर्थात् भारप्रक्षेपणजाले विशेषतानक्शाः मूलजालद्वये विशेषतानक्शानां रेखीयप्रक्षेपणेन सह प्रायः समानाः सन्ति

ते एतां घटनां Layerwise Linear Feature Connectivity इति वदन्ति ।

तदतिरिक्तं तेषां ज्ञातं यत् Layerwise Linear Feature Connectivity सर्वदा Linear Mode Connectivity इत्यस्य समानसमये भवति ।

तथा च एतत् नियमं सिद्धयति यत् यदि एकस्मिन् एव दत्तांशसमूहे प्रशिक्षितौ मॉडलौ Layerwise Linear Feature Connectivity इत्यस्य सन्तुष्टिं कुर्वतः, तर्हि ते एकस्मिन् समये Linear Mode Connectivity इत्यपि सन्तुष्टुं शक्नुवन्ति

ततः परं शोधदलेन Layerwise Linear Feature Connectivity इत्यस्य कारणानां गहनं अध्ययनं कृतम् ।

तथा च द्वौ प्रमुखौ शर्तौ चिह्नितौ: ReLU कार्यस्य दुर्बलं योजकता तथा च प्रशिक्षितजालद्वयस्य मध्ये परिवर्तनीयगुणः।

एतयोः शर्तयोः आरभ्य ते सिद्धं कृतवन्तः यत् ते ReLU संजाले Layerwise Linear Feature Connectivity प्राप्तवन्तः तथा च एतयोः शर्तयोः प्रयोगात्मकरूपेण सत्यापनम् अकरोत्

तस्मिन् एव काले ते अपि सिद्धवन्तः यत् क्रमपरिवर्तनविधिः द्वौ जालौ परस्परविनिमययोग्यं कृत्वा Linear Mode Connectivity इत्यस्य तृप्तिं कर्तुं समर्थयति

सामान्यतया शोधदलेन रेखीयगुणः प्राप्तः यः रेखीयविधसंयोजनापेक्षया अधिकं सूक्ष्मकणिकायुक्तः भवति तथा च तंत्रिकाजालं अधिकतया सन्तुष्टं कर्तुं शक्नोति

परन्तु उपर्युक्तानि निष्कर्षाणि सर्वाणि एकस्मिन् एव दत्तांशसमूहे प्रशिक्षितजालस्य आधारेण भवन्ति ।

अतः, तेषां नूतनः प्रश्नः उत्थापितः यत् भिन्न-भिन्न-दत्तांश-समूहेषु प्रशिक्षितयोः मॉडलयोः स्तर-वार-रेखीय-विशेषता-संयोजनं स्थापयितुं शक्यते वा?

दलेन अवलोकितं यत् स्पॉनिंग् मेथड् पूर्व-प्रशिक्षण-सूक्ष्म-ट्यूनिङ्ग-प्रशिक्षण-प्रतिमानस्य अतीव समीपे अस्ति । अर्थात् Spawning Method तथा fine-tuning इत्येतयोः द्वयोः अपि आरम्भः एकस्मात् मॉडलात् भवति यत् अग्रे प्रशिक्षणं कर्तुं किञ्चित्कालं यावत् प्रशिक्षितः अस्ति ।

परन्तु स्पॉनिंग् मेथड् इत्यस्मिन् मॉडल् एकस्मिन् एव दत्तांशसमूहे प्रशिक्षितं निरन्तरं भवति, यदा तु सूक्ष्म-ट्यूनिङ्ग् इत्यस्मिन् मॉडल् भिन्न-भिन्न-दत्तांशसमूहेषु प्रशिक्षितं कर्तुं शक्यते ।

अद्यतनकार्य्ये तेषां ज्ञातं यत् पूर्व-प्रशिक्षण-सूक्ष्म-ट्यूनिङ्ग-प्रतिमानस्य अन्तर्गतं भिन्नाः सूक्ष्म-समायोजन-प्रतिमानाः स्तर-वार-रेखीय-विशेषता-संपर्कस्य गुणान् अपि सन्तुष्टयन्ति, यत् शोध-दलः क्रॉस्-टास्क-रेखीयता इति कथयति

ज्ञातं यत् पूर्व-प्रशिक्षण-सूक्ष्म-ट्यूनिङ्ग-प्रतिमानस्य अन्तर्गतं, जालम् वस्तुतः पैरामीटर्-स्थानात् विशेषता-स्थानपर्यन्तं रेखीय-मानचित्रणस्य अधिकं अनुमानितम् अस्ति

अर्थात् Cross-Task Linearity Layerwise Linear Feature Connectivity इत्यस्य परिभाषां भिन्न-भिन्न-दत्तांशसमूहेषु प्रशिक्षितेषु मॉडल्-मध्ये विस्तारयति ।

रोचकं तत् अस्ति यत्, दलेन Cross-Task Linearity इत्यस्य निष्कर्षाणां उपयोगः अपि द्वयोः सामान्ययोः मॉडल फ्यूजन तकनीकयोः व्याख्यानार्थं कृतः ।

प्रथमं, Model Averaging एकस्मिन् एव दत्तांशसमूहे सूक्ष्मतया ट्यून् कृतानां बहुविधमाडलानाम् भारस्य औसतं गृह्णाति परन्तु भिन्नानां हाइपरपैरामीटर् विन्यासानां उपयोगेन, तस्मात् सटीकतायां दृढतायां च सुधारः भवति

अध्ययने शोधसमूहस्य औसतभारस्य व्याख्या प्रत्येकस्मिन् स्तरे विशेषतानां औसतरूपेण कृता, अतः मॉडल एवरेजिंग् तथा मॉडल् एकीकरणयोः मध्ये निकटसम्बन्धः स्थापितः, अतः मॉडल एवरेजिंग् इत्यस्य प्रभावशीलतायाः व्याख्यानं कृतम्

द्वितीयं, सरलगणितीयसञ्चालनैः सह, कार्यगणितं भिन्नकार्ययोः सूक्ष्मतया ट्यून्ड् कृतानां मॉडलानां भारं संयोजयित्वा तदनुसारं मॉडलस्य व्यवहारं नियन्त्रयितुं शक्नोति

शोधस्य समये दलेन पैरामीटर् स्पेस इत्यस्मिन् अंकगणितक्रियाः फीचर स्पेस इत्यस्मिन् ऑपरेशन्स् इति परिणमिताः, येन फीचर लर्निंग् इत्यस्य दृष्ट्या कार्यगणितस्य व्याख्या कृता

तदनन्तरं तेषां कृते क्रॉस्-टास्क रेखीयता यस्मिन् परिस्थितौ भवति तस्य अन्वेषणं कृत्वा क्रॉस्-टास्क रेखीयतायां पूर्वप्रशिक्षणस्य महत्त्वं ज्ञातम्।

प्रयोगात्मकपरिणामाः दर्शयन्ति यत् प्रशिक्षणपूर्वपदात् प्राप्तं सामान्यज्ञानं क्रॉस्-टास्क रेखीयतायां आवश्यकतानां पूर्तये सहायकं भवति।

अध्ययनस्य कालखण्डे तया क्रॉस्-टास्क रेखीयता सिद्धयितुं प्रारम्भिकः प्रयासः अपि कृतः, तथा च ज्ञातं यत् क्रॉस्-टास्क रेखीयतायाः उद्भवः नेटवर्क् परिदृश्यस्य समतलतायाः, सूक्ष्म-समायोजित-माडलयोः मध्ये भार-अन्तरेण च सम्बद्धः अस्ति

अद्यैव मशीनशिक्षणस्य अन्तर्राष्ट्रीयसम्मेलने (ICML) २०२४ [ १

चित्र |.सम्बन्धित पत्र (स्रोत: ICML 2024)

शोधदलेन आशा प्रकटिता यत् एषा आविष्कारः उत्तममाडलसंलयन एल्गोरिदम् प्रेरयितुं शक्नोति।

भविष्ये यदि बहु-सक्षम-सूक्ष्म-परिष्कृतं बृहत्-प्रतिरूपं निर्मातुं आवश्यकं भवति तर्हि बृहत्-माडल-संलयनं मूल-प्रौद्योगिकीषु अन्यतमं भविष्यति । इदं कार्यं बृहत् आदर्शसंलयनस्य ठोसप्रयोगात्मकं सैद्धान्तिकं च समर्थनं प्रदाति, तथा च उत्तमबृहत्माडलसंलयनस्य एल्गोरिदम् प्रेरयितुं शक्नोति ।

तदनन्तरं ते प्रशिक्षणगतिविज्ञानस्य दृष्ट्या Linear Mode Connectivity, Layerwise Linear Feature Connectivity, Cross-Task Linearity च अवगन्तुं आशां कुर्वन्ति

यद्यपि तेषां कृते विशेषतास्तरात् केचन व्याख्याः प्राप्ताः, तथापि ते प्रथमसिद्धान्तानां दृष्ट्या Linear Mode Connectivity इत्यस्य व्याख्यानं कर्तुं न शक्नुवन्ति ।

यथा, अन्ततः Linear Mode Connectivity पूरयन्तः द्वौ मॉडलौ प्राप्तुं स्पॉनिंग् मेथड् इत्यस्य प्रथमं कतिपयान् युगान् एव प्रशिक्षितुं किमर्थं आवश्यकम्?

तथा, एतादृशस्य Spawning Time इत्यस्य पूर्वानुमानं कथं करणीयम् ? एतेषां प्रश्नानाम् उत्तरं दातुं अस्माभिः प्रशिक्षणस्य अनुकूलनस्य च दृष्ट्या Linear Mode Connectivity इति अवगन्तुं आवश्यकम्, एषः अपि दलस्य अनुवर्तनप्रयासः अस्ति

सन्दर्भाः : १.

1.Zhou, Z., Chen, Z., Chen, Y., Zhang, B., & Yan, J. पूर्वप्रशिक्षण-फाईनट्यूनिंग प्रतिमाने पार-कार्य रैखिकता के उदय पर। यन्त्रशिक्षणविषये एकचत्वारिंशत् अन्तर्राष्ट्रीयसम्मेलने।

संचालन/टाइपसेटिंग्: सः चेन्लोङ्ग

01/ हाङ्गकाङ्ग-नगरस्य दलं नूतनप्रकारस्य नैनो-स्तरीय-झिल्लीं विकसयति, यस्य उपयोगः विशेषपरिदृश्येषु ताजाजलस्य उपचारार्थं कर्तुं शक्यते, द्वि-आयामी-सामग्रीणां अनुप्रयोगाय च सफलतां प्राप्नोति

02/ दशकशः रासायनिकसमस्यानां विश्वसनीयाः उत्तराणि दत्तानि सन्ति वैज्ञानिकाः हाइड्रोजनक्लोराइडस्य विघटनार्थं नूतनं सूक्ष्मतन्त्रं प्रस्तावितवन्तः येन हाइड्रोक्लोरिक अम्लस्य निर्माणं भवति, यत् बहुविधविषयाणां विकासं प्रवर्धयिष्यति।

03/ वैज्ञानिकाः क्वाण्टम-संवेदन-नियन्त्रणस्य नूतना पद्धतिं निर्मान्ति यत् दुर्बल-संकेतानां सटीकरूपेण अन्वेषणं कर्तुं शक्नोति तथा च व्यक्तिगत-परमाणु-स्पिन्-परिचयार्थं नियन्त्रणार्थं च उपयोक्तुं शक्यते

04/ "MIT Technology Review" इत्यस्य नवीन "Top 35 Technological Innovators Under 35" चीनविजेता आधिकारिकतया घोषिताः!शङ्घाई-नगरस्य वैज्ञानिक-प्रौद्योगिकी-युवानां अभिनव-शक्तेः साक्षी भवन्तु

05/ 14GPa इत्यस्य गतिशीलशक्त्या पेकिङ्ग् विश्वविद्यालयस्य दलेन सुपर स्ट्रॉन्ग् कार्बन नैनोट्यूब फाइबर्स् सफलतया विकसिताः, येषां उपयोगः हल्के, उच्चप्रदर्शनयुक्ते संरचनात्मके, सुरक्षात्मके च सामग्रीरूपेण कर्तुं शक्यते