समाचारं

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

मशीन हृदय रिपोर्ट

सम्पादक: पाण्डा

विगतकेषु वर्षेषु Transformer आर्किटेक्चरेन महती सफलता प्राप्ता, अपि च तया बहुसंख्याकाः प्रकाराः अपि उत्पन्नाः, यथा Vision Transformer (ViT), यत् दृश्यकार्यस्य संसाधने उत्तमम् अस्ति अस्मिन् लेखे प्रवर्तितः Body Transformer (BoT) एकः Transformer इति प्रकारः अस्ति यः रोबोट् रणनीतिशिक्षणाय अतीव उपयुक्तः अस्ति ।

वयं जानीमः यत् यदा भौतिकः कारकः क्रियाणां सुधारणं स्थिरीकरणं च करोति तदा प्रायः सः अनुभूयमानस्य बाह्यप्रोत्साहनस्य स्थानस्य आधारेण स्थानिकप्रतिक्रियां ददाति यथा, एतेषां उत्तेजनानां प्रति मानवप्रतिक्रियापरिपथाः मेरुदण्डस्य तंत्रिकापरिपथानां स्तरे स्थिताः भवन्ति, ते च एकस्य एव कार्यकर्तुः प्रतिक्रियायाः विशेषतया उत्तरदायी भवन्ति सुधारात्मकं स्थानीयनिष्पादनं कुशलगतिषु प्रमुखं कारकं भवति, यत् रोबोट्-इत्यस्य कृते अपि विशेषतया महत्त्वपूर्णम् अस्ति ।

परन्तु पूर्वशिक्षणवास्तुकलासु प्रायः संवेदकानां संचालकानाञ्च स्थानिकसहसंबन्धः न स्थापितः । रोबोट्-रणनीतयः प्राकृतिकभाषायाः सङ्गणकदृष्टेः च कृते बहुधा विकसितानां वास्तुकलानां उपयोगं कुर्वन्ति इति दृष्ट्वा ते प्रायः रोबोट्-शरीरस्य संरचनायाः प्रभावीरूपेण शोषणं कर्तुं असफलाः भवन्ति

परन्तु अस्मिन् विषये अद्यापि ट्रान्सफॉर्मरस्य क्षमता अस्ति, तथा च संशोधनेन ज्ञातं यत् ट्रांसफॉर्मरः दीर्घक्रमनिर्भरतां प्रभावीरूपेण सम्भालितुं शक्नोति तथा च बहुमात्रायां दत्तांशं सहजतया अवशोषयितुं शक्नोति ट्रांसफॉर्मर वास्तुकला मूलतः असंरचितप्राकृतिकभाषाप्रक्रियाकरणस्य (NLP) कार्याणां कृते विकसिता आसीत् । एतेषु कार्येषु (भाषानुवादादिषु) निवेशक्रमः प्रायः निर्गमक्रमेण सह मैप् भवति ।

अस्य अवलोकनस्य आधारेण बर्कले-नगरस्य कैलिफोर्निया-विश्वविद्यालयस्य प्रोफेसर-पीटर-एब्बील्-इत्यनेन नेतृत्वे एकेन दलेन बॉडी-ट्रांसफॉर्मर (BoT) इति प्रस्तावितं यत् रोबोट्-शरीरे संवेदकानां, एक्ट्यूएटर्-इत्यस्य च स्थानिक-स्थितौ ध्यानं योजयति

• पत्रस्य शीर्षकम् : शरीरपरिवर्तकः नीतिशिक्षणार्थं रोबोट् अवतारस्य लाभः
• कागज पता: https://arxiv.org/pdf/2408.06316v1
• परियोजनायाः जालपुटम् : https://sferrazza.cc/bot_site
• कोड पता: https://github.com/carlosferrazza/BodyTransformer

विशेषतः BoT रोबोट्-शरीरस्य प्रतिरूपणं आलेखरूपेण करोति, यस्मिन् नोड्स् तस्य संवेदकाः, एक्ट्यूएटर् च भवन्ति । ततः प्रत्येकं नोडं स्वस्य समीपस्थपरिजनात् परेषु भागेषु ध्यानं न दातुं ध्यानस्तरस्य उपरि अत्यन्तं विरलमास्कस्य उपयोगं करोति । एकेन संरचनायाः सह बहुविधं BoT स्तरं संयोजयित्वा, वास्तुकलानां प्रतिनिधित्वक्षमतां विना सम्झौतां विना सम्पूर्णे आलेखात् सूचनाः एकत्रितुं शक्यन्ते BoT अनुकरणशिक्षणयोः सुदृढीकरणशिक्षणयोः च उत्तमं प्रदर्शनं करोति, केभ्यः अपि रणनीतिशिक्षणस्य “खेलपरिवर्तकः” इति अपि मन्यते ।

शरीर परिवर्तक

यदि रोबोट्-शिक्षण-रणनीतिः मूल-ट्रांसफॉर्मर-वास्तुकलानां मेरुदण्डरूपेण उपयोगं करोति तर्हि रोबोट्-शरीर-संरचनायाः कृते प्रदत्ता उपयोगी-सूचना प्रायः उपेक्षिता भवति परन्तु वस्तुतः एषा संरचनात्मकसूचना परिवर्तकं प्रबलतरं आगमनात्मकं पूर्वाग्रहं प्रदातुं शक्नोति । मूलवास्तुकलायां प्रतिनिधित्वक्षमतां धारयन् दलेन एतस्याः सूचनायाः लाभः कृतः ।

Body Transformer (BoT) वास्तुकला मुखौटाधारितं ध्यानं आधारितम् अस्ति । अस्य वास्तुकलायां प्रत्येकस्मिन् स्तरे नोड् केवलं स्वस्य विषये, तस्य समीपस्थानां च विषये सूचनां द्रष्टुं शक्नोति । एवं प्रकारेण सूचनाः आलेखस्य संरचनानुसारं प्रवहन्ति, यत्र अपस्ट्रीमस्तराः स्थानीयसूचनायाः आधारेण अनुमानं कुर्वन्ति, अधःप्रवाहस्तराः च अधिकदूरस्थेभ्यः नोड्भ्यः अधिकवैश्विकसूचनाः एकत्रयन्ति

यथा चित्रे १ दर्शितं, BoT आर्किटेक्चर इत्यत्र निम्नलिखितघटकाः सन्ति ।

1.tokenizer: तत्सम्बद्धेषु नोड एम्बेडिंग्स् मध्ये संवेदकं निवेशं परियोजना;

2.Transformer encoder: इनपुट् एम्बेडिंग् संसाधयति तथा च समानस्य आयामस्य आउटपुट् फीचर्स् जनयति;

3.detokenizer: Detokenization, अर्थात् विशेषतानां क्रियासु विकोडीकरणं (अथवा सुदृढीकरणशिक्षणसमीक्षाप्रशिक्षणार्थं प्रयुक्तं मूल्यम्)।

टोकेनिजर

दलेन अवलोकनसदिशानां नक्शाङ्कनं स्थानीयनिरीक्षणैः निर्मितानाम् आलेखेषु कर्तुं चयनं कृतम् ।

व्यवहारे ते रोबोट्-शरीरस्य मूलतत्त्वेभ्यः वैश्विकमात्राः, तत्सम्बद्धानां अङ्गानाम् प्रतिनिधित्वं कुर्वतां नोडानां कृते स्थानीयमात्राः च नियुक्तयन्ति इयं आवंटनविधिः पूर्ववर्ती GNN पद्धत्याः सदृशी अस्ति ।

ततः, स्थानीयस्थितिसदिशं एम्बेडिंग् सदिशे प्रक्षेपणार्थं रेखीयस्तरस्य उपयोगः भवति । प्रत्येकस्य नोडस्य स्थितिः तस्य नोड-विशिष्ट-शिक्षणीय-रेखीय-प्रक्षेपणे पूरिता भवति, यस्य परिणामेण n एम्बेडिंग्-क्रमः भवति, यत्र n नोड-सङ्ख्यां (अथवा अनुक्रम-दीर्घतां) प्रतिनिधियति इदं पूर्वकार्यात् भिन्नम् अस्ति, यत् प्रायः बहुकार्यसुदृढीकरणशिक्षणे भिन्नसङ्ख्यानां नोड्-सञ्चालनार्थं केवलं एकस्य साझा-शिक्षणीय-रेखीय-प्रक्षेपणस्य उपयोगं कुर्वन्ति

BoT एन्कोडर

दलेन उपयुज्यमानं मेरुदण्डजालं मानकबहुस्तरीयः Transformer एन्कोडरः अस्ति, अस्य वास्तुकलायां द्वौ रूपौ स्तः ।

• BoT-Hard: प्रत्येकं स्तरं द्विचक्रीयमास्कस्य उपयोगेन मास्कं कुर्वन्तु यत् आलेखस्य संरचनां प्रतिबिम्बयति। विशेषतः, तेषां मास्कस्य निर्माणस्य मार्गः M = I_n + A अस्ति, यत्र I_n n-आयामी परिचयमात्रिका अस्ति तथा च A आलेखस्य अनुरूपं समीपतामात्रिका अस्ति चित्रे २ उदाहरणं दर्शितम् अस्ति । एतेन प्रत्येकं नोड् केवलं स्वस्य तत्समीपस्थं च द्रष्टुं शक्नोति, तथा च समस्यायां पर्याप्तं विरलतां प्रविष्टुं शक्नोति - यत् गणनाव्ययदृष्ट्या विशेषतया आकर्षकम् अस्ति

• BoT-Mix: मुखौटायुक्तं ध्यानं (BoT-Hard इव) अमास्क्ड् ध्यानयुक्तैः स्तरैः सह स्तरं गुञ्जयति ।

detokenizer

Transformer encoder द्वारा निर्गमितानि विशेषतानि रेखीयस्तरं प्रति प्रदत्तानि भवन्ति, यत् ततः तस्य नोडस्य अङ्गेन सह सम्बद्धेषु क्रियासु प्रक्षेपितं भवति पुनः एते शिक्षणयोग्याः रेखीयप्रक्षेपणस्तराः प्रत्येकस्य नोड् कृते पृथक् भवन्ति । यदि BoT इत्यस्य उपयोगः सुदृढीकरणशिक्षणपरिवेशे आलोचनावास्तुकलारूपेण भवति तर्हि डिटोकेनिजरः क्रियाः न अपितु मूल्यानि निर्गच्छति, येषां ततः शरीरस्य अङ्गानाम् उपरि औसतं भवति

प्रयोगं

दलेन अनुकरणशिक्षणस्य सुदृढीकरणशिक्षणस्य च परिवेशेषु BoT इत्यस्य कार्यप्रदर्शनस्य मूल्याङ्कनं कृतम्। ते चित्रे १ इव एव आर्किटेक्चरं निर्वाहयन्ति स्म, केवलं एन्कोडरस्य कार्यक्षमतां निर्धारयितुं BoT एन्कोडरस्य स्थाने विभिन्नैः आधाररेखा आर्किटेक्चरैः प्रतिस्थापयन्ति स्म

एतेषां प्रयोगानां लक्ष्यं निम्नलिखितप्रश्नानां उत्तरं दातुं भवति।

• किं मुखौटायुक्तं ध्यानं अनुकरणशिक्षणस्य कार्यप्रदर्शनस्य सामान्यीकरणक्षमतायां च सुधारं कर्तुं शक्नोति?
• मूल Transformer आर्किटेक्चरस्य तुलने BoT सकारात्मकं स्केलिंग् प्रवृत्तिं दर्शयितुं शक्नोति वा?
• किं BoT सुदृढीकरणशिक्षणरूपरेखाभिः सह संगतम् अस्ति, तथा च कार्यक्षमतां अधिकतमं कर्तुं केचन विवेकपूर्णाः डिजाइनविकल्पाः के सन्ति?
• किं BoT रणनीतयः वास्तविक-जगतः रोबोटिक-कार्येषु प्रयोक्तुं शक्यन्ते?
• मुखौटाधारितस्य ध्यानस्य गणनालाभाः के सन्ति ?

अनुकरणशिक्षणप्रयोगः

दलेन शरीरस्य अनुसरणं कार्ये BoT आर्किटेक्चरस्य अनुकरणशिक्षणप्रदर्शनस्य मूल्याङ्कनं कृतम्, यत् MoCapAct आँकडासमूहस्य माध्यमेन परिभाषितम् आसीत्

परिणामाः चित्रे ३ क दर्शिताः सन्ति, तथा च द्रष्टुं शक्यते यत् BoT इत्यस्य कार्यक्षमता MLP तथा Transformer आधाररेखाभ्यः सर्वदा उत्तमं भवति । ज्ञातव्यं यत् एतेषां आर्किटेक्चरानाम् अपेक्षया BoT इत्यस्य लाभः अदृष्टसत्यापनवीडियोक्लिप्स् इत्यत्र अधिकं वर्धते, यत् सिद्धयति यत् शरीर-जागरूकः आगमनात्मकः पूर्वाग्रहः सामान्यीकरणक्षमतासु सुधारं जनयितुं शक्नोति

चित्र 3b दर्शयति यत् BoT-Hard इत्यस्य स्केल-स्केलबिलिटी अतीव उत्तमम् अस्ति, प्रशिक्षण-सत्यापन-वीडियो-क्लिप्-मध्ये तस्य प्रदर्शनं प्रशिक्षनीय-मापदण्डानां संख्यायाः वृद्ध्या सह वर्धते प्रशिक्षणदत्तांशं समायोजयति, तथा च एतत् अतिसङ्गतिः मूर्तरूपपक्षपातस्य कारणेन भवति । अधिकानि प्रयोगात्मकानि उदाहरणानि अधः दर्शितानि सन्ति, विस्तरेण मूलपत्रं पश्यन्तु ।

सुदृढीकरणशिक्षणप्रयोगः

दलेन Isaac Gym इत्यस्मिन् 4 रोबोट् नियन्त्रणकार्येषु PPO इत्यस्य उपयोगेन आधाररेखायाः विरुद्धं BoT इत्यस्य सुदृढीकरणशिक्षणप्रदर्शनस्य मूल्याङ्कनं कृतम् । चत्वारि कार्याणि सन्ति : Humanoid-Mod, Humanoid-Board, Humanoid-Hill तथा A1-Walk इति ।

चित्र 5 MLP, Transformer तथा BoT (Hard and Mix) कृते प्रशिक्षणस्य समये मूल्याङ्कनस्य रोलआउटस्य औसतप्लॉट् रिटर्न्स् दर्शयति। यत्र ठोसरेखा मध्यमस्य अनुरूपं भवति, छायाकृतक्षेत्रं च पञ्चबीजानां मानकदोषस्य अनुरूपं भवति ।

परिणामानि दर्शयन्ति यत् BoT-Mix नमूनादक्षतायाः असममितप्रदर्शनस्य च दृष्ट्या MLP तथा मूल Transformer आधाररेखाभ्यः निरन्तरं अधिकं प्रदर्शनं करोति। एतेन रोबोट्-शरीरात् पूर्वाग्रहाणां नीतिजाल-वास्तुकलायां एकीकरणस्य उपयोगिता दर्शिता अस्ति ।

इत्थं च, BoT-Hard सरलतरकार्येषु (A1-Walk तथा Humanoid-Mod) मूल Transformer इत्यस्मात् अधिकं प्रदर्शनं करोति, परन्तु अधिककठिन अन्वेषणकार्येषु (Humanoid-Board तथा Humanoid-Hill) अधिकं कार्यं करोति नकाबधारितं ध्यानं दूरस्थशरीरस्य भागेभ्यः सूचनायाः प्रसारणं बाधते इति दृष्ट्वा सूचनासञ्चारस्य BoT-Hard इत्यस्य प्रबलाः सीमाः सुदृढीकरणशिक्षणस्य अन्वेषणस्य कार्यक्षमतां बाधितुं शक्नुवन्ति।

वास्तविक जगत प्रयोग

Isaac Gym अनुकरणीयव्यायामवातावरणानां उपयोगः प्रायः वास्तविक-दुनिया-समायोजनस्य आवश्यकतां विना आभासी-वातावरणात् वास्तविक-वातावरणेषु सुदृढीकरण-शिक्षण-रणनीतयः स्थानान्तरयितुं भवति नवप्रस्तावितं वास्तुकला वास्तविक-जगतः अनुप्रयोगानाम् कृते उपयुक्ता अस्ति वा इति सत्यापयितुं दलेन उपरि प्रशिक्षितां BoT-रणनीतिं Unitree A1 रोबोट्-इत्यत्र नियोजितम् यथा अधोलिखिते विडियोतः द्रष्टुं शक्नुवन्ति, नूतनं वास्तुकला वास्तविक-विश्व-नियोजनेषु विश्वसनीयतया उपयोक्तुं शक्यते ।

कम्प्यूटेशनल विश्लेषण

दलेन नूतनवास्तुकलायां गणनाव्ययस्य अपि विश्लेषणं कृतम्, यथा चित्रे ६ दर्शितम् अस्ति । नवप्रस्तावितस्य मास्ककृतस्य ध्यानस्य स्केलिंग् परिणामाः तथा च भिन्न-भिन्न-अनुक्रम-दीर्घतासु (नोड्स-सङ्ख्या) पारम्परिक-अवधानं दत्तम् अस्ति ।

द्रष्टुं शक्यते यत् यदा १२८ नोड्स् (निपुणबाहुयुक्तस्य मानवरूपस्य रोबोट् इत्यस्य समकक्षं) भवन्ति तदा नूतनं ध्यानं २०६% वेगं वर्धयितुं शक्नोति ।

समग्रतया, एतेन ज्ञायते यत् BoT-वास्तुकलायां शरीर-व्युत्पन्न-पक्षपाताः न केवलं भौतिक-कारकस्य समग्र-प्रदर्शने सुधारं कुर्वन्ति, अपितु वास्तुकला-प्राकृतिकरूपेण विरल-मास्कस्य लाभं अपि प्राप्नुवन्ति एषा पद्धतिः पर्याप्तसमान्तरीकरणद्वारा एल्गोरिदम्-शिक्षणस्य प्रशिक्षणसमयं महत्त्वपूर्णतया न्यूनीकर्तुं शक्नोति ।