समाचारं

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

२०२४ वर्षम् अस्ति, किं कोऽपि अस्ति यः अद्यापि Transformer कथं कार्यं करोति इति न अवगच्छति? आगच्छन्तु एतत् अन्तरक्रियाशीलं साधनं प्रयतस्व।

२०१७ तमे वर्षे गूगलेन "Attention is all you need" इति पत्रे Transformer इति प्रस्तावः कृतः, यत् गहनशिक्षणक्षेत्रे प्रमुखं सफलता अभवत् । अस्य पत्रस्य उद्धरणानाम् संख्या प्रायः १३०,००० यावत् अभवत् ।

न्यूरल नेटवर्क आर्किटेक्चररूपेण ट्रांसफॉर्मरः पाठात् दृष्टिपर्यन्तं विविधकार्येषु लोकप्रियः अस्ति, विशेषतः एआइ-चैटबोट्-इत्यस्य वर्तमानकाले उष्णक्षेत्रे

परन्तु अनेकेषां अविशेषज्ञानाम् कृते ट्रांसफॉर्मरस्य आन्तरिककार्यं अपारदर्शकं एव तिष्ठति, येन तेषां अवगमने सहभागितायाः च बाधा भवति । अतः अस्य वास्तुकलानां रहस्यमुक्तीकरणं विशेषतया आवश्यकम् । परन्तु अनेके ब्लोग्, विडियो ट्यूटोरियल्, 3D दृश्यीकरणं च प्रायः गणितस्य जटिलतायाः, मॉडल् कार्यान्वयनस्य च उपरि बलं ददति, येन आरम्भकाः भ्रमिताः भवितुम् अर्हन्ति तस्मिन् एव काले एआइ-अभ्यासकानां कृते विनिर्मितं दृश्यीकरणकार्यं न्यूरॉनल-पदानुक्रमिकव्याख्यातीयतायां केन्द्रितं भवति तथा च अविशेषज्ञानाम् कृते चुनौतीपूर्णम् अस्ति

अतः जॉर्जिया टेक् तथा आईबीएम रिसर्च इत्येतयोः अनेके शोधकर्तारः विकसिताःएकं जाल-आधारितं मुक्त-स्रोत-अन्तरक्रियाशीलं दृश्यीकरण-उपकरणं "Transformer Explainer" यत् गैर-व्यावसायिकानां कृते Transformer इत्यस्य उन्नत-प्रतिरूप-संरचनायाः निम्न-स्तरीय-गणितीय-सञ्चालनस्य च अवगमने सहायतां करोति. यथा अधोलिखिते चित्रे १ दर्शितम् ।

Transformer Explainer पाठजननस्य माध्यमेन Transformer इत्यस्य आन्तरिककार्यं व्याख्यायते, उपयोगेनSankey आरेख दृश्यीकरण डिजाइन, ट्रांसफॉर्मर्स् इत्यस्य गतिशीलप्रणालीरूपेण व्यवहारं कृत्वा हाले कार्येण प्रेरितम्, यत्र मॉडल् घटकानां माध्यमेन निवेशदत्तांशः कथं प्रवहति इति बोधयति । परिणामेभ्यः, Sankey आरेखं प्रभावीरूपेण दर्शयति यत् मॉडले सूचना कथं स्थानान्तरिता भवति तथा च Transformer संचालनद्वारा निवेशः कथं संसाधितः परिवर्तितः च भवति इति दर्शयति।

सामग्रीयाः दृष्ट्या, ट्रांसफार्मर एक्सप्लेनर् एकं मॉडल अवलोकनं कठिनतया एकीकृतं करोति यत् ट्रांसफार्मर संरचनायाः सारांशं ददाति तथा च उपयोक्तृभ्यः निम्नस्तरीयगणितीयसञ्चालनानां उच्चस्तरीयमाडलसंरचनानां च मध्ये अन्तरक्रियायाः कल्पनां कर्तुं बहुविधअमूर्ततास्तरयोः मध्ये सुचारुतया संक्रमणं कर्तुं शक्नोति यत् तेषां जटिलसंकल्पनानां पूर्णतया अवगमने सहायता भवति in ट्रांसफार्मर ।

कार्यक्षमतायाः दृष्ट्या Transformer Explainer न केवलं जाल-आधारित-कार्यन्वयनं प्रदाति, अपितु वास्तविक-समय-तर्क-क्षमता अपि अस्ति । विद्यमानानाम् अनेकानाम् उपकरणानां विपरीतम् येषु कस्टम् सॉफ्टवेयर संस्थापनस्य आवश्यकता भवति अथवा अनुमानक्षमतायाः अभावः भवति, एतत् वास्तविकसमयस्य GPT-2 मॉडलं एकीकृत्य आधुनिकस्य अग्रभागस्य रूपरेखायाः उपयोगेन ब्राउजरे देशीरूपेण चालयति उपयोक्तारः स्वस्य निवेशपाठस्य सह अन्तरक्रियाशीलरूपेण प्रयोगं कर्तुं शक्नुवन्ति तथा च वास्तविकसमये अवलोकयितुं शक्नुवन्ति यत् कथं Transformer इत्यस्य आन्तरिकघटकाः पैरामीटर् च एकत्र कार्यं कुर्वन्ति येन अग्रिमस्य टोकनस्य पूर्वानुमानं भवति।

ट्रांसफार्मर एक्सप्लेनर् उन्नतगणनासंसाधनानाम्, संस्थापनस्य वा प्रोग्रामिंगकौशलस्य आवश्यकतां विना आधुनिकजननात्मक-एआइ-प्रौद्योगिकीनां प्रवेशं विस्तारयति । GPT-2 इत्यस्य चयनस्य कारणं अस्ति यत् एतत् प्रतिरूपं सुप्रसिद्धम् अस्ति, तस्य अनुमानवेगः द्रुतगतिः अस्ति, वास्तुकलायां च GPT-3, GPT-4 इत्यादीनां अधिकउन्नतमाडलानाम् सदृशम् अस्ति

पेपर पता: https://arxiv.org/pdf/2408.04619

गिटहब पता: http://poloclub.github.io/transformer-explainer/

ऑनलाइन अनुभव पता: https://t.co/jyBlJTMa7m

视频链接:https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==∣=2650929831&idx=1&sn=d0e5c01537def9f92c64dda2ea3c6626&chksm=84e43ed9b393 7cf177414848मृत70ac2a5b1522a12e3399920d4862e398c113b96af7b76e&टोकन=522918026⟨=zh_CN#rd

यतः एतत् स्वयमेव निवेशं समर्थयति, तस्मात् मशीन् हार्ट् इत्यनेन अपि "किं सुन्दरं दिवसम्" इति प्रयासः कृतः, तथा च धावनस्य परिणामाः अधोलिखिते चित्रे दर्शिताः सन्ति ।

अनेके नेटिजनाः ट्रान्सफॉर्मर एक्सप्लेनर् इत्यस्य महतीं प्रशंसाम् अकरोत् । केचन जनाः वदन्ति यत् एतत् अतीव मस्तं अन्तरक्रियाशीलं साधनम् अस्ति।

केचन जनाः वदन्ति यत् ते आत्म-अवधानं, स्थिति-सङ्केतनं च व्याख्यातुं सहजं साधनं प्रतीक्षन्ते स्म, यत् Transformer Explainer इति क्रीडापरिवर्तकं भविष्यति।

अन्येन केनापि चीनीभाषायाः अनुवादः कृतः।

प्रदर्शन पता : http://llm-viz-cn.iiiai.com/llm

अत्र अहं कर्पाथी इत्यस्य विषये चिन्तयितुं न शक्नोमि, यः लोकप्रियविज्ञानस्य अन्यः महान् व्यक्तिः अस्ति सः पूर्वं GPT-2 इत्यस्य पुनरुत्पादनस्य विषये बहवः पाठ्यक्रमाः लिखितवान्, यत्र "Pure C language hand-rolling GPT-2, the new project of former OpenAI and Tesla" इति executives is popular." ", "कार्पाथी इत्यस्य नवीनतमः चतुर्घण्टायाः विडियो-पाठ्यक्रमः: GPT-2 इत्यस्य पुनरुत्पादनं शुद्धतः, रात्रौ यावत् चालयित्वा कार्यं कुर्वन्तु", इत्यादि । इदानीं यदा Transformer इत्यस्य आन्तरिकसिद्धान्तानां कृते दृश्यीकरणसाधनं अस्ति तदा द्वयोः एकत्र उपयोगः कृतः चेत् शिक्षणप्रभावः उत्तमः भविष्यति इति भाति

ट्रांसफार्मर व्याख्याता प्रणाली परिकल्पना कार्यान्वयन च

Transformer Explainer दृग्गतरूपेण दर्शयति यत् Transformer-आधारितं GPT-2 मॉडलं पाठनिवेशं संसाधितुं अग्रिमटोकनस्य पूर्वानुमानं कर्तुं च कथं प्रशिक्षितं भवति । अग्रभागः अन्तरक्रियाशीलदृश्यीकरणं कार्यान्वितुं Svelte तथा D3 इत्येतयोः उपयोगं करोति, पृष्ठभागः ब्राउजर् मध्ये GPT-2 मॉडलं चालयितुं ONNX रनटाइम् तथा HuggingFace इत्यस्य Transformers पुस्तकालयस्य उपयोगं करोति

Transformer Explainer इत्यस्य परिकल्पने एकः प्रमुखः आव्हानः आसीत् यत् अन्तर्निहितस्य वास्तुकलानां जटिलतायाः प्रबन्धनं भवति स्म, यतः एकदा एव सर्वविवरणानि दर्शयित्वा बिन्दुतः विचलितं भविष्यति एतस्याः समस्यायाः समाधानार्थं शोधकर्तारः द्वयोः प्रमुखयोः डिजाइनसिद्धान्तयोः विषये बहु ध्यानं दत्तवन्तः ।

प्रथमं शोधकर्तारः अमूर्ततायाः बहुस्तरस्य माध्यमेन जटिलतां न्यूनीकरोति । ते अमूर्ततायाः विभिन्नस्तरयोः सूचनां प्रस्तुतुं स्वसाधनानाम् संरचनां कुर्वन्ति । एतेन उपयोक्तारः उच्चस्तरीयेन अवलोकनेन आरभ्य आवश्यकतानुसारं विवरणपर्यन्तं कार्यं कर्तुं समर्थाः भूत्वा सूचनायाः अतिभारं परिहरन्ति । उच्चतमस्तरस्य, साधनं सम्पूर्णं प्रसंस्करणप्रवाहं दर्शयति: उपयोक्तृ-आपूर्तिकृतं पाठं निवेशरूपेण (चित्रं 1A) प्राप्तुं, तस्य एम्बेडिंग्-करणात्, बहुभिः Transformer-खण्डैः माध्यमेन तस्य संसाधनं कर्तुं, तथा च संसाधित-दत्तांशस्य उपयोगेन सर्वाधिकं सम्भाव्यं अग्रिम-A टोकन-पूर्वसूचनायाः पूर्वानुमानं कर्तुं क्रमेण भवति ।

मध्यवर्तीक्रियाः, यथा ध्यानमात्रिकायाः ​​गणना (चित्रम् १C), ये गणनापरिणामानां महत्त्वं दृग्गतरूपेण प्रदर्शयितुं पूर्वनिर्धारितरूपेण संकुचिताः भवन्ति, उपयोक्ता एनिमेटेड् क्रमेण स्वस्य व्युत्पत्तिप्रक्रियायाः विस्तारं द्रष्टुं च चयनं कर्तुं शक्नोति शोधकर्तारः एकां सुसंगतं दृश्यभाषां स्वीकृतवन्तः, यथा ध्यानशिराणां स्तम्भनं, पुनरावृत्ति-ट्रांसफॉर्मर-खण्डानां पतनम्, यत् उपयोक्तृभ्यः आर्किटेक्चर-मध्ये पुनरावृत्ति-प्रतिमानानाम् अभिज्ञानं कर्तुं सहायकं भवति, तथा च आँकडानां अन्तः अन्तः प्रवाहं निर्वाहयति

द्वितीयं, शोधकर्तारः अन्तरक्रियाशीलतायाः माध्यमेन अवगमनं, संलग्नतां च वर्धयन्ति। ट्रांसफार्मरस्य उत्पादनसंभाव्यतावितरणस्य नियन्त्रणे तापमानमापदण्डः महत्त्वपूर्णः अस्ति यत् अग्रिमस्य टोकनपूर्वसूचनायाः निश्चयं (कमतापमानं) अथवा यादृच्छिकतां (उच्चतापमानं) प्रभावितं करिष्यति परन्तु ट्रांसफॉर्मर्स् इत्यत्र विद्यमानाः शैक्षिकसंसाधनाः प्रायः अस्य पक्षस्य अवहेलनां कुर्वन्ति । उपयोक्तारः अधुना वास्तविकसमये तापमानमापदण्डान् समायोजयितुं (चित्रं 1B) एतस्य नूतनस्य साधनस्य उपयोगं कर्तुं समर्थाः सन्ति तथा च भविष्यवाणीनिश्चयस्य नियन्त्रणे स्वस्य महत्त्वपूर्णां भूमिकां कल्पयितुं समर्थाः सन्ति (चित्रम् 2)

तदतिरिक्तं, उपयोक्तारः प्रदत्त-उदाहरणात् चयनं कर्तुं वा स्वस्य पाठं प्रविष्टुं वा शक्नुवन्ति (चित्रम् 1A) । कस्टम् इनपुट् पाठस्य समर्थनं उपयोक्तृभ्यः अधिकगहनतया भागं ग्रहीतुं शक्नोति ।

अतः व्यावहारिकप्रयोगपरिदृश्याः के सन्ति ?

प्रोफेसर रूसो प्राकृतिकभाषासंसाधनपाठ्यक्रमे पाठ्यक्रमसामग्रीम् आधुनिकीकरणं कुर्वन् अस्ति यत् जननात्मक एआइ-विषये अद्यतनप्रगतिः प्रकाशयितुं शक्नोति। सा अवलोकितवती यत् केचन छात्राः ट्रांसफॉर्मर-आधारित-माडल-इत्येतत् दुर्लभं "जादू" इति पश्यन्ति, अन्ये तु मॉडल्-कार्यं कथं भवति इति अवगन्तुं इच्छन्ति परन्तु कुतः आरभ्यत इति निश्चिताः न आसन्

एतस्याः समस्यायाः समाधानार्थं सा छात्रान् Transformer Explainer इत्यस्य उपयोगाय मार्गदर्शनं कृतवती, यत् Transformer (चित्रम् १) इत्यस्य अन्तरक्रियाशीलं अवलोकनं प्रदाति तथा च छात्रान् सक्रियरूपेण प्रयोगं कर्तुं शिक्षितुं च प्रोत्साहयति तस्याः वर्गे ३०० तः अधिकाः छात्राः सन्ति, तथा च Transformer Explainer इत्यस्य सम्पूर्णतया छात्राणां ब्राउजर्-अन्तर्गतं चालयितुं क्षमता, यत्र सॉफ्टवेयर-विशेष-हार्डवेयर-स्थापनस्य आवश्यकता नास्ति, महत्त्वपूर्णः लाभः अस्ति तथा च सॉफ्टवेयर-अथवा हार्डवेयर-सेटअप-प्रबन्धनस्य विषये छात्राणां चिन्ताम् अपि निवारयति

एतत् साधनं छात्रान् एनिमेटेड् तथा अन्तरक्रियाशील रिवर्सिबल अमूर्तीकरणस्य माध्यमेन जटिलगणितीयक्रियाणां परिचयं करोति, यथा ध्यानगणनाः (चित्रम् १ ग) एषः उपायः छात्राणां कृते कार्याणां उच्चस्तरीयं अवगमनं तथा च एतान् परिणामान् उत्पादयन्तः अन्तर्निहितविवरणानां गहनबोधं च प्राप्तुं साहाय्यं करोति।

प्रोफेसर रूसो इत्यनेन अपि अङ्गीकृतं यत् परिवर्तकस्य तकनीकीक्षमताः सीमाश्च कदाचित् मूर्तरूपेण भवन्ति (उदा. तापमानमापदण्डान् "सृजनशीलता" नियन्त्रणरूपेण दृष्ट्वा) छात्रान् तापमानस्लाइडरेन सह प्रयोगं कर्तुं प्रोत्साहयित्वा (चित्रम् १ ख) सा छात्रान् दर्शितवती यत् तापमानं वास्तवतः अग्रिमस्य टोकनस्य संभाव्यतावितरणं कथं परिवर्तयति (चित्रम् २), तस्मात् भविष्यवाणीनां यादृच्छिकतां नियतात्मकरूपेण अधिकरचनात्मकरूपेण च नियन्त्रयति यत् मध्ये संतुलनं प्रहारयति निर्गमाः ।

अपि च, यदा प्रणाली टोकन-प्रक्रिया-प्रक्रियायाः दृश्यतां करोति तदा छात्राः द्रष्टुं शक्नुवन्ति यत् अत्र तथाकथितः "जादू" नास्ति - निवेशपाठः किमपि न भवतु (चित्रम् १ ए), मॉडलः कार्याणां सुनिर्दिष्टं क्रमं अनुसरति, उपयोगेन the Transformer architecture एकैकं टोकनं नमूनानि कृत्वा प्रक्रियां पुनः कुर्वन्तु।

भविष्यत्कार्यम्

शोधकर्तारः शिक्षणस्य अनुभवस्य उन्नयनार्थं साधनस्य अन्तरक्रियाशीलव्याख्यानानि वर्धयन्ति। तत्सह ते WebGPU मार्गेण अनुमानवेगं अपि सुधारयन्ति, संपीडनप्रौद्योगिक्याः माध्यमेन मॉडलस्य आकारं न्यूनीकरोति च । ते Transformer Explainer इत्यस्य प्रभावशीलतायाः उपयोगितायाः च मूल्याङ्कनार्थं उपयोक्तृसंशोधनं कर्तुं अपि योजनां कुर्वन्ति, AI नवीनाः, छात्राः, शिक्षाविदः, अभ्यासकारिणः च कथं साधनस्य उपयोगं कुर्वन्ति इति अवलोकयितुं, अतिरिक्तविशेषतानां विषये प्रतिक्रियाः संग्रहीतुं च योजनां कुर्वन्ति येषां समर्थनं ते द्रष्टुम् इच्छन्ति।

किं प्रतीक्षसे आरभत तस्य अनुभवं कुर्वन्तु, Transformer विषये "जादू" भ्रमं भङ्गयन्तु, तस्य पृष्ठतः सिद्धान्तान् यथार्थतया अवगच्छन्तु।