समाचारं

जनरेटिव एआइ अग्रिमप्रवृत्तेः आरम्भं कर्तुं शक्नोति: टीटीटी मॉडल्

2024-07-18

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

जननात्मककृत्रिमबुद्धेः (AI) अग्रिमपीढीयाः केन्द्रबिन्दुः परीक्षणसमयप्रशिक्षणप्रतिमानाः, अथवा संक्षेपेण TTT इति भवितुम् अर्हति ।

ट्रांसफॉर्मर्स् आर्किटेक्चर ओपनएआइ इत्यस्य विडियो मॉडल् सोरा इत्यस्य आधारः अस्ति तथा च एन्थ्रोपिक् इत्यस्य क्लाउड्, गूगल इत्यस्य जेमिनी तथा ओपनएआइ इत्यस्य प्रमुख मॉडल् जीपीटी-४ओ इत्यादीनां पाठजनन मॉडल् इत्यस्य मूलम् अस्ति परन्तु अधुना एतेषां मॉडल्-विकासः तान्त्रिक-बाधान्, विशेषतः कम्प्यूटिङ्ग्-सम्बद्धान् बाधान् आहतुं आरब्धवान् अस्ति । यतः ट्रान्सफॉर्मर्-संस्थाः बृहत्-मात्रायां दत्तांशस्य संसाधने विश्लेषणे च विशेषतया कुशलाः न भवन्ति, न्यूनातिन्यूनं यदा आफ्-द-शेल्फ्-हार्डवेयर्-इत्यत्र चालयन्ति । व्यवसायाः ट्रांसफॉर्मरस्य आवश्यकतानां पूर्तये आधारभूतसंरचनायाः निर्माणं विस्तारं च कुर्वन्ति, यस्य परिणामेण विद्युत्मागधायां नाटकीयवृद्धिः भवति यत् स्थायिरूपेण माङ्गं पूरयितुं न शक्नोति।

अस्मिन् मासे स्टैन्फोर्डविश्वविद्यालयस्य, यूसी सैन् डिएगो, यूसी बर्कले, मेटा इत्यादीनां शोधकर्तृभिः संयुक्तरूपेण घोषितं यत् ते टीटीटी-वास्तुकलाविकासाय सार्धवर्षं व्यतीतवन्तः। शोधदलस्य दावानुसारं टीटीटी-प्रतिरूपं न केवलं ट्रांसफॉर्मर्-इत्यस्मात् बहु अधिकं आँकडान् सम्भालितुं शक्नोति, अपितु ट्रांसफॉर्मर्-इत्यस्य इव कम्प्यूटिंग्-शक्तिं न उपभोगयति

बहिःस्थजनाः किमर्थं मन्यन्ते यत् TTT मॉडल् Transformers इत्यस्मात् अधिकं आशाजनकम् अस्ति? प्रथमं अवगन्तुं यत् Transformers इत्यस्य एकः मूलभूतः घटकः "hidden state" अस्ति, यत् मूलतः दत्तांशस्य दीर्घसूची अस्ति । यदा Transformer किमपि संसाधयति तदा सः इदानीं किं संसाधितवान् इति "स्मरणं" कर्तुं गुप्तस्थितौ प्रविष्टयः योजयति । यथा, यदि मॉडल् पुस्तकं संसाधयति तर्हि गुप्तस्थितिमूल्यं शब्दस्य (शब्दस्य वा भागस्य) प्रतिनिधित्वं भविष्यति ।

पूर्वोक्तटीटीटी-संशोधने भागं गृहीतवान् स्टैन्फोर्ड-विश्वविद्यालयस्य पोस्टडॉक्टरेल्-सहकारिणी यू सनः अद्यैव मीडिया-माध्यमेभ्यः व्याख्यातवान् यत् यदि ट्रांसफॉर्मर-इत्येतत् बुद्धिमान् सत्तारूपेण गण्यते तर्हि लुकअप-सारणी तस्य गुप्त-स्थितिः च ट्रांसफॉर्मर-मस्तिष्कं भवति एतत् मस्तिष्कं ट्रान्सफॉर्मरस्य केचन प्रसिद्धानि विशेषतानि कार्यान्वितं करोति, यथा सन्दर्भशिक्षणम् ।

गुप्तस्थितिः ट्रांसफॉर्मर्स् इत्यस्य शक्तिशालिनः भवितुं साहाय्यं करोति, परन्तु ट्रांसफॉर्मर्स् इत्यस्य विकासे अपि बाधां जनयति । यथा, Transformers इत्यनेन अधुना एव पुस्तकं पठितम् अस्मिन् पुस्तके एकं शब्दं अपि "कथयितुं" Transformers मॉडल् सम्पूर्णं lookup table इत्येतत् स्कैन् करणीयम् ।

अतः सूर्यः अन्ये च टीटीटी-संस्थायाः शोधकर्तारः गुप्तस्थितीनां स्थाने यन्त्रशिक्षणप्रतिमानैः प्रतिस्थापयितुं चिन्तितवन्तः-यथा AI इत्यस्य नीडपुतलीः, आदर्शस्य अन्तः प्रतिरूपः । Transformers इत्यस्य लुकअप टेबल् इत्यस्य विपरीतम्, TTT मॉडलस्य आन्तरिकं यन्त्रशिक्षणप्रतिरूपं यथा यथा अधिकानि आँकडानि संसाधितानि भवन्ति तथा तथा न वर्धते । तस्य स्थाने, एतत् संसाधितदत्तांशं भार इति नामकं प्रतिनिधिचररूपेण संकेतयति, अतः एव टीटीटी-प्रतिरूपस्य उच्चप्रदर्शनं भवति । टीटीटी-प्रतिरूपं कियत् अपि दत्तांशं संसाधयति चेदपि तस्य आन्तरिकप्रतिरूपस्य आकारः न परिवर्तते ।

सूर्यस्य मतं यत् भविष्यस्य टीटीटी-प्रतिमानाः शब्दात् चित्रपर्यन्तं, रिकार्डिङ्ग्-तः भिडियो-पर्यन्तं अरब-अरब-दत्तांश-खण्डान् कुशलतया संसाधितुं शक्नुवन्ति । एतत् विद्यमानानाम् आदर्शानां सामर्थ्यात् बहु परम् अस्ति । टीटीटी इत्यस्य प्रणाली पुस्तकं X वारं पुनः पठितुं जटिलं गणनां न कृत्वा पुस्तकं प्रति X शब्दान् वक्तुं शक्नोति। "ट्रांसफॉर्मर्-आधारित-बृहत्-परिमाणस्य विडियो-माडलाः, यथा सोरा, केवलं १०-सेकेण्ड्-वीडियो-सञ्चालनं कर्तुं शक्नुवन्ति यतोहि तेषु केवलं लुकअप-सारणी 'मस्तिष्कं' भवति। अस्माकं परमं लक्ष्यं एकं प्रणालीं विकसितुं यत् दृश्य-अनुभवस्य सदृशानि दीर्घ-वीडियो-सम्पादनं कर्तुं शक्नोति मानवजीवने ” इति ।

किं टीटीटी मॉडल् अन्ततः ट्रांसफार्मरस्य स्थाने स्थास्यति ? एतत् सम्भवम् इति मीडिया मन्यते, परन्तु अधुना निष्कर्षं निकासयितुं अतीव प्राक् अस्ति । अस्मिन् समये TTT मॉडल् Transformers इत्यस्य प्रत्यक्षं प्रतिस्थापनं नास्ति । शोधकर्तृभिः अध्ययनस्य कृते केवलं लघुप्रतिरूपद्वयं विकसितम्, अतः सम्प्रति केभ्यः बृहत्तरेभ्यः ट्रान्सफॉर्मर्-माडलेभ्यः प्राप्तैः परिणामैः सह टीटीटी-तुलना कर्तुं कठिनम् अस्ति

किङ्ग्स् कॉलेज् लण्डन् इत्यस्य सूचनाविज्ञानविभागस्य वरिष्ठः व्याख्याता माइक कुक् इत्यनेन टिप्पणी कृता यत् टीटीटी अतीव रोचकं नवीनता अस्ति यदि आँकडानां समर्थनं भवति यत् एतत् कार्यक्षमतां सुधारयितुम् अर्हति तर्हि सा शुभसमाचारः , परन्तु सः वक्तुं न शक्नोति। कुक् अवदत् यत् यदा सः स्नातकः आसीत् तदा एकः वृद्धः प्राध्यापकः प्रायः एकं हास्यं वदति स्म यत् भवन्तः सङ्गणकशास्त्रे कस्यापि समस्यायाः समाधानं कथं कुर्वन्ति? अमूर्ततायाः अन्यं स्तरं योजयन्तु । तंत्रिकाजाले तंत्रिकाजालं योजयित्वा अस्य हास्यस्य समाधानस्य स्मरणं जातम् ।