आक्सब्रिड्ज् एआइ इत्यस्य "विषं" दातुं असफलः अभवत्, नेचर इत्यस्य आवरणपत्रे ९ वारं दृश्यते स्म, येन शैक्षणिकवृत्तेषु उष्णविमर्शः उत्पन्नः
2024-07-27
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
सम्पादकः - एनियसः एतावत् निद्रालुः[नव प्रज्ञायाः परिचयः] । नवविषाणां विषये आक्सफोर्ड-केम्ब्रिज-योः पत्रे यत् आदर्शस्य पतनम् अभवत्, तस्य बहु आलोचना अभवत् यत् एतत् प्रकृतौ अपि समाविष्टुं शक्यते वा ? एतस्य विषये शैक्षणिकवृत्तेषु अधिकं चर्चा कृता अस्ति, सर्वेषां दृष्टिकोणः अपि समानः अस्ति यत् कृत्रिमदत्तांशः बहुभिः रामबाणः इति गण्यते, परन्तु विश्वे निःशुल्कं मध्याह्नभोजनं नास्ति
एआइ युगे दत्तांशः एव नूतनं तैलम् अस्ति । यस्मिन् युगे वैश्विकमानवदत्तांशः क्रमेण क्षीणः भवति, तस्मिन् युगे कृत्रिमदत्तांशः अस्माकं भविष्यं वा?प्रकृतेः आवरणपत्रेण उत्पन्नः अद्यतनविवादः अस्मान् अवगन्तुं कृतवान् यत् महत्त्वपूर्णं "कृत्रिमदत्तांशः" न, अपितु "कृत्रिमदत्तांशस्य सम्यक् उपयोगः" इतिगुरुवासरे आक्सफोर्ड, केम्ब्रिज, इम्पेरियल् कॉलेज, टोरोन्टो विश्वविद्यालय इत्यादीनां संस्थानां पत्रं नेचर इत्यस्य आवरणपत्रे प्रकाशितम्।परन्तु जनाः यत् न अपेक्षितवन्तः तत् आसीत् यत् एकदा पत्रं प्रकाशितं जातं तदा एआइ-समुदाये बहु चर्चां प्रेरितवान् ।केचन जनाः मन्यन्ते यत् समस्यायाः मूलं "संश्लेषितदत्तांशः" न अपितु "दत्तांशगुणवत्ता" अस्ति ।सर्वेषां कृत्रिमदत्तांशस्य उपयोगः भवति चेदपि यदि गुणवत्ता अत्यधिकं दुर्बलं भवति तर्हि परिणामः "कचरा अन्तः, कचरा बहिः" भविष्यति ।केचन जनाः अपि मन्यन्ते यत् शोधकर्तृभिः जानीतेव एतादृशाः पद्धतयः स्वीकृताः ये वास्तविकक्रियायाः अनुरूपाः न सन्ति, तथा च वस्तुतः "भव्यमानाः" सन्ति ।अस्मिन् विषये प्राध्यापकः मा यी इत्यनेन उक्तं यत् अधुना वयं वैज्ञानिकविचारानाम्, पद्धतीनां च अभावं विद्यमानं युगं प्रविष्टवन्तः——अनेकाः अध्ययनाः कस्यापि वैज्ञानिकसामान्यबुद्धेः पुनराविष्कारात् अधिकं किमपि न भवन्ति ।मॉडल् दुर्घटना कथं परिहरितव्यम् ?
अतः प्रश्नः अस्ति यत्, दत्तांशसंश्लेषणार्थं AI इत्यस्य उपयोगं कुर्वन् वयं model collapse कथं परिहर्तुं शक्नुमः?संकरदत्तांशः भविष्यम् अस्ति
नेचर इत्यस्य आवरणपत्रे अस्य लेखस्य कृते स्केल् एआइ इत्यस्य मुख्यकार्यकारी अलेक्जेण्डर् वाङ्गः गहनतया सहमतः अस्ति ।सः अवदत् यत् विशुद्धरूपेण कृत्रिमदत्तांशस्य उपयोगेन मॉडल् प्रशिक्षितुं सूचनालाभः न भविष्यति।सामान्यतः, यदा स्व-आसवनस्य कारणेन मूल्याङ्कन-मेट्रिकः उपरि गच्छति, तदा अधिकतया केषाञ्चन सूक्ष्मतर-व्यापाराणां कारणात् भवति:विशेषतः कृत्रिमप्रशिक्षणस्य क्रमिकपीढीषु मुख्यतया त्रयाणां पक्षेभ्यः त्रुटयः आगच्छन्ति ।- कार्यात्मक अभिव्यञ्जकता दोष
कार्यात्मक सन्निकर्षदोष
अर्थात् यदा प्रत्येकं पूर्वमाडलेन उत्पन्नदत्तांशस्य उपयोगेन नूतनं प्रतिरूपं प्रशिक्षयन्ति तदा भवन्तः किञ्चित् सूचनां सटीकता च नष्टं कुर्वन्ति, येन प्रतिरूपं अधिकाधिकं खोखलं भवति, अन्ते च सम्यक् कार्यं त्यजतियद्यपि एते प्रयोगाः लघु-परिमाणस्य प्रतिरूपे (100M मापदण्डाः) कृताः तथापि अवलोकिताः मूलभूताः प्रभावाः कालान्तरे बृहत्तर-परिमाणे प्रतिरूपेषु अपि दृश्यन्ते यथा, अद्यत्वे अधिकांशः मॉडल् Slate Star Codex-शैल्याः ब्लॉग्-पोस्ट् जनयितुं असमर्थः अस्ति, पुनः मॉडल्-दुर्घटनायाः कारणात् । यथा यथा वयं निरन्तरं आदर्शान् प्रशिक्षयामः तथा तथा तेषां क्रमेण विस्तृतवितरणस्य उपरि भविष्यवाणीं कर्तुं क्षमता नष्टा भवति ।वाङ्गस्य मतेन हाइब्रिड् डाटा भविष्यस्य विकासदिशा अस्ति, या मॉडल्-पतनसम्बद्धाः सर्वाः कण्टकयुक्ताः समस्याः परिहर्तुं शक्नोति ।अर्थात् दत्तांशसंश्लेषणप्रक्रियायां कस्यचित् नूतनसूचनास्रोतस्य माध्यमेन तस्य उत्पत्तिः भवितुमर्हति:(1) वास्तविक-जगतः दत्तांशस्य बीजरूपेण उपयोगं कुर्वन्तु
(2) मानवविशेषज्ञाः भागं गृह्णन्ति
तस्य विपरीतम्, ये विकासकाः आकस्मिकतया कृत्रिमदत्तांशेषु स्वस्य मॉडल् प्रशिक्षयन्ति यत्र सूचनालाभः नास्ति, ते अन्ते पश्यन्ति यत् तेषां मॉडल् कालान्तरेण अधिकाधिकं विचित्रं मूर्खं च भवतिसुदृढीकरणशिक्षणं एव भवतः आवश्यकता अस्ति
मेटा, न्यूयॉर्कविश्वविद्यालयस्य, पेकिङ्गविश्वविद्यालयस्य च शोधकर्तृभिः मानवानाम् अथवा दुर्बलतरमाडलस्य माध्यमेन "क्रमाङ्कन-छंटनीप्रतिक्रिया" इति पद्धतिः प्रस्ताविता यत् आदर्शस्य मूलप्रदर्शनं पुनः स्थापयितुं वा अतिक्रमितुं वा शक्नोतिअस्य शोधस्य विषये लेकुन् अपि स्वस्य समर्थनं प्रकटयितुं अग्रे प्रेषितवान् ।यथा वयं सर्वे जानीमः, मनुष्याणां यन्त्राणां च कृते उत्तम-अशुभ-उदाहरणयोः भेदः बहु सुकरः भवति, न तु उच्चगुणवत्तायुक्तानि नमूनानि आद्यतः एव जनयितुं ।अस्य आधारेण लेखकः कृत्रिमदत्तांशप्रतिक्रियाद्वारा मॉडलस्य पतनस्य निवारणाय एकां नूतनां पद्धतिं प्रस्तावति ।अस्य प्रश्नस्य अन्वेषणार्थं लेखकाः प्रथमं सैद्धान्तिकपरिवेशे विश्लेषणात्मकपरिणामान् प्रददति।अत्र लेखकाः उच्च-आयामी-सीमायां गाउसी-मिश्रण-प्रतिरूपं रेखीय-प्रतिरूपं च वर्गीकारकरूपेण प्रस्तावयन्ति तथा च सत्यापनकर्ता (उदा., मानवः वा ओरेकलः) उत्पन्नदत्तांशं चयनं वा छंटनीं वा कर्तुं ददतिपरिणामानि दर्शयन्ति यत् यदा कृत्रिमदत्तांशबिन्दुसङ्ख्या अनन्ततायाः समीपं गच्छति तदा चयनितदत्तांशयोः प्रशिक्षिताः आदर्शाः कच्चदत्तांशप्रशिक्षितानां तुलनीयानि इष्टतमपरिणामानि प्राप्तुं शक्नुवन्तिकृत्रिमदत्तांशस्य अनुकरणं दर्शयति यत् कच्चे टिप्पणीनां उपयोगस्य तुलने ओरेकल-पर्यवेक्षणं निरन्तरं निकट-अनुकूल-परिणामान् उत्पादयति ।अपि च, यतः मानवीयपरिवेक्षणद्वारा उच्चगुणवत्तायुक्तदत्तांशस्य भेदः प्रत्यक्षमानवटिप्पण्याः अपेक्षया सरलतरं सस्तां च भवति, अतः एतेन मानवपरिवेक्षणस्य प्रभावशीलतायाः दृढं प्रमाणं प्राप्यतेरेखीयजनरेटरस्य रेखीयप्रूनरस्य च सह गाउसीयमिश्रणप्रतिरूपम्: प्रूनरः कृत्रिमदत्तांशस्य चयनात्मकरूपेण सुदृढीकरणं कृत्वा कार्यक्षमतां सुधारयतितदनन्तरं लेखकाः बृहत्प्रमाणेन प्रयोगद्वयं कृतवन्तः- १.1. ट्रांसफार्मरं गणितीयकार्यं (matrix eigenvalue prediction) प्रशिक्षयन्तु तथा च वास्तविकमूल्यात् दूरस्य उपयोगं कृत्वा सिंथेटिकदत्तांशस्य बृहत् परिमाणं छंटनी कुर्वन्तु2. बृहत्भाषाप्रतिरूपस्य (लामा 2) सीमितसंश्लेषितदत्तांशस्य च उपयोगेन समाचारसारांशःपरिणामानि दर्शयन्ति यत् उभयत्र केवलं उत्पन्नदत्तांशस्य अवलम्बनेन दत्तांशस्य परिमाणं वर्धमानमपि कार्यप्रदर्शनस्य अवनतिः, मॉडलस्य दुर्घटना च भवतिअपि च, केवलं भ्रान्त्याधारितजननकुण्डात् उत्तमसमाधानस्य चयनेन कार्यप्रदर्शने सुधारः न भवति, अर्थात् प्रतिरूपे एव भ्रमस्य आधारेण उत्तमपूर्वसूचनायाः चयनस्य क्षमतायाः अभावः भवतितस्य विपरीतम्, oracle निरीक्षणे प्रतिक्रिया-वर्धितः कृत्रिमदत्तांशसमूहः प्राप्तुं शक्यते यस्य कार्यक्षमता मूलदत्तांशसमूहात् अधिकं भवति यथा यथा दत्तांशस्य परिमाणं वर्धतेमानवीयं तथा मॉडलवर्धनं कार्यप्रदर्शने सुधारं करोति तथा च मॉडलदुर्घटनानि निवारयति कार्यप्रदर्शनस्य क्षयः परिवर्धनं विना भवति;अतः कृत्रिमदत्तांशैः सह नूतनं प्रतिरूपं प्रशिक्षयति सति न केवलं जनरेटरस्य गुणवत्तायां ध्यानं दातव्यं, अपितु दत्तांशस्य चयनार्थं उच्चगुणवत्तायुक्तस्य सत्यापनकस्य अपि आवश्यकता भवतिएकस्मिन् वाक्ये सारांशतः वक्तुं शक्यते यत् भवतः केवलं सुदृढीकरणम् एव आवश्यकम्!वास्तविक दत्तांश + कृत्रिम दत्तांश
अस्य नेचर-कवर-पत्रस्य विषये पाठकानां शिकायतां विषये स्टैन्फोर्ड-विश्वविद्यालयस्य डॉक्टरेट्-छात्रः रायलन् शेफरः स्वस्य अवगमनं प्रकटितवान् ।सः अवदत् यत् प्रायः तदा आदर्शपतनः तदा भवति यदा शोधकर्तारः जानीतेव तादृशानि पद्धतीः स्वीकुर्वन्ति ये वास्तविकव्यवहारस्य अनुरूपाः न सन्ति ।दत्तांशसञ्चयः पतति वा न वा, एतत् सर्वं विशिष्टसञ्चालनविवरणेषु निर्भरं भवति ।स्टैन्फोर्ड, मेरिलैण्ड्, एमआईटी च सहलेखिते पत्रे शेफरः परीक्षते यत् आँकडानां संचयः मॉडल्-पतनं कथं प्रभावितं करोति ।प्रयोगानन्तरं तेषां पुष्टिः अभवत् यत् प्रत्येकस्मिन् पीढौ मूलवास्तविकदत्तांशस्य स्थाने कृत्रिमदत्तांशः स्थापयित्वा खलु प्रतिरूपस्य पतनं भविष्यति ।परन्तु यदि मूलवास्तविकदत्तांशस्य पार्श्वे कृत्रिमदत्तांशस्य क्रमिकपीढयः सञ्चिताः भवन्ति तर्हि आदर्शपतनं परिहर्तुं शक्यते ।पेपर पता: https://arxiv.org/abs/2404.01413व्यवहारे एलएलएम इत्यस्य भावी पीढयः कालान्तरे वर्धमानस्य आँकडानां विषये प्रशिक्षिताः भविष्यन्ति यथा, लामा १ इत्यस्य कृते १.४ खरब टोकनस्य आवश्यकता भवति, लामा २ इत्यस्य कृते २ खरब टोकनस्य आवश्यकता भवति, लामा ३ इत्यस्य कृते १५ खरब टोकनस्य आवश्यकता भवति ।एकस्मिन् अर्थे एषा दत्तांशसञ्चयसेटिंग् अत्यन्तं निराशावादी अस्ति——अस्मिन् काल्पनिकभविष्यत्काले कृत्रिमदत्तांशः अनियंत्रितरूपेण अन्तर्जालस्य उपरि निक्षिप्तः भवति यत् तस्य उपयोगेन आदर्शस्य अग्रिमपुनरावृत्तिः प्रशिक्ष्यते ।यथा चित्रस्य दक्षिणभागे दर्शितं, दत्तांशसञ्चयेन मॉडल्-पतनं परिहर्तुं शक्यतेशोधकर्तारः त्रयः भिन्नाः प्रयोगात्मकाः सेटिंग्स् उपयुज्यन्ते स्म: कारणात्मकः परिवर्तकः, प्रसारप्रतिरूपः, स्वचक्रात्मकः एन्कोडरः च, तथा च क्रमशः वास्तविकपाठः, आणविकरूपरेखा, प्रतिबिम्बदत्तांशसमूहाः च प्रशिक्षिताःतेषां ज्ञातं यत् दत्तांशस्य प्रतिस्थापनेन सर्वेषां मॉडल्-समूहानां कृते सर्वेषां दत्तांशसमूहानां कृते च मॉडल्-पतनं भवति, यदा तु दत्तांशसञ्चयेन मॉडल्-पतनं निवारितं भवति ।Transformer इत्यस्य आधारेण कारणभाषाप्रतिरूपणंप्रथमं ते कारणात्मकं Transformer इत्यस्य पाठदत्तांशस्य प्रशिक्षणं कृतवन्तः ।विशेषतया, एकस्य युगस्य 9M पैरामीटर् GPT-2 तथा 12M, 42M तथा 125M पैरामीटर् इत्यस्य Llama 2 भाषाप्रतिरूपं TinyS-tories इत्यत्र पूर्वप्रशिक्षितम् आसीत्पूर्वं बालवाड़ीपठनस्तरस्य GPT-3.5/4 द्वारा उत्पन्नः 470M टोकन लघुकथादत्तांशसमूहः अस्ति ।प्रत्येकं मॉडल् फिटिंग् पुनरावृत्तिः n ≥ 2 कृते, वयं पूर्वपुनरावृत्तेः भाषावैज्ञानिकप्रकारात् TinvStories इत्यस्य समानाकारस्य नूतनं दत्तांशसमूहं नमूनानि कुर्मः, ततः पूर्वदत्तांशसमूहं नवजनितदत्तांशसमूहेन सह प्रतिस्थापयामः वा संयोजयामः वाप्रत्येकस्मिन् मॉडल् फिटिंग् पुनरावृत्तौ, ते पूर्वपुनरावृत्तितः प्रतिस्थापनस्य अथवा संबद्धदत्तांशसमूहस्य उपरि नूतनं प्रारम्भितं मॉडलं पूर्वप्रशिक्षणं कुर्वन्ति ।परिणामाः दर्शयन्ति यत्, सर्वेषां आर्किटेक्चरानाम्, पैरामीटर्-गणनायाः, नमूना-तापमानस्य च कृते, आँकडानां स्थाने परीक्षण-पार-एन्ट्रोपी-वृद्धिः भवति यतः मॉडल-फिटिंग्-पुनरावृत्तीनां संख्या वर्धते (चित्रम् २ वामम्)तेषां कृते इदमपि ज्ञातं यत्, सर्वेषां वास्तुकलानां, पैरामीटर्-गणनायाः, नमूना-तापमानस्य च कृते, यथा यथा मॉडल-फिटिंग्-पुनरावृत्तीनां संख्या वर्धते, तथैव सञ्चित-दत्तांशस्य परिणामः भवति यत् परीक्षण-पार-एन्ट्रोपी-इत्यस्य समानं वा न्यूनं वा भवति (चित्रम् २, दक्षिणतः)चित्र 3 प्रत्येकस्य मॉडल फिटिंग् पुनरावृत्तेः कृते शिक्षणवक्रं भवति यदा पुनः पुनः आँकडानां स्थाने (ऊर्ध्वं) दत्तांशसञ्चयः (अधः) च भवति ।परिणामानि दर्शयन्ति यत् भाषाप्रतिरूपणे दत्तांशसञ्चयः आदर्शपतनं परिहरति।125M Llama2 तथा 9M GPT-2 इत्येतयोः द्वयोः अपि आँकडानां (R) स्थाने गुणवत्तायाः क्षयः दृश्यते स्म, परन्तु आँकडानां (A) संचयसमये उच्चगुणवत्तायुक्तः पाठजननम् अभवत्आणविक संरचनात्मकदत्तांशस्य कृते प्रसारप्रतिमानाःतदनन्तरं ते आणविकरूपरेखादत्तांशस्य उपरि प्रसारप्रतिमानानाम् एकं क्रमं प्रशिक्षितवन्तः ।विशेषतः, शोधकर्तारः आणविकरूपरेखाजननार्थं ज्यामितीयप्रसारप्रतिरूपं GeoDiff इति GEOMDrugs-दत्तांशसमूहे प्रशिक्षितवन्तः ।ते GEOM-Drugs दत्तांशसमूहस्य प्रशिक्षणभागस्य 40,000 आणविकसंरचनानां कृते न्यूनीकृत्य, प्रारम्भिकप्रशिक्षणसमूहरूपेण तस्य उपयोगं कृतवन्तः, प्रत्येकस्य भविष्यवाणीयाः कृते 50 प्रसारपदार्थाः च कृतवन्तःपरिणामाः ८ मॉडल-फिटिंग् पुनरावृत्तीनां अनन्तरं शोधकर्तारः पश्यन्ति यत् अस्माकं भाषा-माडल-प्रयोगैः सह मेलनं कुर्वन्तं आँकडानां स्थाने परीक्षणहानिः वर्धते, तथा च आँकडा-सञ्चयकाले परीक्षणहानिः तुल्यकालिकरूपेण नित्यं भवति (चित्रम् ४)भाषाप्रतिमानानाम् विपरीतम्, तेषां ज्ञातं यत् दत्तांशस्य स्थाने स्थापनसमये कृत्रिमदत्तांशस्य प्रशिक्षणस्य प्रथमप्रतिरूपस्य फिटिंग् पुनरावृत्तौ कार्यक्षमतायाः महती क्षयः भवति, अनन्तरं पुनरावृत्तौ च अधिकं महत्त्वपूर्णं न पततिचित्रदत्तांशस्य कृते स्वचयनात्मकः एन्कोडरःप्रयोगस्य अन्ते शोधकर्तारः सेलेबए इत्यस्य विषये एकं भिन्नात्मकं एन्कोडरं (VAE) अनुक्रमं प्रशिक्षयन्ति स्म ।एषः विकल्पः अनेकनमूनानां, वर्णप्रतिमानां, संकल्पानां च सह यथार्थदत्तांशसमूहानां मध्ये सन्तुलनं करोति, सञ्चितदत्तांशस्य उपरि अनेकपुनरावृत्तीनां कृते प्रतिरूपस्य प्रशिक्षणस्य गणनासाध्यतायाः च मध्येफलतः तेषां ज्ञातं यत् प्रत्येकस्मिन् पुनरावृत्तौ पुनः दत्तांशं प्रतिस्थापयित्वा मॉडलस्य पतनम् -प्रत्येकं अतिरिक्तपुनरावृत्त्या सह परीक्षणदोषः तीव्रगत्या वर्धते, प्रत्येकं पुनरावृत्तिः च न्यूनगुणवत्तां न्यूनविविधमुखं च उत्पादयति, यावत् सर्वाणि आदर्शजननम् एकं प्रतिरूपं न प्रतिनिधियतितस्य विपरीतम्, प्रत्येकस्मिन् पुनरावृत्तौ आँकडानां संचयः मॉडल्-पतनं महत्त्वपूर्णतया मन्दं करोति—प्रत्येकं अतिरिक्तपुनरावृत्त्या सह परीक्षणदोषः महत्त्वपूर्णतया मन्दतरं वर्धते ।यद्यपि चित्रे ६ मध्ये मध्यदक्षिणपटलयोः तुलने पीढीनां विविधता न्यूनीभवति तथापि एतत् दत्तांशसमूहे भिन्नतायाः मुख्यानि अक्षाणि, यथा लिङ्गं, प्रतिनिधियति, परन्तु प्रतिरूपं दत्तांशस्य लघुतर-अक्षैः सह अन्येषां जननं न करोति इति भासते बहुविधाः चक्षुषः उपसाधनाः इत्यादयः विवरणाः।अन्यत् रोचकं घटना अस्ति यत् भाषाप्रतिरूपणस्य विपरीतम्, सञ्चितदत्तांशस्य परीक्षणदोषः पुनरावृत्तीनां संख्यायाः सह वर्धते एव (यद्यपि प्रतिस्थापनदत्तांशस्य अपेक्षया बहु मन्दतरम्) किमर्थम् अयं भेदः विद्यते ? एषा शोधदिशा भविष्याय अवशिष्टा अस्ति। https://arxiv.org/abs/2406.07515
