समाचारं

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

बैजियाओ आओफेइ मन्दिरात् आगच्छति
Qubits |.सार्वजनिक खाता QbitAI

एआइ प्रशिक्षण एआइ एआइ मूर्खं कर्तुं शक्नोति? !

आक्सफोर्ड, केम्ब्रिज इत्यादीनां संस्थानां शोधकर्तृभिः अद्यैव आविष्कृतं यत् कृत्रिमदत्तांशैः प्रशिक्षिते बृहत्प्रतिमानाः पतितुं शक्नुवन्ति ।अस्य शोधपरिणामाः नवीनतमरूपेण चयनिताःप्रकृति आवरण。

प्रत्यक्षं एकं : १.GARBAGE OUT!

भवन्तः जानन्ति, प्रौद्योगिकीकम्पनीनां अधिकांशः बृहत् मॉडलः अधुना "दत्तांशस्य अभावस्य" निवारणाय कृत्रिमदत्तांशस्य उपयोगं कुर्वन्ति । एषा निःसंदेहं सम्पूर्णे उद्योगे पातितस्य शीतलजलस्य तरङ्गः अस्ति।

शोधदलेन एतादृशं उदाहरणं दत्तम्।

ते मेटा इत्यस्य OPT-125m मॉडल् इत्यस्य परीक्षणं कृत्वा मध्ययुगीनवास्तुकलाविषये सूचनां पृष्टवन्तः ।

प्रत्येकं सूक्ष्म-समायोजनं गतवारं उत्पन्नदत्तांशस्य उपरि प्रशिक्षितं भवति । प्रथमेषु कतिपयेषु गोलेषु उत्तराणि सुन्दराणि अभवन् । फलतः नवमेवारं अहं बकवासं वक्तुं आरब्धवान्...

शशानां विषये किं नरकं एतत् ? !

पत्रस्य प्रमुखलेखकः अवदत् यत् तेषां विचारः अस्ति यत् कृत्रिमदत्तांशैः बृहत्प्रतिमानयोः दोषाः प्रविष्टाः भवितुम् अर्हन्ति, परन्तु आदर्शाः एतावत् शीघ्रं क्षीणाः भविष्यन्ति इति अपेक्षां न कृतवन्तः

त्रयः दोषाः आदर्शस्य पतनं जनयन्ति

प्रथमं दलेन परिभाषितं यत् आदर्शपतनं किम् इति ।

मॉडल्-पतनम् एकः अवनति-प्रक्रिया अस्ति यत्र मॉडल्-जनित-सामग्री प्रशिक्षण-दत्तांश-समूहानां अग्रिम-पीढीम् दूषयति । दूषितदत्तांशस्य प्रशिक्षणानन्तरं नूतनपीढीयाः आदर्शाः वास्तविकतायाः दुर्बोधतां प्राप्नुवन्ति ।

एतत् चक्रं गच्छति, प्रत्येकं पीढी परस्मात् अपेक्षया दुर्गतिः भवति ।

कालान्तरानुसारं मुख्यतया द्वौ परिस्थितौ स्तः- प्रारम्भिकप्रतिरूपपतनः, विलम्बितप्रतिरूपपतनः च ।

प्रारम्भिकमाडलपतने आदर्शः काश्चन पुच्छसूचनाः नष्टुं आरभते । (संभाव्यतावितरणे केषाञ्चन न्यूनसंभाव्यघटनानां सदृशम्) तथा च विलम्बेन प्रतिरूपपतने, प्रतिरूपस्य अभिसरणं भविष्यति यत् मूलवितरणस्य प्रायः कोऽपि सादृश्यः नास्ति

अस्याः प्रक्रियायाः घटना आदर्शनिर्माणेन, शिक्षणप्रक्रियायाः, प्रयुक्तदत्तांशस्य गुणवत्तायाः च सह सम्बद्धा अस्ति ।

सिद्धान्तविशिष्टं, एतस्मिन् मुख्यतया एतेषां त्रयाणां दोषाणां कारणेन मूलप्रतिरूपात् बृहत्प्रतिरूपस्य व्यभिचारः अन्तर्भवति ।

• सांख्यिकीय सन्निकर्षदोष . एषः मुख्यः प्रकारः दोषः यः सीमितनमूनाकारस्य कारणेन उत्पद्यते, नमूनाकारस्य अनन्ततां गच्छति चेत् अन्तर्धानं भवति । यतो हि पुनः नमूनाकरणस्य प्रत्येकं पदे सूचना नष्टा भवितुम् अर्हति, शून्यसंभावना सह ।
• कार्यव्यञ्जनत्वदोषः . एषः दोषः कार्यसन्निकर्षस्य सीमितव्यञ्जनक्षमतायाः कारणेन भवति । विशेषतः तंत्रिकाजालं तदा एव सार्वत्रिकं सन्निकर्षं भवति यदा तेषां आकारः अनन्ततां प्राप्नोति । परन्तु अन्ययोः दोषयोः अभावे प्रथमजन्मनि एव एषः दोषः स्यात् ।
• कार्य सन्निकर्षदोष . मुख्यतया शिक्षणप्रक्रियायाः सीमाभिः कारणं भवति, यथा आकस्मिकप्रवणतावरोहणे संरचनात्मकपक्षपाताः अथवा लक्ष्यचयनम् । अयं दोषः प्रत्येकं पीढौ अनन्तदत्तांशस्य सम्यक् अभिव्यञ्जकशक्तेः च सन्दर्भे यः दोषः उत्पद्यते सः इति द्रष्टुं शक्यते ।

भाषाप्रतिमानानाम् उपरि प्रभावः

ततः शोधकर्तारः भाषाप्रतिरूपे आदर्शपतनस्य प्रभावस्य मूल्याङ्कनं कृतवन्तः । यतः आद्यतः एव विशालस्य प्रतिरूपस्य प्रशिक्षणं अतीव महत्त्वपूर्णं भवति, ते भाषाप्रतिरूपस्य कृते सर्वाधिकं सामान्यं सेटिंग् मूल्याङ्कनं कर्तुं चयनं कृतवन्तः:सेटिङ्ग्स् सूक्ष्म-ट्यून-करणम्。

प्रत्येकं प्रशिक्षणचक्रं नवीनतमदत्तांशैः सह पूर्वप्रशिक्षितेन प्रतिरूपेण आरभ्यते । प्रशिक्षणदत्तांशः अन्यस्मात् सूक्ष्म-समायोजितपूर्व-प्रशिक्षित-प्रतिरूपात् आगच्छति ।

ते Meta causal language model OPT-125m इत्यस्य उपयोगं कृतवन्तः, यत् wikitext2 इत्यत्र सूक्ष्मरूपेण व्यवस्थितम् आसीत् ।

प्रशिक्षितप्रतिरूपात् दत्तांशं जनयितुं दलेन पञ्चपक्षीयपुञ्जसन्धानस्य उपयोगः कृतः । ते प्रशिक्षणक्रमं ६४ टोकनदीर्घतां स्थापयन्ति स्म;

ते सर्वेषां मूलप्रशिक्षणदत्तांशसमूहानां माध्यमेन गत्वा समानप्रमाणस्य कृत्रिमदत्तांशसमूहं जनयन्ति ।यदि मॉडलस्य त्रुटिः 0 अस्ति तर्हि मूलं wikitext2 दत्तांशसमूहं जनयति ।

अन्तरं अधिकं अनुभवितुं ते द्वौ भिन्नौ सेटिंग्स् उपयुज्यन्ते स्म: एकः समूहः प्रारम्भिकप्रशिक्षणं विहाय, तदनन्तरं प्रक्रियायां मूलप्रशिक्षणदत्तांशः नास्ति अन्यः समूहः मूलदत्तांशस्य १०% भागं धारयति

परिणामेषु ज्ञातं यत् कालान्तरे आदर्शेन उत्पादिताः दोषाः वर्धन्ते । एतेन अपि मॉडल् दत्तांशसमूहे न्यूनसंभाव्यताघटनानि विस्मरति तथा च तेषां आउटपुट् अधिकं सजातीयं भवति, मॉडलस्य पूर्णतया भङ्गात् पूर्वम् अन्ते आरम्भस्य घटना प्रादुर्भूतवती ।

तदतिरिक्तं VAE तथा GMM मॉडल् इत्यत्र अपि एतादृशाः मॉडल्-पतनस्य घटनाः दृष्टाः सन्ति ।

ड्यूक् विश्वविद्यालयस्य प्राध्यापिका एमिली वेङ्गर् इत्यनेन उक्तं यत् एतावता समस्यायाः निवारणं सुलभं न अभवत्।

प्रमुखाः प्रौद्योगिकीकम्पनयः "जलचिह्नानि" -

प्रशिक्षणदत्तांशतः बहिष्कृत्य AI-जनितसामग्रीम् ध्वजयन्तु । कठिनता एषा यत् एतदर्थं प्रौद्योगिकीकम्पनीनां मध्ये समन्वयस्य आवश्यकता वर्तते अतः व्यावसायिकरूपेण न्यूनं व्यवहार्यं भवति ।

एवं प्रकारेण ये कम्पनयः अन्तर्जालतः आँकडान् प्राप्नुवन्ति ते वास्तविकजगत् अधिकं प्रतिनिधित्वं कुर्वन्ति इति आदर्शान् प्रशिक्षितुं शक्नुवन्ति । अतः बृहत्-माडलानाम् आरम्भिक-तरङ्गस्य प्रथम-गति-लाभः आसीत् ।

अस्य दृष्टिकोणस्य विषये भवतः किं मतम् ?

सन्दर्भलिङ्कानि : १.
[1]https://www.nature.com/articles/d41586-024-02420-7
[2]https://www.nature.com/articles/d41586-024-02355-z
[3]https://www.nature.com/articles/s41586-024-07566-y