२००० तमे दशके जन्म प्राप्य चीनीयस्य कार्यं नेचर इति पत्रिकायां प्रकाशितम्, अस्य विशालस्य आदर्शपत्रस्य च उष्णविमर्शः अभवत् ।

सरलतया वक्तुं शक्यते यत्, बृहत्तराणि आदर्शानि ये निर्देशान् अधिकं निकटतया अनुसरन्ति, ते अपि न्यूनविश्वसनीयाः भवन्ति, केषुचित् सन्दर्भेषु चप्रश्नानाम् उत्तरं दातुं जीपीटी-४ जीपीटी-३ इव विश्वसनीयः नास्ति。

पूर्ववर्तीनां आदर्शानां तुलने नवीनतममाडलानाम्, येषु अधिका कम्प्यूटिंगशक्तिः, मानवप्रतिक्रिया च भवति, तेषां उत्तरविश्वसनीयतायां वस्तुतः दुर्गता अभवत्

निष्कर्षः बहिः आगतः एव तत्क्षणमेव २,००,००० तः अधिकाः नेटिजनाः द्रष्टुं आकर्षितवन्तः -

रेडिट् मञ्चे अपि चर्चाः उत्पन्नाः ।

एतेन जनान् स्मारयति यत् बहुशः विशेषज्ञ/डॉक्टरेल् स्तरस्य आदर्शाः अद्यापि "कः बृहत्तरः, ९.९ वा ९.११" इति सरलं प्रश्नं न जानन्ति ।

अस्याः घटनायाः विषये पत्रे उक्तं यत् एतेन अपि प्रतिबिम्बितम्,आदर्शप्रदर्शनं कठिनतायाः मानवीयानाम् अपेक्षाभिः सह न मेलति。

अन्येषु शब्देषु, "llms सफलाः अपि च (अधिकं भयङ्करतया) असफलता च तेषु स्थानेषु यत्र उपयोक्तारः न अपेक्षन्ते।"

इलिया सुत्स्केवरः २०२२ तमे वर्षे भविष्यवाणीं कृतवान् यत् -

कदाचित् कालान्तरे एषः भेदः न्यूनीभवति।

परन्तु अस्मिन् पत्रे एतत् न भवति इति ज्ञायते । न केवलं gpt, llama तथा bloom श्रृङ्खला, अपितु अपिopenaiनूतनम्‌o1 मॉडल् तथा क्लाउड्-३.५-सोनेट्विश्वसनीयतायाः विषये अपि चिन्ताः सन्ति ।

अतः अपि महत्त्वपूर्णं यत् पत्रम् अपि प्राप्तवान्दोषाणां सम्पादनार्थं मानवीयनिरीक्षणस्य उपरि अवलम्ब्यताम्उपायः अपि कार्यं न करोति।

केचन नेटिजनाः मन्यन्ते यत् यद्यपि बृहत्तराः आदर्शाः विश्वसनीयतायाः विषयान् आनेतुं शक्नुवन्ति तथापि ते अपूर्वकार्यक्षमताम् अपि प्रदास्यन्ति ।

अस्माकं दृढमूल्यांकनपद्धतीनां विकासे पारदर्शितायाः वर्धने च ध्यानं दातव्यम्।

अन्ये मन्यन्ते यत् अयं अध्ययनं प्रकाशयतिऐसूक्ष्माः आव्हानाः सम्मुखीकृताः(प्रतिरूपविस्तारस्य विश्वसनीयतायाः च संतुलनं करणं)。

बृहत्तराणि आदर्शानि न्यूनविश्वसनीयाः भवन्ति तथा च मानवप्रतिक्रियायाः उपरि अवलम्बनं कार्यं न करोति

निष्कर्षस्य दृष्टान्तरूपेण पत्रे त्रयः प्रमुखाः पक्षाः परीक्षिताः ये मानवीयदृष्ट्या एलएलएम-विश्वसनीयतां प्रभावितयन्ति-

1、असङ्गत कठिनता: यत्र मनुष्याः असफलतां अपेक्षन्ते तत्र एलएलएम-संस्थाः विफलाः भवन्ति वा ?
2、कार्यपरिहारः: किं एलएलएम-जनाः स्वसामर्थ्यात् परं प्रश्नानाम् उत्तरं दातुं परिहरन्ति?
3、प्रॉम्प्ट भाषाव्यञ्जनानां प्रति संवेदनशीलता: समस्यानिर्माणस्य प्रभावशीलता समस्याकठिनतायाः प्रभावः भवति वा ?

अतः अपि महत्त्वपूर्णं यत् लेखकाः ऐतिहासिकप्रवृत्तीनां विश्लेषणं कुर्वन्ति तथा च एते त्रयः पक्षाः कार्यकठिनतायाः सह कथं विकसिताः भवन्ति इति।

तान् एकैकशः अधः विस्तारयन्तु।

प्रथमप्रश्नस्य कृते पत्रं मुख्यतया अस्मिन् विषये केन्द्रितः अस्तिकठिनतायाः सापेक्षतया सम्यक्त्वस्य विकासः。

gpt तथा llama इत्येतयोः विकासात् न्याय्यं चेत् यथा यथा कठिनता वर्धते तथा तथा सर्वेषां मॉडलानां सम्यक्तायां महती न्यूनता भविष्यति ।(मानवस्य अपेक्षाभिः सह सङ्गतम्) २.

परन्तु एते आदर्शाः अद्यापि बहवः अत्यन्तं सरलाः कार्याणि समाधातुं न शक्नुवन्ति ।

अस्य अर्थः अस्ति यत् मानवीयप्रयोक्तारः llms इत्यस्य सुरक्षितं संचालनस्थानं आविष्कृत्य तस्य उपयोगं कर्तुं न शक्नुवन्ति यत् मॉडलस्य परिनियोजनप्रदर्शनं निर्दोषं भवितुम् अर्हति इति सुनिश्चितं कर्तुं शक्नुवन्ति ।

आश्चर्यवत्, नवीनाः एलएलएम मुख्यतया कठिनकार्येषु कार्यप्रदर्शने सुधारं कुर्वन्ति, सरलकार्येषु महत्त्वपूर्णं सुधारं विना। उदाहरणतया,जीपीटी-४ इत्यस्य पूर्ववर्ती जीपीटी-३.५-टर्बो इत्यस्य तुलने。

उपर्युक्तं सिद्धयति यत् मानवीयकठिनताप्रत्याशायाः आदर्शप्रदर्शनस्य च मध्ये असङ्गतिः अस्ति ।नूतनप्रतिरूपे च एषा असङ्गतिः अधिका भवति।

एतस्यापि अर्थः- १.

एलएलएम-इत्येतत् विश्वसितुम् अर्हति इति निर्धारयितुं सम्प्रति मनुष्याणां कृते सुरक्षिताः परिचालनस्थितयः नास्ति ।

एतत् विशेषतया तेषु अनुप्रयोगेषु चिन्ताजनकं भवति येषु उच्चविश्वसनीयतायाः, सुरक्षितसञ्चालनस्थानानां पहिचानस्य च आवश्यकता भवति । एतेन जनाः चिन्तयन्ति यत् मनुष्याः यत् अत्याधुनिकं यन्त्रबुद्धिः निर्मातुं परिश्रमं कुर्वन्ति तत् वस्तुतः जनसमूहः अपेक्षते वा इति।

द्वितीयं बिन्दु २ विषये पत्रस्य निष्कर्षाः(परिहारः प्रायः प्रश्नस्य उत्तरात् विचलितं प्रतिरूपं निर्दिशति, अथवा प्रत्यक्षतया "न जानामि" इति वदति)：

पूर्वस्य एलएलएम-सम्बद्धानां तुलने,नवीनतमाः एलएलएम-पत्राणि अनेके उत्तराणि भृशं सुधारयन्ति ये गलताः अथवा गम्भीराः बकवासाः सन्ति, न तु स्वसामर्थ्यात् परं कार्याणि सावधानीपूर्वकं परिहरन्ति।

एतेन विडम्बनात्मका घटना अपि भवति : केषुचित् मानदण्डेषु नूतनानां एलएलएम-समूहानां त्रुटिदरः सटीकता (doge) इत्यस्मात् अपि द्रुततरं सुधरति ।

सामान्यतया मनुष्याः यथा यथा कठिनं कार्यं सम्मुखीकुर्वन्ति तथा तथा तेषां अस्पष्टत्वस्य सम्भावना अधिका भवति ।

परन्तु एलएलएम-समूहस्य वास्तविकं प्रदर्शनं सर्वथा भिन्नं भवतितेषां परिहारव्यवहारस्य कठिनतायाः महत्त्वपूर्णः सम्बन्धः नास्ति ।

एतेन सहजतया उपयोक्तारः आरम्भे एलएलएम-इत्यत्र अति-निर्भरतां प्राप्तुं शक्नुवन्ति यत् ते कार्याणि सम्पादयितुं शक्नुवन्ति, परन्तु दीर्घकालं यावत् ते निराशाः भवन्ति ।

फलतः मनुष्याणां कृते अपि आदर्शनिर्गमस्य सटीकता सत्यापनं कृत्वा दोषाणां अन्वेषणं करणीयम् ।(यदि भवान् आलस्यं कर्तुं llms इत्यस्य उपयोगं कर्तुम् इच्छति तर्हि भवान् महतीं छूटं प्राप्स्यति)

अन्ते पत्रे ज्ञातं यत् यदि केचन विश्वसनीयतासूचकाः उन्नताः अभवन् अपि तथापि तस्याः समस्यायाः लघुसूत्रीकरणपरिवर्तनानां प्रति प्रतिरूपं संवेदनशीलं भवति

एकं चेस्टनट् ददातु, "कृपया निम्नलिखितप्रश्नस्य उत्तरं ददातु..." इति न तु "किं भवन्तः उत्तरं दातुं शक्नुवन्ति..." इति पृच्छन् भिन्न-भिन्न-अवस्थायां सटीकता भविष्यति ।

विश्लेषणं प्राप्तम् : १.केवलं विद्यमान-स्केलिंग-अप-आकार-अप-योः उपरि अवलम्ब्य संकेत-संवेदनशीलतायाः समस्यायाः पूर्णतया समाधानं कर्तुं असम्भाव्यम्, यतः नवीनतम-प्रतिमानाः पूर्ववर्तीनां तुलने महत्त्वपूर्णतया अनुकूलिताः न सन्ति

तथा च यदि भवान् औसतप्रदर्शनस्य दृष्ट्या उत्तमं प्रतिनिधित्वस्वरूपं चिनोति चेदपि, उच्चकठिनतायुक्तकार्यस्य कृते मुख्यतया प्रभावी भवितुम् अर्हति, परन्तु तत्सहकालं न्यूनकठिनतायुक्तकार्यस्य कृते अप्रभावी भवितुम् अर्हति(अधिकतरदोषदरः) २.。

एतेन तत् ज्ञायतेमानवता अद्यापि प्रेरणाप्रकल्पस्य अधीना अस्ति。

किं तस्मात् अपि भयङ्करं यत् पत्रेण तत् प्राप्तम्मानवीयपरिवेक्षणं प्रतिरूपस्य अविश्वसनीयतां न्यूनीकर्तुं न शक्नोति。

पत्रं मानवसर्वक्षणानाम् आधारेण विश्लेषणं करोति यत् कठिनतायाः मानवीयधारणा वास्तविकप्रदर्शनेन सह सङ्गताः सन्ति वा तथा च मनुष्याः प्रतिरूपस्य उत्पादनस्य समीचीनतया मूल्याङ्कनं कर्तुं शक्नुवन्ति वा इति।

परिणामाः दर्शयन्ति, यस्मिन् संचालनक्षेत्रे उपयोक्तारः कठिनं मन्यन्ते, ते प्रायः सरलकार्यस्य कृते अपि अशुद्धं उत्पादनं सम्यक् इति मन्यन्ते, न्यूनप्रतिरूपदोषः न्यूनपरिवेक्षणदोषः च युक्तः सुरक्षितः संचालनक्षेत्रः नास्ति;

उपर्युक्ताः अविश्वसनीयतासमस्याः बहुषु llms श्रृङ्खलासु विद्यन्ते, यत्र gpt, llama, bloom च सन्ति३२ आदर्शाः。

एते आदर्शाः भिन्नानि प्रदर्शयन्तिस्केलिंग-अप(गणनाः, मॉडलस्य आकारः, दत्तांशः च वर्धितः) तथा चआकार-अप(उदाहरणार्थं ft, rlhf इति निर्देशाः)।

उपर्युक्तस्य अतिरिक्तं लेखकाः पश्चात् आविष्कृतवन्तः यत् केचन नवीनतमाः सशक्ताः च आदर्शाः अपि अस्मिन् लेखे उल्लिखितैः अविश्वसनीयतायाः विषयैः पीडिताः सन्ति :

openai इत्यस्य o1 मॉडल्, antropicic इत्यस्य claude-3.5-sonet, meta इत्यस्य llama-3.1-405b च समाविष्टम्。

उदाहरणानि ददाति इति दस्तावेजम् अपि अस्ति ।(विवरणार्थं मूलदस्तावेजं पश्यन्तु)：

तदतिरिक्तं अन्येषु प्रतिरूपेषु विश्वसनीयतायाः समस्याः सन्ति वा इति सत्यापयितुं लेखकः पत्रे प्रयुक्तानां परीक्षणमापदण्डानां उपयोगं कृतवान्विश्वसनीयताबेंचइदं मुक्तस्रोतम् अपि अस्ति ।

इदं पञ्च डोमेन्, सरलगणितीयम् ("जोडनम्"), शब्दावलीपुनर्गठनं ("शब्दपहेलिका"), भौगोलिकज्ञानं ("स्थानम्"), मूलभूतानाम् उन्नतानां च विज्ञानसमस्यानां ("विज्ञानम्"), सूचना-आधारित-केन्द्रितं च समाविष्टं दत्तांशसमूहम् अस्ति परिवर्तन ("परिवर्तन")।

लेखक परिचय

प्रथमं पत्रम्लेक्सिन झोउ, सम्प्रति अधुना एव केम्ब्रिजविश्वविद्यालयात् सीएस (२४ वर्षीयः) स्नातकोत्तरपदवीं प्राप्तवान्, तस्य शोधरुचिः च बृहत् भाषाप्रतिरूपमूल्यांकनम् अस्ति ।

अतः पूर्वं सः वैलेन्सिया-नगरस्य पॉलिटेक्निक-विश्वविद्यालयात् प्राध्यापकः जोस-हर्नान्डेज्-ओरालो-इत्यस्य पर्यवेक्षणे आँकडा-विज्ञानस्य स्नातकपदवीं प्राप्तवान् ।

तस्य व्यक्तिगतमुखपृष्ठे ज्ञायते यत् तस्य अनेके कार्य-इण्टर्न्शिप्-अनुभवाः अभवन् । openai तथा meta इत्येतयोः द्वयोः अपि red team testing इत्यस्मिन् भागं गृहीतवान् ।(लाल टीमिंग परामर्शदात्री ) .

अस्य पत्रस्य विषये सः एतेषु विषयेषु ध्यानं दत्तवान् यत् -

सामान्यकृत्रिमबुद्धेः परिकल्पना विकासश्च आवश्यकःमौलिक परिवर्तन, विशेषतः उच्च-जोखिम-क्षेत्रेषु, यत्र पूर्वानुमानीय-दोष-वितरणं महत्त्वपूर्णं भवति । एतस्य सिद्धेः पूर्वम् ।मानवीयपरिवेक्षणस्य आश्रये संकटः भवति ।

आदर्शस्य मूल्याङ्कनकाले .मानवस्य प्रतीयमानं कठिनतां विचार्य आदर्शपरिहारव्यवहारस्य मूल्याङ्कनं कुर्वन्तु, केवलं कठिनकार्येषु कार्यप्रदर्शने ध्यानं न दत्त्वा, आदर्शस्य क्षमतानां जोखिमानां च अधिकं व्यापकं वर्णनं दातुं शक्नोति ।

पत्रे एतेषां अविश्वसनीयतानां केचन सम्भाव्यकारणानि अपि विशेषतया उल्लिखितानि सन्ति, समाधानं च-

स्केलिंग-अप इत्यस्मिन्, अन्तिमेषु वर्षेषु बेन्चमार्क् अधिकाधिकं कठिनं उदाहरणं योजयितुं प्रवृत्ताः सन्ति, अथवा तथाकथितानां "अधिकारयुक्तानां" स्रोतानां अधिकं भारं दातुं प्रवृत्ताः सन्ति अतः, शोधकर्तारः कठिनकार्येषु मॉडल्-प्रदर्शनस्य अनुकूलनार्थं अधिकं प्रवृत्ताः सन्ति, यस्य परिणामः क्रॉनिकः भवति कठिनतास्थिरतायां क्षयः ।

आकार-निर्माणे (यथा rlhf) भाडेन गृहीतः व्यक्तिः कार्यं परिहृत्य उत्तराणि दण्डयितुं प्रवृत्तः भवति, येन आदर्शस्य कठिनसमस्यानां सम्मुखे "बकवासं वक्तुं" अधिका सम्भावना भवति, येषां समाधानं कर्तुं न शक्नोति

एतेषां अविश्वसनीयतायाः समाधानं कथं करणीयम्, पत्रस्य मतं यत् मानवीयकठिनता-अपेक्षाणां उपयोगेन प्रतिरूपस्य उत्तमं प्रशिक्षणं वा सूक्ष्म-समायोजनं वा कर्तुं शक्यते, अथवा कार्य-कठिनता-प्रतिरूप-विश्वासस्य उपयोगेन आदर्शं स्वस्य क्षमतायाः परं समस्यां परिहरितुं उत्तमरीत्या शिक्षितुं शक्यते इत्यादि

अस्मिन् विषये भवतः किं मतम् ?