समाचारं

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

भिन्नाः आउटपुट् प्रारूपाः वास्तवतः बृहत् मॉडल् इत्यस्य कार्यक्षमतां प्रभावितुं शक्नुवन्ति? !

बृहत् भाषाप्रतिमानाः (LLMs) द्वयोः प्रॉम्प्ट्-अन्तर्गतं समानं गणितीयसमस्यां समाधानं कुर्वन्तु समस्या निम्नलिखितरूपेण अस्ति ।

• एलिजा इत्यस्याः प्रतिसप्ताहं प्रथमे ४० घण्टानां कार्यस्य प्रतिघण्टावेतनं १० डॉलरं भवति, अतिरिक्तसमयवेतनं च प्रतिघण्टां x१.२ भवति । यदि एलिजा अस्मिन् सप्ताहे ४५ घण्टाः कार्यं कृतवती तर्हि अस्मिन् सप्ताहे सा कियत् अर्जितवती?

विचार श्रृङ्खला प्रेरणा: "निर्गमं, चरण-चरण-तर्कं, निम्नलिखित-स्वरूपेण प्रदातव्यम्: ...उत्तरम्: अन्तिमम् उत्तरम् अस्ति..."।

प्रारूपप्रतिबन्धप्रोम्प्ट्: "निम्नलिखितवैध JSON प्रारूपे उत्पादनं प्रदातुम्: ... (विशिष्टस्य JSON प्रारूपस्य कृते चित्रं पश्यन्तु)" ।

सम्यक् उत्तरम् अस्ति460, द्रष्टुं शक्यते यत् चिन्तनशृङ्खला (प्रतिरूपं पदे पदे चिन्तयतु) कार्यं करोति, परन्तु प्रारूपप्रतिबन्धः ("JSON प्रारूपेण निर्गमः") विफलः भवति! !

एतत् नेशनल् ताइवान विश्वविद्यालयस्य एप्पियर ए.आइ.

प्रारूपप्रतिबन्धाः एलएलएम-समूहानां तर्कक्षमतां न्यूनीकरिष्यन्ति, प्रतिबन्धाः च यावन्तः कठोराः भवन्ति तावत् तर्कः दुर्बलः भवति । (विद्रोही चरित्रं दर्शयति) २.

परन्तु सुसमाचारः अस्ति यत्, तस्य चिकित्सा कर्तुं शक्यते।

ते अवाप्तवन्तः, .सर्वोत्तम समाधानइदं "द्वितीयकरूपान्तरणम्" (तत् सम्यक्), अर्थात् एलएलएम-जनाः प्रथमं प्राकृतिकभाषायां प्रश्नानाम् उत्तरं ददति, ततः उत्तराणि लक्ष्यस्वरूपे परिवर्तयन्ति ।

अस्मिन् क्रमे ते भिन्न-भिन्न-स्वरूपेषु आँकडानां जननकाले GPT-3.5 Turbo, Claude 3 Haiku, Gemini 1.5 Flash इत्यादीनां भिन्न-भिन्न-माडल-प्रदर्शन-भेदानाम् तुलनां कृतवन्तःइति निष्पन्नम्：

GPT इत्यस्मै YAML इत्येतत् रोचते, Claude इत्यस्मै XML इत्येतत् रोचते, Gemini/Gemma इत्यस्मै JSON इत्येतत् रोचते । (मुख्यतया सर्वेषां स्वकीयाः प्राधान्यानि सन्ति)

शोधं पठित्वा केचन नेटिजनाः एवम् इति सूचितवन्तःसंरचितजन्मस्य कार्यतर्कस्य च संतुलनम्अर्थ:

प्रारूपप्रतिबन्धाः LLMs’ तर्कक्षमतां न्यूनीकरोति

उपर्युक्तं शोधं arXiv इत्यत्र प्रकाशितम् अस्ति।पत्रेण मुख्यतया ज्ञायते यत् प्रारूपबाधायाः अन्तर्गतं एलएलएमस्य तर्कक्षमतायां महती न्यूनता भवति।विशेषतः JSON मोड् मध्ये。

सर्वदा, २.औद्योगिक-अनुप्रयोगेषु एलएलएम-सङ्घटनानाम् समावेशःएकं प्रमुखं बाधकं मानकीकृतनिर्गमस्वरूपेषु तेषां पालनस्य अभावः अस्ति ।

एकं सामान्यं समाधानं संरचितजननम् अस्ति, यत्र प्रारूपप्रतिबन्धाः LLMs JSON अथवा XML इत्यादिषु मानकीकृतस्वरूपेण उत्पादनं प्रदातुं शक्नुवन्ति ।

किन्तु तत् उक्त्वा यद्यपि अस्य प्रतिबन्धस्य प्राप्तेः अनेकाः उपायाः सन्ति तथापि तदनन्तरं प्रभावाः न अधीताः । (किं प्रतिबन्धः आदर्शस्य कार्यप्रदर्शनं प्रभावितं करोति?)

केवलं कुरुत, शोधकर्तारः स्वीकुर्वन्ति३ सामान्यविधयःअधःप्रवाहप्रदर्शने भिन्नस्वरूपप्रतिबन्धानां प्रभावस्य मूल्याङ्कनार्थं : १.

• JSON-mode: LLMs इत्यस्य आउटपुट् पूर्वनिर्धारितेन टैग् स्पेस इत्यनेन सीमितं कुर्वन्तु
• FRI: विशिष्टप्रतिमानानाम् अनुरूपं मानकीकृतस्वरूपप्रतिसादं जनयितुं LLMs मार्गदर्शयति
• NL-to-Format: द्विचरणीयप्रक्रिया या प्रथमं प्राकृतिकभाषायां प्रश्नानाम् उत्तरं ददाति ततः लक्ष्यस्वरूपे परिवर्तयति

वैसे, मया योजयितव्यम्प्राकृतिक भाषा (NL) ९., यत् अत्यन्तं अप्रतिबन्धितं प्रारूपं भवति तथा च आदर्शाः प्राकृतिकभाषायां प्रश्नानाम् उत्तरं स्वतन्त्रतया दातुं शक्नुवन्ति ।

मूल्याङ्कनवस्तूनाम् GSM8K (प्राकृतिकभाषावातावरणे गणितीयसमस्याः समाविष्टाः) तथा Last Letter Concatenation (अन्तिमाक्षरसंयोजनकार्यम्), द्वे आँकडासमूहे येषु सटीकमेलनउत्तराणां आवश्यकता भवति, तथैव Shuffled Objects (shuffled object tracking task) इति

तेषां ज्ञातं यत् सामान्यतया शिथिलतरसंकेतानां परिणामः एतेषु तर्कसम्बद्धेषु कार्येषु उत्तमं परिणामं प्राप्नोति ।

तस्मिन् एव काले, २.JSON योजना अधिकांशप्रसङ्गेषु सर्वाधिकं दुष्टं कार्यं करोति, तदनन्तरं Format Restriction Instructions (FRI), ततः Natural Language to Format (NL to Format) रूपान्तरणं, प्राकृतिकभाषा (NL) च प्रॉम्प्ट् च भवति ।

अध्ययनेन एतदपि ज्ञातं यत् भिन्नाः एलएलएम-संस्थाः भिन्न-भिन्न-दत्तांश-स्वरूपेषु प्रतिक्रियां ददतिभिन्नानि प्राधान्यानि दर्शयन्तु。

यथा, GPT YAML प्रारूपं प्राधान्यं ददाति, Claude XML प्रारूपं प्राधान्यं ददाति, Gemini/Gemma च JSON प्रारूपं प्राधान्यं ददाति ।

तथापि वर्गीकरणकार्येषु .प्रारूपप्रतिबन्धैः सटीकतायां सुधारः अभवत् स्यात्, यतः सम्भाव्य उत्तरविकल्पान् न्यूनीकरोति, तस्मात् त्रुटिदरः न्यूनीकरोति ।

तेषां निष्कर्षः अपि अभवत् यत् प्रारूपप्रतिबन्धाः आदर्शानुमानक्षमतां न्यूनीकर्तुं शक्नुवन्ति ।कारणम्‌, मुख्यतया अत्र अन्तर्भवति : १.

• आवश्यकं मध्यवर्ती अनुमानपदं जनयितुं प्रतिरूपस्य क्षमतां सीमितं करोति ।
• आरोपिताः प्रारूपण-आवश्यकताः प्रतिरूपस्य स्वाभाविकतया उत्तराणि जनयति इति प्रकारेण सह असङ्गताः भवितुम् अर्हन्ति ।
• स्वरूपदोषाणां परिणामः भवति यत् तर्कः सम्यक् अस्ति चेदपि स्वरूपणसमस्यानां कारणेन उत्तरं अशुद्धं इति निर्णीयते ।

सुसमाचारः - अस्य चिकित्सा कर्तुं शक्यते

अस्याः समस्यायाः प्रतिक्रियारूपेण तेषां कृते अनेके प्रतिकाराः प्रस्ताविताः - १.

प्रथमं, यथा पूर्वं उक्तं, JSON मोड् अधिकतया दुष्टतमं कार्यं करोति, अन्ते च प्राकृतिकभाषा स्वरूपं (NL to Format) रूपान्तरणं करोति ।

अथ विपरीततः, २.प्रारूपसीमानां समाधानार्थं सर्वोत्तमः समाधानः NL to Format इति, अर्थात् LLMs प्रथमं प्राकृतिकभाषायां प्रश्नानाम् उत्तरं ददति, ततः उत्तराणि लक्ष्यस्वरूपेण परिवर्तयन्ति । एषः उपायः प्रारूपानुपालनात् तर्कस्य वियुग्मनं कृत्वा उत्तमप्रदर्शनस्य अनुमतिं ददाति ।

तदतिरिक्तं संरचितं उत्पादनम्कीलक्रमःएलएलएम-जनाः कथं उत्तरं ददति इति विषये महत्त्वपूर्णः प्रभावः भवतु।

यथा, GPT-3.5 Turbo इत्यस्य उपयोगं कुर्वन् JSON-मोड् प्रतिक्रियाणां 100% "तर्कीकरणस्य" पूर्वं "उत्तर" कीलम् अशुद्धरूपेण स्थापितवन्तः, येन मॉडल् चिन्तनप्रक्रियाम् दर्शयितुं स्थाने प्रत्यक्षतया उत्तरं ददाति स्म

संशोधनेन अपि ज्ञायते यत् प्रारूपसीमानां कारणेन...पार्स त्रुटिःन तु कार्यनिष्पादनभेदस्य मुख्यकारणम्।

उदाहरणार्थं, LLaMA 3 8B मॉडल् मध्ये, Last Letter कार्यस्य JSON प्रारूपं पार्सिंग् त्रुटिदरः केवलं 0.15% भवति, परन्तु प्राकृतिकभाषाप्रतिसादस्य तुलने कार्यक्षमतायाः अन्तरं 38.15% यावत् भवति

तथा शक्नोतिसुधारात्मकयुक्तिभिः एतान् दोषान् न्यूनीकरोतु, उदाहरणार्थं, Claude-3-Haiku मॉडलस्य कृते, Last Letter कार्ये, सुधारपदस्य माध्यमेन, JSON तथा YAML प्रारूपयोः सटीकता क्रमशः +2.8% तथा +44.8% वर्धिता

उपर्युक्तस्य इदमपि अर्थः अस्ति यत् LLMs इत्यस्य प्रयोगे सुलभतया विश्लेषणीयस्य प्रारूपस्य निहिततर्कक्षमतानां च धारणस्य मध्ये संतुलनं ज्ञातव्यम् ।

अन्ते शोधकर्तृभिः पत्रे स्मरणं कृतम् यत् -

• नियमितव्यञ्जनानां तुलने उत्तरविश्लेषकरूपेण एलएलएम अधिकगहनं सटीकं च पाठबोधं दातुं शक्नुवन्ति, परन्तु ते सतहीप्रतिमानमेलने एव सीमिताः न सन्ति, परन्तु उत्तरस्य अर्थं सन्दर्भं च यथार्थतया अवगन्तुं शक्नुवन्ति