समाचारं

aixiv इति स्तम्भः एकः स्तम्भः अस्ति यत्र मशीन् हार्ट् शैक्षणिकं तकनीकीं च सामग्रीं प्रकाशयति । विगतकेषु वर्षेषु, हार्ट आफ् द मशीन एआइक्सिव् स्तम्भे २००० तः अधिकाः प्रतिवेदनाः प्राप्ताः, येषु विश्वस्य प्रमुखविश्वविद्यालयानाम्, कम्पनीनां च शीर्षप्रयोगशालाः समाविष्टाः सन्ति, येन प्रभावीरूपेण शैक्षणिकविनिमयस्य प्रसारस्य च प्रचारः कृतः यदि भवतां कृते उत्तमं कार्यं अस्ति यत् भवान् साझां कर्तुम् इच्छति तर्हि कृपया निःशङ्कं योगदानं दातुं वा अस्माभिः सह सम्पर्कं कृत्वा प्रतिवेदनार्थम्। प्रस्तुति ईमेल: [email protected];

पत्रस्य सह-प्रथमः लेखकः झेङ्ग मियाओ झोउ ज़ेनान् इत्यस्य नेतृत्वे बैचुआन् संरेखणदलस्य अस्ति सः पेकिङ्ग् विश्वविद्यालयात् स्नातकपदवीं प्राप्तवान् mmflow इत्यादीनि परियोजनानि। सह-प्रथमः लेखकः लिआङ्ग हाओ पेकिङ्ग् विश्वविद्यालयस्य सीमान्त-अन्तर्विषय-अध्ययन-संस्थायाः डॉक्टरेट्-छात्रः अस्ति तस्य शोध-निर्देशः बृहत्-माडलस्य आँकडा-पक्षः अस्ति, तस्य सल्लाहकारः च प्रोफेसरः झाङ्ग-वेण्टाओ अस्ति पेकिङ्ग विश्वविद्यालय-बैचुआन बुद्धिमान् एआई प्रणाली संयुक्त प्रयोगशाला जनवरी २०२४ तमे वर्षे स्थापिता अभवत् ।अस्य उद्देश्यं कृत्रिमबुद्धिप्रतिरूपप्रणालीनां सम्पूर्णतकनीकीप्रक्रियायाः परितः वैज्ञानिकव्यवस्थितदत्तांशजननं गुणवत्तामूल्यांकनरणनीतयः, बृहत्माडलप्रशिक्षणं, अनुमानत्वरणं च इत्यादीनां महत्त्वपूर्णविषयाणां अध्ययनं भवति . संयुक्तप्रयोगशालायाः निर्देशनं पेकिङ्ग् विश्वविद्यालये बोया इत्यस्य विशिष्टप्रोफेसरः कुई बिन्, बैचुआन् इन्टेलिजेन्स् इत्यस्य सहसंस्थापकः चेन् वेइपेङ्ग् च कुर्वन्ति ।

transformer आर्किटेक्चर इत्यस्य आधारेण बृहत् भाषाप्रतिमानाः विभिन्नक्षेत्रेषु सफलताफलं प्राप्नुवन्ति । अस्मिन् प्रॉम्प्ट् इन्जिनियरिङ्ग् इत्यस्य महत्त्वपूर्णा भूमिका अस्ति ।

उत्तमसङ्केतशब्दैः सह शोधकर्तारः विकासकाः च विशिष्टकार्य्येषु उत्तमं प्रदर्शनं कर्तुं आदर्शानां मार्गदर्शनं कर्तुं शक्नुवन्ति । एषा पद्धतिः न केवलं प्रतिरूपस्य कार्यप्रदर्शने महत्त्वपूर्णतया सुधारं कर्तुं शक्नोति, अपितु प्रतिरूपस्य अनुकूलतां वर्धयितुं शक्नोति, येन विभिन्नजटिलकार्यस्य सम्मुखे सति अधिकं लचीलं कार्यक्षमं च भवति

तदतिरिक्तं, शीघ्रशब्दपरियोजना मॉडलस्य शिक्षणप्रक्रियायाः अनुकूलनं, जटिलसमस्याप्रक्रियाकरणस्य कार्यक्षमतां सुधारयितुम्, प्रशिक्षणसमयस्य गणनासंसाधनस्य च आवश्यकतां न्यूनीकर्तुं च शक्नोति

पारम्परिकसूक्ष्म-समायोजन-विधिना सह तुलने शीघ्रशब्द-इञ्जिनीयरिङ्गं बहु-अधोप्रवाह-कार्यं प्रति अत्यन्तं न्यून-लाभेन प्रतिरूपं अनुकूलितुं शक्नोति, येन कम्प्यूटिंग-संसाधनानाम्, आँकडा-संग्रहण-व्ययस्य च महत्त्वपूर्णं रक्षणं भवति परन्तु प्रभावी संकेतशब्दानां परिकल्पना अद्यापि अविशेषज्ञानाम् कृते चुनौतीपूर्णा अस्ति तथा च प्रायः बहु शिक्षणस्य अभ्यासस्य च आवश्यकता भवति ।

स्वचालितप्रोम्प्टिंग् परियोजनाणां कृते प्रत्यक्षतया बृहत्भाषाप्रतिमानानाम् उपयोगेन आदर्शपरिणामानां प्राप्तिः सामान्यतया कठिना भवति । अनुचितप्रोम्प्ट्स् मॉडल् विचलितं कर्तुं शक्नुवन्ति तथा च वास्तवतः कार्यक्षमतां न्यूनीकर्तुं शक्नुवन्ति । अतः स्वयमेव शीघ्रं अभियांत्रिकीप्रणालीं विकसितुं विशेषतया महत्त्वपूर्णं यत् उपयोक्तृणां सहायतां कर्तुं शक्नोति, तस्य संचालनं च सुलभं भवति ।

pas: भूमिगत ऑटो-सचेतना अभियांत्रिकी प्रणाली

एतस्याः आव्हानस्य निवारणाय पेकिङ्ग् विश्वविद्यालय-बैचुआन् संयुक्तप्रयोगशाला pas स्वचालित-प्रॉम्प्ट्-इञ्जिनीयरिङ्ग-प्रणालीं प्रस्तावितवती । pas इत्यस्य नवीनता अस्ति : १.

1. उच्चगुणवत्तायुक्तं स्वतः-प्रोम्प्ट्-दत्तांशसमूहं डिजाइनं कुर्वन्तु

2. जीपीटी-प्रतिरूपे अल्प-नमूना-शिक्षणं, आँकडा-परीक्षणं च कुर्वन्तु

3. स्वयमेव एकं सुव्यवस्थितं कुशलं च प्रॉम्प्ट् डाटा सेट् निर्मातुम्

4. सूक्ष्म-समायोजनस्य माध्यमेन प्रभावी स्वचालित-प्रॉम्प्ट-इञ्जिनीयरिङ्गं कार्यान्वितुं

pas संक्षेपेण प्रभावीरूपेण च उपयोक्तृनिवेशस्य पूरकं कर्तुं शक्नोति, द्रुतं, सरलं, स्वचालितं च प्रॉम्प्ट् परियोजनां साक्षात्करोति यत् स्ट्रीमिंग् प्रदर्शनं समर्थयति।

बहुविधबेन्चमार्कपरीक्षासु pas विद्यमानस्य sota मॉडल् इत्यस्मात् दूरं अधिकं कार्यं करोति तथा च न्यूनदत्तांशस्य आवश्यकता भवति । मैनुअल् मूल्याङ्कनपरिणामाः अपि दर्शयन्ति यत् pas इत्यस्य उत्तमं प्रदर्शनं वर्तते, यत् व्यावहारिकप्रयोगेषु तस्य विशालक्षमतां प्रकाशयति।

एतत् सफलताफलं न केवलं शीघ्रशब्द-इञ्जिनीयरिङ्गस्य विकासं प्रवर्धयति, अपितु विस्तृतक्षेत्रेषु बृहत्भाषाप्रतिमानानाम् अनुप्रयोगस्य मार्गं अपि प्रशस्तं करोति

• पेपर पता: https://arxiv.org/abs/2407.06027

• पीकेयू-बैचुआन-एमएलसिस्टमलैब:

https://github.com/pku-बैचुआन-mlsystemlab

https://huggingface.co/pku-बैचुआन-mlsystemlab

प्रक्रिया

प्रशिक्षणं pas मुख्यतया त्रयः सोपानानि विभक्तम् अस्ति : १.

चरण 1: उच्चगुणवत्तायुक्तं समस्यादत्तांशसमूहं निर्मायताम्

pas प्रशिक्षणे प्रथमं कार्यं उच्चगुणवत्तायुक्तस्य समस्यादत्तांशसमूहस्य निर्माणम् अस्ति । यथा चित्रे (क) दर्शितं, शोधकर्तारः निम्नलिखितत्रयपक्षेषु lmsys-1m तथा wildchat आँकडासमूहानां आधारेण उच्चगुणवत्तायुक्तानां प्रश्नानां परीक्षणं कृतवन्तः।

1. डाटा डिडुप्लिकेशन: डुप्लिकेट डाटा प्रभावीरूपेण दूरीकर्तुं क्लस्टरिंग् एल्गोरिदम् इत्यनेन सह संयुक्तं एम्बेडिंग् प्रौद्योगिक्याः उपयोगं कुर्वन्तु।

2. गुणवत्तापरीक्षणम् : आँकडानां गुणवत्तायाः मूल्याङ्कनं परीक्षणं च कर्तुं बैचुआन् बृहत् मॉडलस्य उपयोगं कुर्वन्तु।

3. विविधतायाः गारण्टी : अन्ततः 10 तः अधिकवर्गान् आच्छादयन्तः 9,000 उच्चगुणवत्तायुक्ताः प्रश्नदत्तांशाः चयनिताः।

step 2: प्रॉम्प्ट् इन्जिनियरिंग डाटा पूरकं कुर्वन्तु

अस्मिन् स्तरे शोधकर्तारः आन्तरिकरूपेण संचितानाम् १०० उच्चगुणवत्तायुक्तानां आँकडानां तथा प्रथमे चरणे परीक्षितानां समस्यादत्तांशस्य व्यापकरूपेण उपयोगं कृतवन्तः, तथा च जीपीटी-प्रतिरूपस्य साहाय्येन स्वचालित-प्रॉम्प्ट-इञ्जिनीयरिङ्ग-आँकडानां निर्माणार्थं कतिपय-शॉट्-शिक्षण-पद्धतेः उपयोगं कृतवन्तः

1. प्रारम्भिकदत्तांशजननम् : प्रारम्भिकप्रॉम्प्ट्-इञ्जिनीयरिङ्ग-आँकडानां जननार्थं gpt-मार्गदर्शनार्थं कतिपय-शॉट्-शिक्षणस्य उपयोगं कुर्वन्तु ।

2. गुणवत्तानियन्त्रणम् : critique चरणस्य डिजाइनं कुर्वन्तु तथा च gpt इत्यनेन उत्पन्नदत्तांशस्य गुणवत्तायाः मूल्याङ्कनं कर्तुं पुनः few-shot learning इत्यस्य उपयोगं कुर्वन्तु।

3. पुनरावर्तनीयं अनुकूलनं: स्वयमेव न्यूनगुणवत्तायुक्तानि आँकडानि छानयन्ति तथा च पुनरावृत्तेः बहुचक्राणां माध्यमेन आँकडानां गुणवत्तां सुनिश्चित्य पुनः उत्पन्नं कुर्वन्ति।

4. अन्तिमपरिणामः : अन्ततः उच्चगुणवत्तायुक्तस्य स्वचालितप्रॉम्प्ट्-इञ्जिनीयरिङ्ग-आँकडानां 9,000-खण्डाः प्राप्ताः ।

दत्तांशवितरणम्

उत्पन्नस्य ९००० दत्तांशखण्डानां वितरणं उपरि चित्रे दर्शितम् अस्ति, येन दत्तांशस्य विविधता, प्रतिनिधित्वं च सुनिश्चितं भवति ।

step 3: auto-prompt model इत्यस्य सूक्ष्म-समायोजनं कुर्वन्तु

अन्तिमपदं प्रथमचरणद्वये प्राप्तस्य दत्तांशसमूहस्य उपयोगं कृत्वा बृहत्भाषाप्रतिरूपस्य सूक्ष्मसमायोजनं करिष्यति:

1. एकं मूलभूतं मॉडलं चिनोतु: यथा qwen2-7b इत्यादयः मॉडल्।

2. निर्देशितं सूक्ष्म-समायोजनम् : सूक्ष्म-समायोजनाय उच्चगुणवत्तायुक्तानां आँकडा-समूहानां उपयोगं कुर्वन्तु ।

3. विशेषप्रशिक्षणम् : अन्ते स्वचालितप्रॉम्प्टपरियोजनानां कृते विशेषरूपेण विशालभाषाप्रतिरूपं प्राप्यते।

प्रयोगाः परिणामाः च

मैनुअल समीक्षा

मानवमूल्यांककानां मूल्याङ्कनस्य अनुसारं पूर्वस्य sota (state-of-the-art) मॉडलस्य तुलने विभिन्नक्षेत्रेषु pas अधिकं विजयस्य दरं दर्शयति। अनेकक्षेत्रेषु औसतविजयदरः ५०% अधिकः भवति, विजयदरस्य, ड्रॉदरस्य च योगः ८०% तः अधिकः भवति ।

मशीन मूल्यांकनbenchmark

pas इत्यस्य कार्यप्रदर्शनस्य व्यापकरूपेण मूल्याङ्कनार्थं शोधकर्तारः त्रीणि मापदण्डानि चयनं कृतवन्तः : एरिना-हार्ड, अल्पाका-इवल २.०, अल्पाका-इवल २.० (एलसी) च

ततः शोधकर्तारः षट् शीर्ष एआइ मॉडल् मध्ये pas इत्यस्य प्रयोगं कृतवन्तः, यथा-

• gpt-4 (त्रयः संस्करणाः) २.

• जीपीटी-3.5

• क्वेन्२-७२-निर्देशं ददातु

• llama3-70b-निर्देशं कुरुत

मूल्याङ्कनस्य परिणामाः दर्शयन्ति यत् - १.

• pas नो-प्रॉम्प्ट् केस् तथा पूर्वस्य sota ऑटो-प्रोम्प्ट् इन्जिनियरिंग मॉडल् इत्येतयोः अपेक्षया महत्त्वपूर्णं सुधारं प्राप्नोति ।

• पूर्वस्य बीपीओ-माडलस्य तुलने pas अधिकं अनुकूलतां दर्शयति, विविधैः अत्यन्तं बृहत्-माडलैः सह सङ्गतं भवति, प्रत्येकस्मिन् मॉडल्-मध्ये कार्यप्रदर्शन-सुधारं च प्राप्नोति

कम्प्यूटेशनल दक्षता विश्लेषण

pas न केवलं कार्यक्षमतायाः दृष्ट्या उत्तमं प्रदर्शनं करोति, अपितु गणनादृष्ट्या अपि अतीव कुशलः अस्ति: आँकडादक्षतायाः दृष्ट्या, उत्तमं प्रदर्शनं प्रदर्शयितुं केवलं 9000 सूक्ष्म-समायोजित-आँकडानां खण्डानां आवश्यकता भवति उत्पादनदक्षतायाः दृष्ट्या पूरकस्वचालितप्रोम्प्ट्-दीर्घतां सीमितुं शक्नोति, प्रायः ३० शब्दाधिकं न भवति ।

उपयोक्तृ-अनुभवस्य दृष्ट्या pas बृहत्-माडल-मध्ये अपि लाभं आनयति, विशेषतः:

• bpo इत्यादीनां पूर्वमाडलानाम् विपरीतम्, pas इत्यस्य उपयोक्तुः मूलप्रश्नस्य परिवर्तनस्य आवश्यकता नास्ति, केवलं पूरकस्वचालितप्रोम्प्ट् एव ।

• नियन्त्रणीयप्रतिसादसमयेन सह उत्तमं उपयोक्तृअनुभवं प्रदातव्यम्।

• अन्तरक्रियाशील-अनुभवं अधिकं वर्धयितुं gpt-सदृशं स्ट्रीमिंग्-प्रदर्शनं समर्थयति ।

उदाहरणम् : pas बृहत् मॉडल् तर्कजालं परिहरितुं साहाय्यं करोति

"यदि वृक्षे १० पक्षिणः सन्ति, तेषु एकः गोलिकाभिः मृतः भवति तर्हि भूमौ कति पक्षिणः सन्ति?"

एषः सरलः प्रतीयमानः प्रश्नः वस्तुतः एकं चतुरं तार्किकं जालं गोपयति यदा भवन्तः तत् पश्यन्ति तदा भवन्तः कतिपयसेकेण्ड् यावत् समयं गृह्णन्ति यत् वृक्षे ९ पक्षिणः अवशिष्टाः सन्ति, भूमौ केवलं १ पक्षिणः अवशिष्टाः सन्ति।

यथा चित्रे दर्शितं, pas इत्यस्य सहायतां विना gpt इत्यनेन गलत् उत्तराणि दत्तानि। pas प्रणाली प्रॉम्प्ट् शब्दानां पूरकं कृत्वा मॉडलस्य कार्यप्रदर्शने महत्त्वपूर्णतया सुधारं करोति:

pas इत्यस्य मार्गदर्शनेन मॉडलस्य नूतनस्य उत्तरस्य दौरस्य महत्त्वपूर्णं सुधारं दृश्यते स्म, एतत् न केवलं प्रश्नेषु तार्किकजालं सफलतया परिहरति स्म, स्पष्टं, बहुचरणीयं तार्किकतर्कप्रक्रियाम् अपि प्रदर्शितवान्, अपितु मार्गदर्शिकायाः ​​उपयोक्तृभ्यः अवगन्तुं सम्यक् उत्तरं अपि दत्तवान् सम्पूर्णं तर्कप्रक्रिया।

इच्छुकाः पाठकाः शोधसामग्रीविषये अधिकं ज्ञातुं पत्रस्य मूलपाठं पठितुं शक्नुवन्ति।