समाचारं

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

नवीन बुद्धि प्रतिवेदन

सम्पादकः किआओ यांग

[नव प्रज्ञायाः परिचयः] ।अद्यतनपत्रेषु ज्ञातं यत् एलएलएम इत्यादीनां जननात्मकप्रतिमानानाम् अन्वेषणेन स्केलीकरणं कर्तुं शक्यते, अत्यन्तं महत्त्वपूर्णं कार्यप्रदर्शनसुधारं च प्राप्तुं शक्यते । अन्यस्मिन् पुनरावृत्तिप्रयोगे अपि ज्ञातं यत् यदि केवलं 8B मापदण्डयुक्तं Llama 3.1 मॉडलं 100वारं अन्वेषितं भवति तर्हि पायथन् कोडजननकार्य्ये GPT-4o इत्यस्य समानस्तरं प्राप्तुं शक्नोति

सुदृढीकरणशिक्षणस्य अग्रणीः कनाडादेशस्य अल्बर्टाविश्वविद्यालये सी.एस.

वस्तुतः रेखानां मध्ये प्रतिबिम्बितः रिच् सटनस्य अन्तःकरणं स्केलिंग् लॉ इत्यस्य सदृशम् अस्ति ।

मूल पता: https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf

लेखः शतरंजस्य, गो, वाक्परिचयः, दृष्टिः च इति क्षेत्रेषु एआइ इत्यस्य विकासमार्गस्य संक्षेपेण समीक्षां करोति, एतत् मतं च अग्रे स्थापयति यत् -

अस्माभिः ज्ञातव्यः कठिनः पाठः एकः अस्ति यत् सार्वभौमिकस्य उपायस्य शक्तिं साक्षात्कर्तुं शक्नुमः। उपलब्धगणनाशक्तिः वर्धमानस्य कारणेन गणनायाः परिमाणं वर्धमानं भवति चेत् एषः उपायः निरन्तरं स्केल कर्तुं शक्नोति । एवं मनमानेन स्केल-करणं दृश्यमानौ विधिद्वयं अन्वेषणं शिक्षणं च ।

परन्तु एतत् मतं Scaling Law इत्यस्य समानं नास्ति, लघुप्रतिमानानाम् अप्रासंगिकत्वं नियतम् इति विश्वासयितुं वयं तस्य आधाररूपेण उपयोगं कर्तुं न शक्नुमः ।

यथा सटनः वर्णयति, स्केलिंग्-मार्गे द्वौ प्रमुखौ आव्हानौ स्तः - शिक्षणं अन्वेषणं च ।

OpenAI द्वारा प्रस्तावितः Scaling Law पूर्वस्य उपरि बलं ददाति । Ceteris paribus, बृहत्तराः आदर्शाः उत्तमं प्रदर्शनं कुर्वन्ति यतोहि प्रशिक्षणसमूहात् अधिकं ज्ञानं प्रतिमानं च ज्ञातुं शक्यते ।

परन्तु यत् वयं प्रायः उपेक्षयामः तत् उत्तरम् एव। अन्वेषणविधयः अपि सुचारुतया स्केल कर्तुं शक्नुवन्ति यतः अनुमानचरणस्य समये गणनाशक्तिः वर्धते यत् अधिकाधिकगुणवत्तायुक्तानि अभ्यर्थी उत्तराणि जनयितुं शक्यन्ते।

स्टैन्फोर्ड, आक्सफोर्ड, डीपमाइण्ड् इत्यादीनां संस्थानां विद्वांसैः प्रकाशितः अद्यतनः लेखः अस्मिन् विषये केन्द्रितः आसीत् ।

पेपर पता: https://arxiv.org/abs/2407.21787

अनुमानपदे पुनरावृत्तिनमूनानां संख्यायाः वृद्ध्या सह गणितं, तर्कशास्त्रं, तथा च GSM8K, MATH, MiniF2F-Math, SWE-bench Lite इत्यादिषु कोडक्षेत्रेषु मॉडलस्य प्रदर्शनं (अर्थात् समस्याकवरेजं) अभवत् महत्त्वपूर्णतया सुधारः अभवत्।

अपि च, तयोः मध्ये घातीयरेखीयसम्बन्धः दृश्यते, तस्य प्रतिरूपणं घातीयशक्तिनियमेन कर्तुं शक्यते, यत् तर्कपदे स्केलिंगनियमस्य अस्तित्वं व्याख्यायते इव

अस्मिन् पत्रे प्रेरितौ अभियंतौ तस्य पुनरुत्पादनस्य प्रयासं कर्तुं आरब्धवन्तौ - परिणामः अभवत् यत् १०० लघु-लामा-माडलेन सह अन्वेषणं कृत्वा ते पायथन्-प्रोग्रामिंग-कार्य्येषु GPT-4o-इत्यस्य ग्रहणं कर्तुं वा अपि पराजयितुं वा शक्नुवन्ति स्म

लेखकद्वयं एकं सजीवं रूपकं प्रयुक्तवन्तौ: पूर्वं, सीमाक्षमतां प्राप्तुं अश्वप्रमाणस्य बकस्य आवश्यकता आसीत्;

प्रयोगे प्रयुक्तः स्रोतसङ्केतः GitHub इत्यत्र अपलोड् कृतः, प्रजननस्य व्ययः च अत्यन्तं न्यूनः अस्ति ।

https://gist.github.com/charlesfrye/27f25188dbbcfdf20a83c0230020fe05

उच्चतरप्रदर्शनस्य प्रयासाय लेखकः बैच-अनुमानं कार्यान्वितुं vLLM पुस्तकालयस्य उपयोगं कृतवान् तथा च हार्डवेयर-स्थितीनां विस्तारं 10 A100-40GB GPUs यावत् कृतवान्, यत्र आउटपुट्-वेगः 40k टोकन/सेकण्ड् यावत् अभवत्

मूल्याङ्कनमापदण्डाः परिणामाः च

लेखकः उपरि उल्लिखिते बृहत्भाषा वानरपत्रे न आच्छादितं बेन्चमार्कपरीक्षां चिनोति-HumanEval।

अस्य दत्तांशसमूहस्य लाभः अस्ति यत् उत्पन्नसङ्केतस्य मूल्याङ्कनं LLM-as-Judge अथवा मानवमूल्यांकनस्य संलग्नतां विना चालनपरीक्षाणां उपयोगेन कर्तुं शक्यते, येन समीचीनतायाः अधिकवस्तुनिष्ठमापः भवति

मॉडलस्य कार्यप्रदर्शनं द्वयोः सूचकयोः मापनं भवति : pass@k तथा fail@k । PapersWithCode इत्यस्य रिपोर्ट् परिणामानुसारं शून्य-नमूना-अनुमानस्य मध्ये GPT-4o इत्यस्य pass@1 स्कोरः 90.2% अस्ति ।

https://paperswithcode.com/sota/कोड-जनरेशन-ऑन-मानवयुगीन

उपर्युक्तपत्रे प्रस्तावितायाः पद्धतेः उपयोगेन, तदतिरिक्तं शीघ्रं सूक्ष्म-समायोजनस्य न्यूनतमं परिमाणं (अन्य-अति-पैरामीटर्-समायोजनं विना), Llama 3.1 8B इत्यस्य pass@k स्कोरस्य महत्त्वपूर्णं सुधारः कृतः अस्ति

यदा पुनरावृत्तानां नमूनानां संख्या k 100 भवति तदा प्रदर्शनं GPT-4o (90.5% बनाम 90.2%) इत्यस्य बराबरं भवति यदा k 1000 यावत् भवति तदा स्कोरः 95.1% भवति, यत् GPT-4o इत्यस्मात् महत्त्वपूर्णतया उत्तमम् अस्ति;

यदि भवान् fail@k सूचकस्य (1-pass@k इत्यस्य समकक्षस्य) उपयोगं करोति तथा च उपरिष्टाद् चित्रे द्वयोः निर्देशांक-अक्षयोः लघुगणकीयरूपेण परिवर्तनं करोति तर्हि अधोलिखिते चित्रे दर्शितं वक्रं द्रष्टुं शक्नोति, यत् "scaling law" इत्यस्य सम्यक् अनुपालनं करोति इति भासते "" ।

ज्ञातव्यं यत् अयं लघुप्रयोगः कागदस्य कठोरप्रतिकृतिः नास्ति, अपितु केवलं मूलविधिं निष्कासयति ।

परन्तु एते परिणामाः प्रकाशयन्ति यत् अनुमानचरणवर्धनार्थं अन्वेषणपद्धतीनां उपयोगं कुर्वन् लघुतरमाडलाः पूर्वानुमानेन GPT-4o इत्यादिभ्यः “बृहत् Mac” मॉडलेभ्यः अधिकं प्रदर्शनं कर्तुं शक्नुवन्ति

अन्वेषणस्य भविष्यम्

अन्वेषणपद्धतिः यस्मात् शक्तिशालिनी अस्ति तस्य कारणं यत् गणनायाः परिमाणं वर्धमानं "पारदर्शकरूपेण" विस्तारं कर्तुं शक्नोति, अपि च अधिकं संसाधनसन्तुलनं प्राप्तुं संसाधनस्य उपभोगं स्मृतितः गणनां प्रति स्थानान्तरयितुं अपि शक्नोति

गणितशास्त्रे एआइ इत्यस्य अद्यतनप्रमुखाः उपलब्धयः, यथा एआइ-एआइ-स्तरः, तस्मिन् प्रयुक्तात् अन्वेषणात् अविभाज्यः अस्ति ।

परन्तु अन्वेषणस्य कार्यान्वयनार्थं प्रथमं परिणामानां उच्चगुणवत्तायुक्तं मूल्याङ्कनं आवश्यकम् अस्ति । DeepMind इत्यस्य प्रतिरूपं प्राकृतिकभाषायां व्यक्तानां गणितीयसमस्यानां औपचारिकव्यञ्जनेषु अनुवादयति, तस्मात् Lean इत्यादिना संकलक/सत्यापनकर्तृभ्यः विस्तृतं पर्यवेक्षणं प्राप्नोति

, यत् समानान्तरतायाः स्वचालनस्य च प्रमाणं बहुधा सुधारयितुं शक्नोति ।

करी-हावर्ड-लैम्बेक् पत्राचारस्य अनुसारं गणितीयप्रमाणानां, कोडजननपरिणामानां च स्वयमेव पहिचानं मूल्याङ्कनं च कर्तुं सङ्गणकप्रोग्रामानाम् उपयोगः तुल्यकालिकरूपेण सुलभः अस्ति

परन्तु गणितं प्रोग्रामिंग् च विहाय अन्येषु क्षेत्रेषु अपि एतादृशाः उपायाः असफलाः भवितुम् अर्हन्ति । यथा, "ईमेल-सारांशः" इत्यादीनां मुक्त-अन्त-एनएलपी-कार्यस्य कृते प्रभावी अन्वेषणं कर्तुं कठिनम् अस्ति ।

अस्मात् दृष्ट्या अन्वेषणं मूल्याङ्कनस्य अधः भवति । वयं मोटेन अपेक्षां कर्तुं शक्नुमः यत् विशिष्टक्षेत्रेषु जननात्मकप्रतिमानानाम् कार्यप्रदर्शनसुधारः मूल्याङ्कनस्य अन्वेषणक्षमतायाः च प्रत्यक्षतया आनुपातिकः भविष्यति

एतत् प्रयोजनं प्राप्तुं पुनरावृत्ति-अङ्कीय-वातावरणेषु एजेण्ट्-जनाः आशाजनकं दिशां दृश्यन्ते ।

सन्दर्भाः : १.

https://modal.com/blog/llama-मानव-युगीन