समाचारं

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

AIxiv इति स्तम्भः एकः स्तम्भः अस्ति यत्र मशीन् हार्ट् शैक्षणिकं तकनीकीं च सामग्रीं प्रकाशयति । विगतकेषु वर्षेषु, हार्ट आफ् द मशीन एआइक्सिव् स्तम्भे २००० तः अधिकाः प्रतिवेदनाः प्राप्ताः, येषु विश्वस्य प्रमुखविश्वविद्यालयानाम्, कम्पनीनां च शीर्षप्रयोगशालाः समाविष्टाः सन्ति, येन प्रभावीरूपेण शैक्षणिकविनिमयस्य प्रसारस्य च प्रचारः कृतः यदि भवतां कृते उत्तमं कार्यं अस्ति यत् भवान् साझां कर्तुम् इच्छति तर्हि कृपया निःशङ्कं योगदानं दातुं वा अस्माभिः सह सम्पर्कं कृत्वा प्रतिवेदनार्थम्। प्रस्तुति ईमेल: [email protected];

अस्य पत्रस्य लेखकाः सर्वे हुवावे-संस्थायाः नूह-प्रयोगशालायाः सन्ति प्रथमः लेखकः ली वेन्शुओ, तत्सम्बद्धाः लेखकाः वाङ्ग युन्हे, चेन् ज़िंग्हाओ च सन्ति । अन्तिमेषु वर्षेषु प्रासंगिकदलैः ICML, CVPR, NeurIPS, ICCV, ECCV इत्यादिषु शीर्षसम्मेलनेषु अनेकाः प्रतिनिधिकार्याः प्रकाशिताः, तेषां कृते कुशलबृहत्भाषाप्रतिरूपाः, दृश्यप्रतिमानाः च इत्यादिषु क्षेत्रेषु समृद्धाः परिणामाः प्राप्ताः, तेषां सहकार्यं च कृतम् सुप्रसिद्धविश्वविद्यालयाः वैज्ञानिकसंशोधनसंस्थाः च संस्थागतसहकार्यं विस्तृतं भवति।

वर्तमान एआइ उद्योगे शिक्षाशास्त्रे च सुयोग्यः "यातायातस्य राजा" इति नाम्ना बृहत् मॉडल् इत्यनेन अनुसन्धानप्रशिक्षणयोः संसाधननिवेशार्थं बहूनां विद्वांसः कम्पनीश्च आकृष्टाः सन्ति यथा यथा स्केलः वर्धते तथा तथा बृहत् आदर्शप्रशिक्षणे प्रणाली-इञ्जिनीयरिङ्ग-विषयाः अपरिहार्याः समस्याः अभवन् । यथा, Llama3.1 इत्यस्य ५४ दिवसीयप्रशिक्षणस्य समये एषा प्रणाली ४६६ वारं दुर्घटनाम् अभवत्, औसतेन प्रत्येकं २.७८ घण्टेषु एकवारं!

ततः, नित्यं भण्डारणनिरीक्षणस्थानानि आवश्यकानि सन्ति । परन्तु चेकपोस्ट्-सञ्चयः अपि स्वयमेव महती परियोजना अस्ति ।

मेटा इत्यनेन भण्डारणनिरीक्षणसमयानां त्वरिततायै, नित्यं प्रणालीविफलतायाः निवारणाय भण्डारणस्य आवृत्तिवर्धनार्थं च बहु प्रयत्नाः कृताः । परन्तु नित्यं भण्डारणस्य अर्थः अपि अस्ति यत् अस्य प्रशिक्षणसमूहः 240PB SSD इत्यनेन सुसज्जितः अस्ति यत् केवलं भण्डारणस्य मूल्यं 100 मिलियन युआन् अस्ति!

हुवावे नूहस्य ExCP पद्धतिः अस्तित्वं प्राप्तवती भण्डारणस्य कारणेन विशालस्य उपरितनस्य निवारणार्थं तेषां कृते अत्यन्तं संपीडनपरीक्षास्थानं प्रस्तावितं, यत् प्रशिक्षणस्य समये भण्डारणस्य उपरितनं महत्त्वपूर्णतया न्यूनीकर्तुं शक्नोति

इदानीं कोडः मुक्तस्रोतः अस्ति तथा च अपाचे २.० ढाञ्चायाः अन्तर्गतं विमोचितः अस्ति ।

• लेख पता: https://arxiv.org/abs/2406.11257
• गोदामस्य पताः https://github.com/Gaffey/ExCP

विधिः अपि अतीव अभिनवः अस्ति लेखे द्वौ महत्त्वपूर्णौ अवधारणाः उल्लिखिताः सन्ति एकः प्रशिक्षणे चेकपोस्ट् इत्यस्य अवशिष्टसूचनाः उपयुज्य समयश्रृङ्खलायाः सूचनायाः विरलतायाः माध्यमेन अधिकं छंटाई अनुपातं प्राप्तुं अन्यः अस्ति The filters तथा समग्ररूपेण उच्चसंपीडनदरं प्राप्तुं संपीडनार्थं भाराः संयोजिताः भवन्ति ।

विशिष्टविधिः

1. चेकपॉइंट अवशेष

प्रशिक्षणप्रक्रियायाः समये वर्तमानमापदण्डाः पूर्वनिरीक्षणस्थाने संगृहीतभारः प्लस् क्रमिकपुनरावृत्तिषु ढालस्य अद्यतनीकरणस्य योगः इति गणयितुं शक्यन्ते, अतः एषः अवशिष्टः संपीडितः भवति अनुपातः प्राप्तुं शक्यते। तद्विपरीतम्, अनुकूलकेन संगृहीतं गतिः ढालस्य प्रथमस्य द्वितीयस्य च क्षणस्य स्लाइडिंग् औसतं भवति, प्रथमक्षणस्य कृते, स्लाइडिंग् औसतस्य पूर्वनिर्धारितपैरामीटर् 0.9 भवति, यत् पुनरावृत्तेः अनन्तरं शतशः सहस्राणि यावत् भवति अन्तिमनिरीक्षणस्थाने संगृहीतसामग्रीणां सह बहु सहसंबन्धः नास्ति, अतः अनुकूलकः अवशिष्टस्य अपेक्षया स्वस्य मूल्यं प्रत्यक्षतया संपीडयति ।संपीडनीयं अन्तिमं निरीक्षणस्थानं यथा व्यक्तं भवति

2. वजन-अनुकूलक गति संयुक्त संपीड़न

मॉडलसंपीडनसम्बद्धं विद्यमानं कार्यं सामान्यतया केवलं मॉडलस्य अनुमानप्रदर्शने, अथवा मॉडलस्य अन्तिमभण्डारणपरीक्षाबिन्दुस्य आकारे केन्द्रीक्रियते, परन्तु सम्पूर्णप्रशिक्षणप्रक्रियायाः कालखण्डे मॉडलस्य भण्डारणस्थानस्य उपरि ध्यानं न ददाति अतः विद्यमानं कार्यं केवलं भारानाम् संपीडनं करोति, एडम् इत्यादयः सामान्यानुकूलकाः वास्तवतः भारसङ्ख्यायाः द्विगुणं गतिं संग्रहयन्ति इति अवहेलना एकतः, एतत् कार्यं द्वयोः एकत्र संपीडयति, समग्रसंपीडन-अनुपातस्य महत्त्वपूर्णं सुधारं करोति, अपरतः, परस्परस्य संपीडन-अनुपातस्य अधिक-सुधारार्थं भारस्य अनुकूलक-गतिस्य च सहसंबन्धस्य अपि उपयोगं करोति

भारस्य छंटाई : यतः छंटाईयाः भारः अवशिष्टमूल्यं भवति, अनुकूलकगतिस्य द्वितीयक्रमस्य क्षणः गतकालखण्डे भार अवशिष्टमूल्यस्य परिवर्तनव्याप्तिं मोटेन प्रतिनिधितुं शक्नोति, अतः अनुकूलकगतिस्य द्वितीयक्रमस्य क्षणः सूचकरूपेण उपयोक्तुं शक्यते ।छंटनीरणनीतिः निम्नलिखितसूत्रे दर्शिता अस्ति

सूत्रे W तथा क्रमशः भारस्य द्वितीयक्षणस्य च प्रतिनिधित्वं कुर्वन्ति ।

अनुकूलक गति छंटनी : गति छंटाई कृते प्रथमक्रमस्य क्षणस्य उपयोगं सूचकरूपेण कर्तुं शक्नुवन्ति कागदपत्रे अभिसरणस्य संक्षिप्तं प्रमाणम् अस्ति ।तस्मिन् एव काले यदि कस्यचित् स्थानस्य भारं छंटनी कृता अस्ति तर्हि तत्सम्बद्धस्य स्थानस्य अनुकूलकगतिः अपि युगपत् संसाधितव्या, अतः छंटाई रणनीतिः निम्नलिखितसूत्रे दर्शितवत् अस्ति

सूत्रे, प्रथमक्रमस्य क्षणं प्रतिनिधियति।

3. समग्रसंपीडनप्रक्रिया

समग्रसंपीडनप्रक्रिया एल्गोरिदम् 1 इत्यस्मिन् दर्शिता अस्ति अन्तिमसंपीडनपरिणामं प्राप्तुं भार अवशिष्टगणना/संयुक्तसंपीडन/असमानमात्राकरण/कोडिंगसंपीडनस्य चरणाः क्रमेण क्रियन्ते।

चेकपॉइण्ट् इत्यस्य सम्पूर्णसञ्चिकां पुनः प्राप्तुं प्रक्रिया एल्गोरिदम् 2 इत्यस्मिन् दर्शितरीत्या भवति ।विसंपीडनानन्तरं प्रथमं अ-समान-क्वाण्टाइजेशन-पश्चात् संगृहीत-कोड्बुक्-उपस्क्रिप्ट्-तः प्लवमान-बिन्दु-परिणामं पुनः प्राप्तं भवति, ततः आधाररेखा-भारेन (पूर्व-परीक्षणेन) सह तुलना क्रियते बिन्दुस्य मूलभारः अथवा पुनः प्राप्तः पुनर्निर्माणभारः) एकत्र योजयित्वा निरीक्षणस्थानस्य सम्पूर्णसञ्चिकां प्राप्नुवन्ति । सम्पूर्णे प्रशिक्षणप्रक्रियायां चेकपॉइण्ट् सञ्चिकानां पुनर्स्थापनस्य प्रक्रिया एल्गोरिदम् 3 इत्यस्मिन् दर्शितवत् अस्ति।प्रशिक्षणं सम्पन्नं कृत्वा, केवलं आरम्भभारस्य यादृच्छिकबीजानि तथा प्रत्येकस्मिन् चेकपोस्ट् इत्यत्र संगृहीताः संपीडनपरिणामाः रक्षिताः भवन्ति, ततः चेकपोस्ट् पुनः स्थापिताः भवन्ति sequence to obtain the complete निरीक्षणस्थानानां क्रमः यस्मात् प्रशिक्षण/परीक्षणं पुनः आरभ्यतुं एकं वा अधिकं वा नाकास्थानकं चयनं कर्तुं शक्यते इत्यादि।

प्रयोगात्मकाः परिणामाः

लेखः न केवलं बृहत्भाषाप्रतिमानानाम् मूल्याङ्कनं करोति, अपितु एषा पद्धतिः ViT-L32 इत्यादिषु बृहत्तरेषु दृश्यप्रतिमानेषु अपि उत्तमं परिणामं प्राप्तुं शक्नोति ।

अवशिष्ट-छंटाई-विधि-प्रयोगेन छंटनी-जनित-हानिः महती न्यूनीभवति इति अपि विच्छेदन-प्रयोगात् द्रष्टुं शक्यते

लेखः संपीडनात् पूर्वं पश्चात् च बृहत्भाषाप्रतिमानानाम् प्रश्नोत्तरस्य उदाहरणानि अपि प्रददाति एतत् द्रष्टुं शक्यते यत् संपीडनेन एव प्रतिरूपस्य प्रश्नोत्तरक्षमतायाः क्षतिः न भवति।