2024-07-16
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
मशीन हृदय रिपोर्ट
मशीन हृदय सम्पादकीय विभाग
यदि भवतः समीपे केचन अतिरिक्ताः उपकरणाः सन्ति तर्हि भवन्तः तस्य प्रयोगं कर्तुम् इच्छन्ति।
अस्मिन् समये भवतः हस्ते विद्यमानं हार्डवेयर-उपकरणं एआइ-क्षेत्रे अपि स्वस्य मांसपेशिनां फ्लेक्स् कर्तुं शक्नोति ।
iPhone, iPad, Macbook इत्येतयोः संयोजनेन भवान् "विषमसमूहानुमानसमाधानं" संयोजयितुं शक्नोति ततः Llama3 मॉडलं सुचारुतया चालयितुं शक्नोति ।
ज्ञातव्यं यत् एषः विषमः समूहः विण्डोज-प्रणाली, लिनक्स, अथवा iOS-प्रणाली भवितुम् अर्हति, एण्ड्रॉयड्-प्रणाली च शीघ्रमेव आगमिष्यति ।
विषमसमूहः प्रचलति।
परियोजनालेखकस्य @evilsocket इत्यस्य मते अस्मिन् विषमसमूहे iPhone 15 Pro Max, iPad Pro, MacBook Pro (M1 Max), NVIDIA GeForce 3080, 2x NVIDIA Titan X Pascal च सन्ति सर्वः कोडः GitHub इत्यत्र अपलोड् कृतः अस्ति ।
एतत् दृष्ट्वा नेटिजनाः व्यक्तवन्तः यत् अयं वृद्धः खलु सरलः नास्ति।
परन्तु केचन नेटिजनाः ऊर्जायाः उपभोगस्य चिन्ताम् आरभन्ते वेगं यथापि भवतु, ते विद्युत्बिलं दातुं न शक्नुवन्ति। दत्तांशं अग्रे पश्चात् च चालनेन अत्यधिकं हानिः भवति ।
परियोजना परिचय
उपर्युक्तकार्यस्य कार्यान्वयनम् Cake इति Rust framework इत्यस्मात् अविभाज्यम् अस्ति । केकः बृहत् मॉडल् (यथा Llama3) वितरितं अनुमानं सम्पूर्णं कर्तुं शक्नोति तथा च उपभोक्तृ-श्रेणी-हार्डवेयरं विषम-समूहेषु संयोजयितुं डिजाइनं कृतम् अस्ति, यथा: iOS, Android, macOS, Linux तथा Windows, यथा एआइ अधिकं सुलभं भवति।
परियोजनायाः पताः https://github.com/evilsocket/cake इति
केकस्य मुख्यविचारः अस्ति यत् बहुषु उपकरणेषु ट्रांसफार्मर-खण्डान् विभाजयितुं शक्यते यत् सामान्यतया एकस्य उपकरणस्य GPU-स्मृतौ न उपयुज्यन्ते इति मॉडल्-मध्ये अनुमानं चालयितुं शक्नुवन्ति एकस्मिन् एव श्रमिकसूत्रे क्रमशः ट्रांसफार्मरखण्डेषु अनुमानं बैचरूपेण क्रियते यत् आँकडास्थापनेन उत्पद्यमानं विलम्बं न्यूनीकर्तुं शक्यते ।
वर्तमानकाले केकद्वारा समर्थिताः प्रणाल्याः उपकरणानि च निम्नलिखितरूपेण सन्ति ।
संकलनम्
Rust संस्थापनानन्तरं निम्नलिखितसङ्केतं चालयन्तु ।
माल निर्माण --विमोचन
यदि उपयोक्ता अनुप्रयोगे iOS बन्धनानि जनयितुम् इच्छति तर्हि ते निम्नलिखितम् कर्तुं शक्नुवन्ति ।
make ios
उपयुञ्जताम्
वर्कर नोड् चालयन्तु : १.
cake-cli --model /path/to/Meta-Llama-3-8B # model path, श्रमिकाणां कृते मॉडल आकारस्य अनुकूलनं कथं करणीयम् इति विषये अधः पठन्तु
--mode worker # कार्यकर्तारूपेण चालयति
--name worker0 # टोपोलॉजी सञ्चिकायां कार्यकर्तानाम
--टोपोलॉजी टोपोलॉजी.yml # टोपोलॉजी
--पता 0.0.0.0:10128 # पता बन्धन
मास्टर नोड् चालयन्तु : १.
केक-क्लि --प्रतिरूप /मार्ग/मेटा-लामा-३-८B
--टोपोलॉजी टोपोलॉजी.yml
तेषु topology.yml इत्यनेन निर्धारितं भवति यत् केषां श्रमिकाणां कृते केषां स्तरानाम् सेवा भवति:
लिनक्स_सर्वर_१: १.
मेजबानः 'linux_server.host:10128' इति।
description: 'एनवीडिया टाइटन एक्स पास्कल (12GB)'
स्तराः : १.
- 'प्रतिरूप.स्तराः.०-५'.
लिनक्स_सर्वर_2: 1.1.
मेजबानः 'linux_server2.host:10128' इति।
description: 'एनवीडिया जीफोर्स ३०८० (१०जीबी)' इति ।
स्तराः : १.
- 'प्रतिरूप.स्तराः।६-१६' इति ।
iphone: १.
मेजबानः 'iphone.host:10128' इति।
description: 'आइफोन १५ प्रो मैक्स'।
स्तराः : १.
- 'प्रतिरूप.स्तराः.१७' इति ।
ipad: 1।
मेजबानः 'ipad.host:10128' इति।
description: 'आईपैड'।
स्तराः : १.
- 'प्रतिरूप.स्तराः.१८-१९' इति ।
macbook: 1.1.
मेजबानः 'macbook.host:10128' इति।
description: 'M1 Max' इति।
स्तराः : १.
- 'प्रतिरूप.स्तराः.२०-३१'.
स्मृति-डिस्क-स्थान-अनुकूलन-समस्यानां विषये उपयोक्तारः श्रमिकान् केवलं मॉडल्-मध्ये वास्तविक-आवश्यक-दत्तांशं प्रदातुम् इच्छन्ति, न तु सम्पूर्ण-पुटस्य, अस्मिन् सन्दर्भे केक-विभाजन-मॉडेल्-इत्यस्य उपयोगः कर्तुं शक्यते यथा, llama3 safetensors इत्यस्य लघुतरं संस्करणं जनयितुं भवान् निम्नलिखितसङ्केतं उपयोक्तुं शक्नोति ।
cake-split-model --model-path path/to/Meta-Llama-3-8B # विभाजनार्थं स्रोतप्रतिरूपम्
--topology path/to/topology.yml # टोपोलॉजी सञ्चिका
--निर्गम आउटपुट-पुट-नाम
सन्दर्भलिङ्कः https://x.com/tuturetom/status/1812654489972973643
नवीनतमवार्तासूचनाः संग्रह्य व्यवस्थित्य सर्वेषां कृते निःशुल्कं पश्यन्तु।
