समाचारं

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

• क्रेसी आओफेइ मन्दिरात् आगच्छति
  Qubits |.सार्वजनिक खाता QbitAI

H100 विना त्रयः Apple सङ्गणकाः 400B बृहत् मॉडलं चालयितुं शक्नुवन्ति ।

तस्य पृष्ठतः नायकः GitHub इत्यत्र मुक्तस्रोतः वितरितः AI तर्करूपरेखा अस्ति, यत् पूर्वमेव 2.5k ताराणि प्राप्तवान् अस्ति ।

एतस्य ढाञ्चस्य उपयोगेन भवान् केवलं कतिपयेषु निमेषेषु iPhone, iPad इत्यादीनां दैनन्दिनयन्त्राणां उपयोगेन स्वस्य AI computing cluster निर्मातुम् अर्हति ।

इदं ढाञ्चं exo इति कथ्यते अन्येभ्यः वितरिततर्करूपरेखाभ्यः भिन्नं, एतत् p2p संयोजनपद्धतिं स्वीकुर्वति, तथा च यन्त्रं जालपुटेन सह सम्बद्धं भवति तदा स्वयमेव क्लस्टरं सम्मिलितुं शक्नोति

विकासकः exo framework इत्यस्य उपयोगेन द्वौ MacBook Pros एकं Mac Studio च संयोजितवान्, ततः कम्प्यूटिंग् गतिः 110TFLOPS यावत् अभवत् ।

तस्मिन् एव काले विकासकः अवदत् यत् सः आगामिनि Llama3-405B इत्यस्य स्वागतं कर्तुं सज्जः अस्ति।

exo अधिकारिणः अपि अवदन् यत् ते Llama3-405B इत्यस्य समर्थनं यथाशीघ्रं (दिवसः ०) प्रदास्यन्ति इति।

तथा च न केवलं सङ्गणकाः, exo इत्यनेन iPhones, iPads इत्यादीन् उपकरणानि स्थानीयसङ्गणकजालपुटे सम्मिलितुं शक्यन्ते, Apple Watch अपि तत् अवशोषयितुं शक्नोति।

संस्करणस्य पुनरावृत्त्या सह exo framework इत्येतत् Apple इत्यत्र एव सीमितं नास्ति (प्रारम्भे केवलं MLX इत्यस्य समर्थनं करोति), तथा च केचन जनाः Android फ़ोन्स्, 4090 graphics cards च क्लस्टरमध्ये आनयन्ति

६० सेकेण्ड् यावत् शीघ्रं विन्यासः सम्पूर्णः

अन्येषां वितरित-अनुमान-रूपरेखाणां विपरीतम्, exo मास्टर-वर्कर-वास्तुकलानां उपयोगं न करोति, परन्तु...समवयस्क-समवयस्क (p2p) 1.1.यन्त्रं संयोजयन्तु।

यावत् यावत् यन्त्रं एकस्मिन् एव LAN इत्यनेन सह सम्बद्धं भवति तावत् स्वयमेव exo इत्यस्य कम्प्यूटिंग् नेटवर्क् इत्यनेन सह मिलित्वा मॉडल् चालयितुं शक्नोति ।

उपकरणेषु मॉडल् विभज्य, exo भिन्नानि विभाजनरणनीतयः समर्थयति पूर्वनिर्धारितं रिंग मेमोरी भारित विभाजनम् अस्ति ।

एतेन रिंगमध्ये अनुमानं चालयति, प्रतियन्त्रे बहुविधमाडलस्तरैः सह, यन्त्रस्मृतेः आनुपातिकम् ।

समग्रं च प्रक्रियाप्रायः हस्तविन्यासस्य आवश्यकता नास्ति, संस्थापनस्य आरम्भस्य च अनन्तरं, प्रणाली स्वयमेव LAN मध्ये चालितैः उपकरणैः सह सम्बद्धं भविष्यति, भविष्ये च Bluetooth संयोजनानां समर्थनं अपि करिष्यति ।

लेखकस्य एकस्मिन् भिडियायां द्वयोः नूतनयोः मैकबुक्-इत्यत्र विन्यासस्य पूर्णतायै केवलं प्रायः ६० सेकेण्ड् यावत् समयः अभवत् ।

भवन्तः द्रष्टुं शक्नुवन्ति यत् ६० सेकेण्ड् यावत्, कार्यक्रमः पृष्ठभूमितः चालयितुं आरब्धः अस्ति ।

तदतिरिक्तं उपरि चित्रात् द्रष्टुं शक्नुवन्ति यत् exo अपि लघु-चैट्-समर्थनं करोतिचित्रात्मकं अन्तरफलकं, तथा OpenAI इत्यनेन सह अपि सङ्गताः सन्तिएपिआइ。

परन्तु एतादृशं क्रिया केवलं क्लस्टर् मध्ये पुच्छ-नोड् इत्यत्र एव कार्यान्वितुं शक्यते ।

सम्प्रति exo Apple MLX framework तथा open source machine learning framework इत्येतयोः समर्थनं करोतिtinygrad, llama.cpp इत्यस्य अनुकूलनकार्यम् अपि प्रचलति ।

लेपस्य एकमात्रं मक्षिका अस्ति यत् iOS कार्यान्वयनस्य अद्यतनं पायथन् इत्यनेन सह तालमेलं स्थापयितुं न शक्नोति, यस्य परिणामः अस्ति यत् लेखकः अस्थायीरूपेण exo मोबाईलफोनं iPad च अफलाइनं कृतवान् यदि भवान् वास्तवमेव तस्य प्रयोगं कर्तुम् इच्छति लेखकं प्रति ईमेल कृत्वा तस्य अनुरोधं कुर्वन्तु।

नेटिजनः - किं वस्तुतः एतावत् उपयोगी अस्ति ?

बृहत् मॉडल् चालयितुं स्थानीययन्त्राणां उपयोगस्य एषा पद्धतिः HakerNews इत्यत्र अपि विस्तृतानि चर्चां प्रेरितवती अस्ति ।

स्थानीयसञ्चालनस्य लाभाः सन्ति यत् एकतः गोपनीयता अधिका गारण्टीकृता भवति, अपरतः मॉडलं अफलाइनरूपेण प्राप्तुं शक्यते, तथा च व्यक्तिगतरूपेण अनुकूलनं समर्थयति

केचन जनाः अपि दर्शितवन्तः यत् बृहत् आदर्शगणनायाः कृते समूहस्य निर्माणार्थं विद्यमानसाधनानाम् उपयोगस्य दीर्घकालीनव्ययः मेघसेवानां अपेक्षया न्यूनः भवति

परन्तु exo इत्यस्य विशिष्टप्रकल्पस्य विषये बहवः जनाः स्वसंशयं प्रकटितवन्तः।

सर्वप्रथमं केचन नेटिजनाः सूचितवन्तः यत् विद्यमानस्य पुरातनस्य उपकरणस्य कम्प्यूटिंगशक्तिस्तरः व्यावसायिकसेवाप्रदातृणां अपेक्षया परिमाणस्य क्रमेण भिन्नः अस्ति यदि भवान् केवलं जिज्ञासायाः कारणात् एव तत् क्रीडति तर्हि तत् ठीकम्, परन्तु यदि भवान् कटन-साधनं कर्तुम् इच्छति। edge performance, व्ययः केवलं बृहत् मञ्चैः सह अतुलनीयः अस्ति ।

तथा च केचन जनाः अवदन् यत् लेखकेन प्रदर्शनार्थं प्रयुक्तं उपकरणं उच्चस्तरीयं हार्डवेयरं भवति 32GB स्मृतियुक्तस्य Mac उपकरणस्य मूल्यं 2,000 अमेरिकी डॉलरात् अधिकं भवितुम् अर्हति।

सः अपि मन्यते यत् यतः एप्पल्-संस्था प्रवृत्ता अस्ति, तस्मात् मूलतः "सस्तेन" सह तस्य किमपि सम्बन्धः नास्ति इति वक्तुं शक्यते ।

एतेन अन्यः प्रश्नः आगच्छति - exo framework केषां उपकरणानां सह सङ्गतम् अस्ति ? किं केवलं एप्पल् इत्यस्य समर्थनं करोति ?

नेटिजन्स्-प्रश्नाः अधिकप्रत्यक्षाः आसन्, ये सीधा एव पृष्टवन्तः यत् रास्पबेरी-पाई समर्थितम् अस्ति वा इति ।

लेखकः अवदत् यत् सैद्धान्तिकरूपेण सम्भवम्, परन्तु अद्यापि एतस्य परीक्षणं न कृतम्, ततः परं प्रयासः भविष्यति ।

यन्त्रस्य एव गणनाशक्तेः अतिरिक्तं केचन जनाः अपि अवदन् यत् जालसंचरणवेगस्य अटङ्कः समूहस्य कार्यक्षमतां अपि सीमितं करिष्यति इति

अस्मिन् विषये रूपरेखालेखकः स्वयमेव व्याख्यातवान् यत् -

exo इत्यत्र यत् प्रसारितव्यं तत् लघु सक्रियीकरणसदिशः, न तु सम्पूर्णः मॉडलभारः ।
लामा-३-८बी मॉडलस्य कृते सक्रियीकरणसदिशः प्रायः १०KB भवति;
स्थानीयजालविलम्बता सामान्यतया न्यूना (<5ms) भवति तथा च कार्यप्रदर्शने महत्त्वपूर्णः प्रभावः न भवति ।

लेखकः अवदत् यत् ढाञ्चा सम्प्रति tinygrad इत्यस्य समर्थनं करोति, अतः यद्यपि परीक्षणं मुख्यतया Mac उपकरणेषु क्रियते तथापि (सैद्धान्तिकरूपेण) सर्वेषां उपकरणानां समर्थनं करोति ये tinygrad चालयितुं शक्नुवन्ति

सम्प्रति, ढाञ्चा अद्यापि प्रयोगपदे एव अस्ति, भविष्यस्य लक्ष्यं च एतत् ढाञ्चं Dropbox (जालडिस्क) इव सरलं कर्तुं भवति ।

BTW, exo अधिकारिणः अपि केचन दोषाः सूचीबद्धाः सन्ति येषां समाधानं सम्प्रति योजना अस्ति, तथा च ये एतासां समस्यानां समाधानं कुर्वन्ति तेषां कृते 100-500 अमेरिकी डॉलरपर्यन्तं बोनसः प्राप्यते।

गिटहबः २.
https://github.com/exo-अन्वेषणं/exo
सन्दर्भलिङ्कानि : १.
https://x.com/ac_crypto/status/1814912615946330473