समाचारं

मशीन हृदय रिपोर्ट

मशीन हृदय सम्पादकीय विभाग

c. elegans इत्यस्मात् प्रेरितं नूतनं वास्तुकला, त्रयः अपि "कप-आकाराः" sota-प्रदर्शनं प्राप्तुं शक्नुवन्ति, अपि च अत्यन्तं संसाधन-संकुचित-वातावरणेषु नियोजितुं शक्यन्ते चलरोबोट्-इत्यस्य बग्-मस्तिष्कस्य आवश्यकता भवेत् ।

बृहत् मॉडल् युगे गूगलस्य २०१७ तमस्य वर्षस्य मौलिकपत्रे "attention is all you need" इत्यस्मिन् प्रस्तावितं transformer मुख्यधारायां वास्तुकला अभवत् ।

परन्तु mit इत्यस्य कम्प्यूटर विज्ञानं कृत्रिमबुद्धिप्रयोगशालायाः (csail) पूर्वशोधकैः अधुना एव सहस्थापितं स्टार्टअपं liquid ai इत्यनेन भिन्नमार्गः गृहीतः

द्रव एआइ कथयति यत् तेषां लक्ष्यं "आधारजननात्मकपूर्वप्रशिक्षितपरिवर्तकस्य (gpt) परं मॉडलनिर्माणस्य उपायान् अन्वेष्टुम्" अस्ति ।

एतत् लक्ष्यं प्राप्तुं लिक्विड् एआइ इत्यनेन प्रथमं बहुविध एआइ मॉडल् प्रारब्धम् : लिक्विड् फाउण्डेशन मॉडल्स् (lfm) । इयं प्रथमसिद्धान्तेभ्यः निर्मितस्य जननात्मक-ai-माडलस्य नूतना पीढी अस्ति, यत्र 1b, 3b, 40b lfms सर्वेषु स्केलेषु sota-प्रदर्शनं प्राप्नुवन्ति, तथा च लघुस्मृतिपदचिह्नं, अधिकं कुशलं अनुमानं च निर्वाहयन्ति

लिक्विड् एआइ-प्रशिक्षणोत्तरनिर्देशकः मैक्सिम लाबोन् एक्स इत्यत्र अवदत् यत् एलएफएम इति संस्करणं यस्य विषये सः स्वस्य करियरस्य सर्वाधिकं गर्वितः अस्ति एलएफएम इत्यस्य मूललाभः अस्ति यत् ते ट्रांसफॉर्मर-आधारित-माडलात् अधिकं प्रदर्शनं कर्तुं शक्नुवन्ति, तथा च न्यून-स्मृतिं गृह्णन्ति

केचन जनाः वदन्ति यत् lfm इति transformer इत्यस्य समाप्तिकारकः अस्ति ।

केचन नेटिजनाः एलएफएम इत्यस्य प्रशंसाम् अकरोत् यत् सः क्रीडापरिवर्तकः इति ।

केचन नेटिजनाः मन्यन्ते यत् "ट्रांसफॉर्मर्स्-परित्यागस्य समयः भवेत्। एषा नूतना वास्तुकला अतीव आशाजनकः दृश्यते।"

लिक्विड् एआइ त्रयः मॉडल् विमोचयति

एलएफएम-श्रेणी त्रयः भिन्नाः आकाराः, प्रकाराः च उपलभ्यन्ते ।

• गहनं lfm 1.3b (न्यूनतमम्), अत्यन्तं संसाधन-संकुचित-वातावरणानां कृते आदर्शम् ।

• सघन lfm 3b, धारनियोजनाय अनुकूलितम्।

• lfm 40.3b moe मॉडल (बृहत्तमः, mistral-सदृशः विशेषज्ञः संकरः मॉडलः), अधिकजटिलकार्यं सम्पादयितुं डिजाइनं कृतम् ।

सोटा प्रदर्शनम्

समतुल्यपरिमाणप्रतिमानैः सह lfm-1b इत्यस्य तुलना। lfm-1b इत्यनेन प्रत्येकस्मिन् बेन्चमार्कपरीक्षायां शीर्षाङ्काः प्राप्ताः, येन अस्य स्केलस्य सर्वाधिकं उन्नतं मॉडलं जातम् । एतत् प्रथमवारं यत् गैर-जीपीटी आर्किटेक्चर ट्रांसफॉर्मर-आधारित-प्रतिरूपेभ्यः महत्त्वपूर्णतया अधिकं कार्यं करोति । यथा, lfm 1.3b तृतीयपक्षस्य मानदण्डेषु meta इत्यस्य llama 3.2-1.2b तथा microsoft इत्यस्य phi-1.5 इत्येतयोः अपेक्षया अधिकं प्रदर्शनं कृतवान् ।

lfm-3b अविश्वसनीयं प्रदर्शनं प्राप्नोति, 3b ट्रांसफार्मर मॉडल्, हाइब्रिड् मॉडल्, आरएनएन मॉडल् इत्येतयोः तुलने प्रथमस्थानं प्राप्नोति । बहुषु बेन्चमार्कपरीक्षासु phi-3.5-mini इत्यनेन सह अपि तुलनीयम् अस्ति, यदा तु १८.४% लघु अस्ति । द्रष्टुं शक्यते यत् lfm-3b मोबाईल इत्यादिषु एज टेक्स्ट् अनुप्रयोगेषु आदर्शः अस्ति ।

lfm-40b मॉडल आकारस्य उत्पादनगुणवत्तायाः च मध्ये नूतनं संतुलनं प्राप्नोति । इदं रनटाइम् इत्यत्र 12b पैरामीटर्स् सक्रियं कर्तुं शक्नोति, बृहत्तरमाडलस्य तुलनीयप्रदर्शनेन सह, यदा तु moe आर्किटेक्चर उच्चतरं थ्रूपुट् सक्षमं करोति, अधिकलाभ-प्रभावि-हार्डवेयर्-मध्ये परिनियोजितुं च शक्यते

स्मृतिकुशलता

transformer आर्किटेक्चरस्य तुलने lfm न्यूना स्मृतिः गृह्णाति । विशेषतः दीर्घनिवेशानां कृते एतत् सत्यम्, यतः transformer-आधारित llm मध्ये kv cache अनुक्रमदीर्घतायाः सह रेखीयरूपेण वर्धते । निवेशं कुशलतया संपीडयित्वा lfm एकस्मिन् एव हार्डवेयर् मध्ये दीर्घतरं क्रमं संसाधितुं शक्नोति । अन्येषां वर्ग 3b मॉडल् इत्यस्य तुलने lfm न्यूनतमं स्मृतिं गृह्णाति । यथा, lfm-3b इत्यस्य कृते केवलं 16 gb स्मृतिः आवश्यकी भवति, meta इत्यस्य llama-3.2-3b इत्यस्य कृते 48 gb इत्यस्मात् अधिका स्मृतिः आवश्यकी भवति ।

lfm वास्तवतः सन्दर्भदीर्घतायाः लाभं लभते

अधोलिखिते सारणीयां भिन्नसन्दर्भदीर्घतायाः अन्तर्गतं अनेकानाम् आदर्शानां कार्यप्रदर्शनस्य तुलना कृता अस्ति ।

इदं कुशलं सन्दर्भविण्डो प्रथमवारं धारयन्त्रेषु दीर्घसन्दर्भकार्यं सक्षमं करोति । विकासकानां कृते, एतत् नूतनानां अनुप्रयोगानाम् अनलॉक् करोति, यत्र दस्तावेजविश्लेषणं सारांशीकरणं च, सन्दर्भ-जागरूक-चैटबोट्-सहितं अधिकसार्थक-अन्तर्क्रियाः, तथा च उन्नत-पुनर्प्राप्ति-संवर्धित-जनरेशन (rag)-प्रदर्शनं च सन्ति

एते मॉडल् न केवलं कच्चे प्रदर्शनमापदण्डेषु, अपितु परिचालनदक्षतायां अपि प्रतिस्पर्धां कुर्वन्ति, येन ते उद्यम-श्रेणी-अनुप्रयोगात् आरभ्य वित्तीयसेवासु, जैव-प्रौद्योगिकीषु, उपभोक्तृ-इलेक्ट्रॉनिक्स-मध्ये च धारपर्यन्तं आदर्शाः भवन्ति

उपयोक्तारः lambda chat अथवा perplexity ai इत्यादिद्वारा तत् प्राप्तुं शक्नुवन्ति ।

कथं द्रवः जननात्मकपूर्वप्रशिक्षितस्य ट्रांसफार्मरस्य (gpt) परं गच्छति

द्रवः गणना-एककानां संकरस्य उपयोगं करोति यत् गतिशील-प्रणाली-सिद्धान्तस्य, संकेत-संसाधनस्य, संख्यात्मक-रेखीय-बीजगणितस्य च सिद्धान्ते गभीरं जडं भवति परिणामः सामान्य-उद्देश्यस्य एआइ-प्रतिरूपस्य विकासः अभवत् यस्य उपयोगेन तस्य नूतनस्य एलएफएम-प्रशिक्षणार्थं विडियो, श्रव्य, पाठः, समयश्रृङ्खला, संकेताः च समाविष्टाः कस्यापि प्रकारस्य अनुक्रमदत्तांशस्य अनुकरणं कर्तुं शक्यते

गतवर्षे एव liquid ai इत्यनेन lnn (liquid neural networks) इति पद्धतिः उपयुज्यते स्म, येषु जटिलकार्यं कर्तुं सहस्राणि न्यूरॉन्-इत्यस्य आवश्यकता भवति, तस्य विपरीतम्, lnn-इत्यनेन दर्शितं यत् न्यूनाः न्यूरॉन् (innovative mathematical formulas इत्यनेन सह मिलित्वा) अपि तथैव प्राप्तुं शक्नुवन्ति परिणामाः।

द्रव एआइ इत्यस्य नवीनप्रतिमानाः अस्य अनुकूलनस्य मूललाभं धारयन्ति, येन पारम्परिकप्रतिमानैः सह सम्बद्धं कम्प्यूटेशनल-ओवरहेड् विना अनुमानस्य समये वास्तविकसमयसमायोजनस्य अनुमतिः भवति स्मृतिप्रयोगं न्यूनीकृत्य १० लक्षं टोकनपर्यन्तं कुशलतया सम्भालितुं शक्नोति ।

यथा, अनुमानस्मृतिप्रयोगस्य दृष्ट्या lfm-3b मॉडल् गूगलस्य gemma-2, microsoft इत्यस्य phi-3, meta इत्यस्य llama-3.2 इत्यादीनां लोकप्रियमाडलानाम् अपेक्षया अधिकं कार्यं करोति, विशेषतः यदा टोकनदीर्घता विस्तारिता भवति

अन्येषु मॉडलेषु दीर्घसन्दर्भान् संसाधयन् स्मृतिप्रयोगे नाटकीयवृद्धिः भवति, तथापि lfm-3b बहु न्यूनं स्थानं गृह्णाति, येन दस्तावेजविश्लेषणं वा चैट्बोट् इत्यादीनां भारीनां क्रमिकदत्तांशसंसाधनस्य आवश्यकता भवति इति अनुप्रयोगानाम् आदर्शं भवति

लिक्विड् एआइ इत्यनेन श्रव्यं, भिडियो, पाठं च समाविष्टं बहुविधदत्तांशविधिषु सार्वभौमिकप्रतिरूपरूपेण स्वस्य आधारभूतप्रतिरूपं निर्मितम् ।

एतया बहुविधाक्षमतया लिक्विड् इत्यस्य उद्देश्यं वित्तीयसेवाभ्यः आरभ्य जैवप्रौद्योगिकीभ्यः उपभोक्तृविद्युत्सामग्रीपर्यन्तं विविधाः उद्योगविशिष्टचुनौत्यस्य समाधानं करणीयम् अस्ति

लिक्विड् एआइ एनवीडिया, एएमडी, एप्पल्, क्वालकॉम, सेरेब्रास् इत्यादीनां बहुविधहार्डवेयरनिर्मातृणां उत्पादानाम् अनुकूलनं कुर्वन् अस्ति ।

लिक्विड् एआइ प्रारम्भिकप्रयोक्तृन् विकासकान् च स्वस्य नूतनमाडलस्य परीक्षणार्थं प्रतिक्रियां च दातुं आमन्त्रयति। यद्यपि मॉडल् अद्यापि परिपूर्णं नास्ति तथापि कम्पनी उत्पादस्य उन्नयनार्थं प्रतिक्रियायाः उपयोगं कर्तुं योजनां करोति । ते २०२४ तमस्य वर्षस्य अक्टोबर्-मासस्य २३ दिनाङ्के एम.आइ.टी.

पारदर्शितां निर्वाहयितुम् विज्ञानं च उन्नतयितुं प्रयत्नरूपेण कम्पनी प्रक्षेपणात् पूर्वं तकनीकीब्लॉग्-पोस्ट्-श्रृङ्खलां प्रकाशयितुं योजनां करोति । ते उपयोक्तृभ्यः अपि प्रोत्साहयन्ति यत् ते भविष्यस्य संस्करणानाम् उन्नयनार्थं सहायतार्थं मॉडलस्य सीमां अन्वेष्टुं रक्तदलपरीक्षणं कुर्वन्तु ।

liquid ai द्वारा प्रवर्तितं lfm उच्चप्रदर्शनं कुशलं स्मृतिप्रयोगं च संयोजयति, पारम्परिक transformer-आधारितमाडलस्य शक्तिशाली विकल्पं प्रदाति एतेन liquid ai मूलभूतमाडलक्षेत्रे महत्त्वपूर्णः खिलाडी भविष्यति इति अपेक्षा भवति ।

द्रव एआइ : एकेन लघुबगेन आरभ्य

openai इत्यादिभिः बृहत्भाषामाडलकम्पनीभिः सह खुलेन स्पर्धां कुर्वन् अयं स्टार्टअपः mit इत्यस्य कम्प्यूटरविज्ञानं कृत्रिमबुद्धिप्रयोगशाला csail इत्यनेन इन्क्यूबेशनं कृतवान्, तस्य स्थापना च मार्च २०२३ तमे वर्षे अभवत्

२०२३ तमस्य वर्षस्य डिसेम्बरमासे कम्पनी बीजगोलवित्तपोषणरूपेण ३७.५ मिलियन अमेरिकीडॉलर् प्राप्तवती, यस्य मूल्याङ्कनं ३० कोटिपर्यन्तं अभवत् ।

निवेशकानां मध्ये github इत्यस्य सहसंस्थापकः tom preston werner, shopify इत्यस्य सहसंस्थापकः tobias lütke, red hat इत्यस्य सहसंस्थापकः bob young इत्यादयः सन्ति ।

mit csail इत्यस्य निदेशिका daniela rus इत्यस्याः संस्थापकानाम् एकः अस्ति एषा प्रसिद्धा रोबोटिस्ट्, सङ्गणकवैज्ञानिकः च प्रयोगशालायाः प्रथमा महिलानिदेशिका अपि अस्ति ।

daniela rus इत्यस्य अतिरिक्तं liquid ai इत्यस्य अन्ये त्रयः सहसंस्थापकाः सर्वे mit csail इत्यत्र पोस्टडॉक्टरेल् शोधकर्तारः आसन् ।

सहसंस्थापकः मुख्यकार्यकारी च रमिन हसानी एमआईटी सीएसएआईएल इत्यत्र पोस्टडॉक्टरेल् शोधकार्यं कर्तुं पूर्वं अमेरिकादेशस्य बृहत्तमेषु निधिप्रबन्धनकम्पनीषु अन्यतमस्य वैनगार्ड् इत्यस्य मुख्यकृत्रिमबुद्धिवैज्ञानिकः आसीत्

सहसंस्थापकः सीटीओ च मथियास् लेचनर् इत्यनेन हसानी इत्यनेन सह नेमाटोडानां तंत्रिकासंरचनायाः अध्ययनं तदा एव कृतम् आसीत् यदा ते वियना-नगरस्य तकनीकीविश्वविद्यालये छात्राः आसन्

सहसंस्थापकः मुख्यवैज्ञानिकः अधिकारी च अलेक्जेण्डर् अमीनी डैनियला रसस्य पीएचडी छात्रा आसीत् ।

चत्वारः संस्थापकाः (वामतः दक्षिणतः) मुख्यकार्यकारी रमिनहसानी, डैनियला रसः, मुख्यवैज्ञानिकपदाधिकारी अलेक्जेण्डर् अमिनी, सीटीओ मथियास् लेचनर् च

२०१७ तमे वर्षे डैनियला रुस् इत्यनेन हसानी, लेचनर् च mit csail इत्यस्मै "खनितौ", रसः तस्याः डॉक्टरेट् छात्रः अमिनी च द्रव-तंत्रिका-जालस्य विषये शोधकार्य्ये अपि सम्मिलितौ ।

डैनियला रस इत्यनेन दर्शितं यत् जननात्मक-एआइ इत्यस्य सुरक्षा, व्याख्या-क्षमता, कम्प्यूटिंग्-शक्तिः च इति दृष्ट्या स्पष्टाः सीमाः सन्ति, येन रोबोट्-समस्यानां, विशेषतः चल-रोबोट्-इत्यस्य च समाधानार्थं तस्य उपयोगः कठिनः भवति

वैज्ञानिकसंशोधनसमुदाये "निम्नवारं अतिथिः" इति नेमाटोडस्य caenorhabditis elegans इत्यस्य तंत्रिकासंरचनायाः प्रेरणाम् अवाप्तवती, daniela rus इत्यनेन तस्याः प्रयोगशालायां पोस्टडॉक्टरेट्-संशोधकैः सह नूतनप्रकारस्य लचीलस्य तंत्रिकाजालस्य विकासः कृतः, यत् द्रव-तंत्रिकाजालम् इति अपि ज्ञायते

caenorhabditis elegans इत्यपि एकमात्रः जीवः अस्ति यस्य कृते कनेक्टोम-निर्धारणं सम्पन्नम् अस्ति (२०१९ तः) । यद्यपि मस्तिष्कं सरलं भवति तथापि वर्तमानस्य कस्यापि कृत्रिमबुद्धिप्रणाल्याः अपेक्षया शिक्षणं, पर्यावरणस्य अनुकूलनं च बहु श्रेष्ठम् अस्ति ।

caenorhabditis elegans केवलं १ मि.मी.दीर्घं, केवलं ३०२ न्यूरॉन्, ९६ मांसपेशी च अस्ति, परन्तु इदं संवेदनं, पलायनं, भोजनं, संभोगं च इत्यादिषु जटिलबुद्धिव्यवहारेषु समर्थं भवति

जैविकतंत्रिकातन्त्रस्य अनुकरणद्वारा सामान्यकृत्रिमबुद्धेः साक्षात्कारार्थं सरलतमा जीवितबुद्धिः लघुतमः च वाहकः अस्ति ।

अन्तिमेषु वर्षेषु वैज्ञानिकसंशोधकाः सङ्गणकजैविकअनुकरणार्थं c. elegans तंत्रिकाविषये अपि शोधपरिणामानां उपयोगं कृतवन्तः । c. elegans मस्तिष्कं कथं कार्यं करोति इति अध्ययनं कृत्वा daniela rus इत्यादयः "liquid time-constant networks" इति डिजाइनं कृतवन्तः:

अनेकसरलगतिशीलप्रणालीभिः युक्तं निरन्तरकालप्रतिरूपं यत् अरैखिकद्वारद्वारा परस्परं नियन्त्रयति ।

यदि वयं वदामः यत् मानकं तंत्रिकाजालं समान्तरेण स्थापितानां जलबन्धानां स्तरः इव भवति, यत्र प्रत्येकं जलबन्धस्तरस्य उपरि बहवः कपाटाः (भाराः) स्थापिताः सन्ति, तर्हि गणितः प्रवाहः प्रत्येकं जलबन्धस्तरं गच्छन् एतेभ्यः कपाटेभ्यः गन्तव्यः, ततः च अग्रिमस्तरं प्रति त्वरितम्।

खैर, द्रव-तंत्रिका-जालस्य जलबन्धस्य आवश्यकता नास्ति यतोहि प्रत्येकं न्यूरॉन् विभेदकसमीकरणेन (ode) नियन्त्रितः भवति ।

अस्य प्रकारस्य जालस्य लक्षणं चरकालनित्यैः भवति तथा च अवकलसमीकरणानां समाधानेन निर्गमः प्राप्यते । शोधं दर्शयति यत् स्थिरता, अभिव्यञ्जकता, समयश्रृङ्खलापूर्वसूचना च इति दृष्ट्या पारम्परिकप्रतिमानानाम् अपेक्षया अधिकं कार्यं करोति ।

पश्चात्, daniela rus इत्यादिभिः एकां सन्निकर्षविधिः प्रस्ताविता यत् न्यूरॉन्-सिनैप्सयोः (closed-form continuous-time neural networks) मध्ये अन्तरक्रियायाः कुशलतापूर्वकं अनुकरणार्थं बन्द-रूपसमाधानस्य उपयोगं कर्तुं शक्नोति, येन न केवलं मॉडल् स्पीड् इत्यस्य गणनायां महती सुधारः अभवत्, अपि च उत्तमं मापनीयतां दर्शयति, तथा च समयश्रृङ्खलाप्रतिरूपणे उत्तमं प्रदर्शनं करोति, अनेकेषां उन्नतपुनरावृत्ति-तंत्रिकाजालप्रतिरूपणानां अपेक्षया अधिकं प्रदर्शनं करोति ।

लिक्विड् एआइ-दलस्य सदस्यैः दावितं यत् कालान्तरे उतार-चढावयुक्तस्य कस्यापि घटनायाः विश्लेषणार्थं वास्तुकला उपयुक्ता अस्ति, यत्र विडियो-प्रक्रियाकरणं, स्वायत्त-वाहनचालनं, मस्तिष्क-हृदय-निरीक्षणं, वित्तीयव्यापारः (स्टॉककोट्स्), मौसमपूर्वसूचना च सन्ति

द्रववत् लचीलतायाः अतिरिक्तं द्रव-तंत्रिका-जालस्य अन्यत् लक्षणं अस्ति यत् ते जननात्मक-एआइ-प्रतिरूपेभ्यः अपेक्षया स्केल-रूपेण बहु लघुः भवन्ति, येषु प्रायः अरब-अरब-मापदण्डाः भवन्ति

उदाहरणार्थं, lfm 1.3b, यत् अत्यन्तं संसाधन-संकुचित-वातावरणेषु परिनियोजितुं शक्यते, तस्य केवलं 1.3b मापदण्डाः (gpt-2 अधिकतम-संस्करणस्य 1.5b इत्यस्य सदृशाः) सन्ति, यदा तु लघुतरं स्मृतिपदचिह्नं अधिकं कुशलं अनुमानं च निर्वाहयति, तथा च भवितुम् अर्हति विभिन्नेषु उपयुज्यते run on the robot hardware platform.

तदतिरिक्तं द्रव-तंत्रिका-जालस्य अपि लघु-आकारस्य, सरल-वास्तुकला-कारणात् च व्याख्या-क्षमतायाः लाभः भवति ।

परन्तु नूतनं वास्तुकला openai इत्यादिभिः प्रतियोगिनां मुख्यधारायां मॉडलैः सह कथं स्पर्धां करिष्यति इति द्रष्टव्यम् अस्ति ।

हसानी इत्यनेन उक्तं यत् सम्प्रति liquid ai इत्यस्य उपभोक्तृणां कृते chatgpt इत्यादीनां अनुप्रयोगानाम् विकासस्य योजना नास्ति। कम्पनी प्रथमं वित्तीय-चिकित्सा-संशोधनस्य आदर्शं कर्तुम् इच्छन्तीनां निगमग्राहकानाम् उपरि ध्यानं ददाति ।

सन्दर्भलिङ्कानि : १.

https://venturebeat.com/ai/अथक-सह-सहयोगी-कहेन-एजेण्टी-ऐ-विकास-दलानां-पुनर् आकारं ददाति/

https://arxiv.org/abs/2106.13898

https://arxiv.org/abs/2006.04439

https://www.jiqizhixin.com/articles/2023-12-12?from=सिंक्ड&कीवर्ड=तरल%20ai