मिङ्ग्मिन् आओफेइ मन्दिरात् आगच्छति

qubits |.सार्वजनिक खाता qbitai

तस्य विमोचनात् एकसप्ताहात् अपि न्यूनकालानन्तरं openai इत्यस्य सशक्ततमस्य मॉडलस्य o1 इत्यस्य खातः गतः ।

कश्चन आविष्कृतवान् यत् अगस्तमासे google deepmind इत्यनेन प्रकाशितेन पत्रेण सिद्धान्तः, o1 कथं कार्यं करोति इति च प्रकाशितम्।प्रायः सर्वसम्मतिः。

अस्मिन् अध्ययने ज्ञायते यत् परीक्षण-समय-गणनायाः वर्धनं आदर्श-मापदण्डानां विस्तारस्य अपेक्षया अधिकं कार्यक्षमम् अस्ति ।

पत्रे प्रस्तावितायाः गणना-अनुकूल-परीक्षा-समय-गणना-विस्तार-रणनीत्याः आधारेण लघुतरं मूलभूतं प्रतिरूपं केषुचित् कार्येषु एकं अतिक्रमितुं शक्नोति१४ गुणाधिकम्प्रतिकृति।

नेटिजनाः अवदन् यत् -

एषः प्रायः ओ१ सिद्धान्तः ।

यथा वयं सर्वे जानीमः, अल्ट्रामैन् गूगल इत्यस्मात् अग्रे भवितुं रोचते, अतः किं अत एव o1 इत्यनेन प्रथमं पूर्वावलोकनसंस्करणं प्रकाशितम्?

केचन जनाः एतत् शोचन्ति स्म-

ननु यथा गूगलेन एव उक्तं, कस्यचित् खातः नास्ति, न च कदापि कस्यचित् खातं भविष्यति।

अधुना एव openai इत्यनेन o1-mini इत्यस्य गतिः ७ गुणा वर्धिता अस्ति तथा च प्रतिदिनं o1-preview इत्यनेन उक्ताः ५० वस्तूनि उपयोक्तुं शक्यन्ते;

गणनायाः ४ गुणानि रक्षन्तु

अस्य google deepmind पत्रस्य शीर्षकं अस्ति :एलएलएम-परीक्षणस्य अनुकूलनं कुर्वन् मॉडल-पैरामीटर्-परिमाणस्य विस्तारस्य अपेक्षया गणना अधिका कार्यक्षमा भवति。

शोधदलः मानवीयचिन्तनपद्धत्याः विस्तारं कृतवान् यतः जनाः जटिलसमस्यानां सम्मुखीभवन्ति सति चिन्तनार्थं निर्णयसुधारार्थं च अधिकं समयं गृह्णन्ति, तर्हि एलएलएम-विषये अपि तथैव भवितुम् अर्हति वा?

अन्येषु शब्देषु, यदा जटिलकार्यस्य सम्मुखीभवति, तदा एलएलएम सटीकतासुधारार्थं परीक्षणकाले अतिरिक्तगणनानां अधिकप्रभावितेण उपयोगं कर्तुं समर्थः भवितुम् अर्हति वा।

केषुचित् पूर्वाध्ययनेन ज्ञातं यत् एषा दिशा खलु सम्भवति, परन्तु प्रभावः तुल्यकालिकरूपेण सीमितः अस्ति ।

अतः अयं अध्ययनं ज्ञातुम् इच्छति स्म यत् तुल्यकालिकरूपेण अल्पानां अतिरिक्तानुमानगणनानां उपयोगे कियत् मॉडलप्रदर्शने सुधारः कर्तुं शक्यते?

ते palm2-s* इत्यस्य उपयोगेन math-दत्तांशसमूहे परीक्षणार्थं प्रयोगानां समुच्चयं परिकल्पितवन्तः ।

मुख्यतया द्वौ पद्धतौ विश्लेषितौ स्तः- १.

(1) पुनरावर्तनीयात्मपुनरीक्षणम्: आदर्शः बहुवारं प्रश्नस्य उत्तरं दातुं प्रयतेत, प्रत्येकं प्रयत्नस्य अनन्तरं तस्य संशोधनं कृत्वा उत्तमं उत्तरं प्राप्तुं प्रयतेत।
(२) अन्वेषणम्: अस्मिन् दृष्टिकोणे आदर्शः बहुविधाः अभ्यर्थी उत्तराणि जनयति,

द्रष्टुं शक्यते यत् स्व-पुनरीक्षण-पद्धतेः उपयोगे परीक्षणकाले यथा यथा गणनायाः परिमाणं वर्धते तथा तथा मानक-बेस्ट-ऑफ-एन-रणनीत्याः (best-of-n) गणना-दृष्ट्या इष्टतम-विस्तार-रणनीत्याः च मध्ये अन्तरं क्रमेण विस्तारं प्राप्नोति

इष्टतमविस्ताररणनीत्याः गणनाय अन्वेषणपद्धतेः उपयोगेन प्रारम्भिकपदे स्पष्टलाभाः दृश्यन्ते । तथा च कतिपयेषु परिस्थितिषु उत्तम एन रणनीत्याः समानं प्रभावं प्राप्तुं शक्नोति,गणनायाः राशिः केवलं तस्य १/४ भागः एव。

पूर्वप्रशिक्षितगणनायाः तुलनीयस्य flops इत्यस्य मेलमूल्याङ्कने palm 2-s* (गणनात्मकरूपेण इष्टतमरणनीत्याः उपयोगेन) 14x बृहत्तरेण पूर्वप्रशिक्षितप्रतिरूपेण (अतिरिक्तानुमानं विना) सह तुलना।

स्व-पुनरीक्षण-पद्धतेः उपयोगे यदा अनुमान-टोकन-प्रशिक्षण-पूर्व-टोकन-अपेक्षया बहु लघुः भवति तदा परीक्षण-समय-गणना-रणनीत्याः उपयोगस्य प्रभावः पूर्व-प्रशिक्षणस्य अपेक्षया उत्तमः भवति इति ज्ञातम् परन्तु यथा यथा अनुपातः वर्धते, अथवा कठिनतरसमस्यासु, पूर्वप्रशिक्षणम् अद्यापि उत्तमं कार्यं करोति ।

अर्थात् उभयत्र भिन्नपरीक्षानुसारं विस्तारविधिः वैधः वा इति गणनायाः कुञ्जी अस्तिसंकेत कठिनता。

अध्ययनेन भिन्न-भिन्न-पीआरएम-अन्वेषण-विधिषु अपि तुलना कृता, परिणामेषु च ज्ञातं यत् अग्रे अन्वेषणाय (सुदूरदक्षिणतः) अधिकगणनायाः आवश्यकता भवति ।

यदा गणनायाः मात्रा अल्पा भवति तदा गणना इष्टतमरणनीत्याः उपयोगेन ४ गुणापर्यन्तं संसाधनानाम् रक्षणं कर्तुं शक्यते ।

openai इत्यस्य o1 मॉडलस्य तुलनां कृत्वा अयं अध्ययनं प्रायः समानं निष्कर्षं ददाति ।

o1 मॉडल् स्वस्य विचारप्रक्रियायाः परिष्कारं कर्तुं, भिन्नाः रणनीतयः प्रयतितुं, स्वस्य त्रुटिं च ज्ञातुं शिक्षते । तथा च अधिकसुदृढीकरणशिक्षणेन (प्रशिक्षणकाले गणना कृता) अधिकचिन्तनसमयेन (परीक्षणकाले गणना कृता) च o1 इत्यस्य कार्यप्रदर्शने निरन्तरं सुधारः भवति

परन्तु openai इत्यनेन मॉडल् द्रुततरं विमोचितम्, गूगलः तु palm2 इत्यस्य उपयोगं करोति, gemini2 इत्यस्य विषये अपडेट् न प्रकाशितवान् ।

नेटिजनः - खादः केवलं हार्डवेयरस्य विषये एव अस्ति वा ?

एतादृशाः नूतनाः निष्कर्षाः अनिवार्यतया जनान् गतवर्षे गूगलस्य आन्तरिकदस्तावेजेषु प्रस्तावितानां विचाराणां स्मरणं कुर्वन्ति:

अस्माकं खादः नास्ति, openai अपि नास्ति । मुक्तस्रोतप्रतिरूपं chatgpt पराजयितुं शक्नोति।

अधुना प्रत्येकं संशोधनवेगः अतीव द्रुतगतिः भवति, तेषां सर्वदा अग्रे भवितुं कोऽपि निश्चयं कर्तुं न शक्नोति ।

एकमात्रः खातः हार्डवेयरः भवितुम् अर्हति ।

(तर्हि मस्कः कम्प्यूटिङ्ग्-केन्द्रं निर्मातुम् गच्छति?)

केचन जनाः वदन्ति यत् इदानीं nvidia प्रत्यक्षतया नियन्त्रयति यत् कस्य अधिका कम्प्यूटिंग् शक्तिः अस्ति। अतः यदि google/microsoft इत्येतत् कस्टम् चिप् विकसयति यत् उत्तमं कार्यं करोति तर्हि किं भवति?

ज्ञातव्यं यत् openai इत्यस्य प्रथमं चिप् किञ्चित्कालपूर्वं उजागरितम् आसीत् तथा च tsmc इत्यस्य अत्यन्तं उन्नत a16 angstrom-स्तरीयप्रक्रियायाः उपयोगं करिष्यति तथा च विशेषतया sora video applications कृते निर्मितम् अस्ति

स्पष्टतया बृहत् आदर्शयुद्धक्षेत्राणां कृते केवलं आदर्शस्य एव रोलिंग् एव पर्याप्तं नास्ति ।

सन्दर्भलिङ्कानि : १.
https://www.reddit.com/r/singularity/comments/1fhx8ny/deepmind_अवगमति_स्ट्रॉबेरी_तत्र_खाई_न_ना/