द्वारा लिखित |

सिरी अन्ततः "AI Siri" इति परिणतम् अस्ति, बहुप्रतीक्षितं Apple Intelligence अत्र अस्ति ।

iOS 18, iPadOS 18, macOS Sequoia इत्येतयोः कृते Apple Intelligence इत्यस्य प्रक्षेपणेन एप्पल् इत्यनेन स्वस्य विशालस्य मॉडलस्य विषये अपि तकनीकीप्रतिवेदनं प्रकाशितम्, यत्र बहूनां तकनीकीविवरणानां घोषणा कृता, येन उद्योगात् महत् ध्यानं आकर्षितम्

रिपोर्ट्-अनुसारं एप्पल् इंटेलिजेन्स् इत्यत्र बहुविधाः उच्च-प्रदर्शन-जनन-प्रतिमानाः सन्ति ये द्रुताः, कुशलाः, उपयोक्तृणां दैनन्दिनकार्यस्य कृते विनिर्मिताः, उपयोक्तृणां वर्तमानक्रियाकलापानाम् अनुकूलतां तत्क्षणमेव कर्तुं शक्नुवन्ति एप्पल् इंटेलिजेन्स् इत्यस्मिन् निर्मिताः आधारभूताः आदर्शाः पूर्वमेव उपयोक्तृ-अनुभवानाम् अनुकूलिताः सन्ति यथा पाठ-लेखनं पालिशं च, सूचनानां प्राथमिकता-करणं सारांशं च, परिवार-मित्रैः सह वार्तालापानां कृते रोचक-प्रतिमानां निर्माणं, तथा च क्रॉस्-एप्-अन्तर्क्रियाम् सुव्यवस्थितं कर्तुं एप्-अन्तर्गत-क्रियाः करणं च

तकनीकीप्रतिवेदने एप्पल्-दलेन विस्तरेण वर्णितं यत् कथं द्वौ मॉडल्-एकं भाषा-प्रतिरूपं AFM (Apple Foundation Model) यस्याः प्रायः ३ अरब-मापदण्डाः सन्ति, तथा च एकं बृहत्तरं, सर्वर-आधारितं AFM-सर्वर-भाषा-प्रतिरूपं-कथं निर्मितौ, प्रदर्शनार्थं च अनुकूलितौ व्यावसायिककार्यं कुशलतया सटीकतया च।

चित्र |.एएफएम मॉडल अवलोकन

एतौ आधारभूतौ प्रतिरूपौ एप्पल् द्वारा उपयोक्तृणां विकासकानां च समर्थनार्थं निर्मितस्य जननात्मकप्रतिरूपस्य बृहत्तरपरिवारस्य भागः सन्ति; यथा सन्देशप्रयोगेषु ।

एएफएम कथं कार्यं करोति ?

एएफएम विकासप्रक्रियायाः कालखण्डे कठोरमूल्यांकनं कृतवान्, मूल्याङ्कनपरिणामेषु च ज्ञातं यत् एतत् प्रतिरूपं प्रशिक्षणपूर्वं, प्रशिक्षणोत्तरं, विशिष्टकार्यं च उत्तमं प्रदर्शनं करोति, तथा च एप्पल्-संस्थायाः मूलमूल्यानां, उत्तरदायी एआइ-सिद्धान्तानां च अनुरूपम् आसीत्

1. प्रशिक्षणपूर्वं मूल्याङ्कनम्

एप्पल्-दलेन एएफएम-प्रतिरूपस्य भाषा-अवगमन-तर्क-क्षमतायाः मूल्याङ्कनार्थं HELM MMLU, HELMLite, OpenLLM इत्यादीनां सार्वजनिकमूल्यांकन-मापदण्डानां उपयोगः कृतः परिणामानि दर्शयन्ति यत् एएफएम-प्रतिरूपेण बहुमूल्यांकनसूचकानाम् उत्तमं परिणामं प्राप्तम्, भाषाबोधस्य तर्कस्य च दृढतां प्रदर्शितवती, अनन्तरं प्रशिक्षणोत्तर-विशिष्टकार्य-अनुप्रयोगानाम् आधारः च स्थापितः

2. प्रशिक्षणोत्तर मूल्याङ्कनम्

एप्पल्-दलेन एएफएम-प्रतिरूपस्य सामान्यक्षमतानां विशिष्टक्षमतानां च मूल्याङ्कनार्थं मानवमूल्यांकनस्य स्वचालितमूल्यांकनमापदण्डानां च संयोजनं कृतम्, यथा निर्देशस्य अनुसरणं, उपकरणस्य उपयोगः, लेखनम् चमूल्याङ्कनस्य परिणामाः निम्नलिखितरूपेण सन्ति ।

• मानवमूल्यांकनम् : १.एएफएम-प्रतिरूपं बहुषु कार्येषु अन्यैः मुक्तस्रोत-व्यापारिक-प्रतिरूपैः सह तुलनीयम् अथवा तस्मात् उत्तमम् अस्ति, यत् दर्शयति यत् प्रतिरूपं जटिलनिर्देशान् अवगन्तुं अनुसरणं च कर्तुं शक्नोति तथा च उच्चगुणवत्तायुक्तं पाठं जनयितुं शक्नोति

चित्र |.

शोधदलेन न्यूरॉनविवरणप्रतिमानस्य विषये एमएआईए इत्यस्य मूल्याङ्कनं कृतम् अध्ययनेन ज्ञातं यत् एमएआईए इत्यनेन वास्तविकमाडलयोः तथा कृत्रिम न्यूरॉनदत्तांशसमूहयोः उत्तमविवरणप्रभावाः प्राप्ताः, यत्र आधाररेखाविधिभ्यः उत्तमाः भविष्यवाणीक्षमता च मानवविशेषज्ञैः सह तुलनीयाः।

• निर्देशानुपालनमूल्यांकनम् : १.एएफएम-प्रतिरूपेण IFEval तथा AlpacaEval 2.0 LC इत्यादिषु बेन्चमार्केषु उत्तमं परिणामं प्राप्तम्, येन दर्शितं यत् मॉडल् प्रभावीरूपेण निर्देशान् अवगन्तुं अनुसरणं च कर्तुं शक्नोति।

चित्र |.एएफएम मॉडलस्य निर्देशानुपालनक्षमतायाः तुलना, IFEval इत्यस्य उपयोगेन मापिता।

• साधनस्य उपयोगस्य मूल्याङ्कनम् : १.एएफएम-प्रतिरूपेण बर्कले-फंक्शन्-कॉलिंग्-लीडरबोर्ड-बेन्चमार्क-इत्यत्र सर्वोत्तम-समग्र-सटीकता प्राप्ता, यत् सूचयति यत् मॉडल्-इत्यनेन साधनस्य प्रभावीरूपेण उपयोगः कर्तुं शक्यते

चित्र |.

• लेखनमूल्यांकनम् : १.एएफएम-प्रतिरूपेण आन्तरिकसारांशीकरणे लेखनमापदण्डेषु च उत्तमं प्रदर्शनं कृतम्, येन प्रतिरूपस्य प्रवाहपूर्णं उच्चगुणवत्तायुक्तं च पाठं जनयितुं क्षमता प्रदर्शिता

चित्र |. गेम्मा-७बी तथा मिस्ट्रल्-७बी इत्येतयोः तुलने एएफएम-ऑन्-डिवाइस् इत्यनेन समतुल्यम् अथवा उत्तमं प्रदर्शनं प्राप्तुं शक्यते । एएफएम-सर्वरः dbrx-निर्देशकात् महत्त्वपूर्णतया अधिकं कार्यं करोति तथा च GPT-3.5 तथा GPT-4 इत्येतयोः तुलनीयम् अस्ति ।

• गणितस्य मूल्याङ्कनम् : १.एएफएम-प्रतिरूपेण GSM8K, MATH इत्यादिषु बेन्चमार्केषु उत्तमं परिणामं प्राप्तम्, यत् सूचयति यत् मॉडल् गणितीयसमस्यानां प्रभावीरूपेण समाधानं कर्तुं शक्नोति ।

चित्र |.शोधदलेन प्रशिक्षणानन्तरं गणितीयमापदण्डेषु एएफएम-प्रदर्शनस्य तुलना कृता, यत्र जीएसएम८के गणितं च सन्ति । एएफएम-ऑन-डिवाइस् इत्यस्य प्रदर्शनं मिस्ट्रल्-७बी, गेम्मा-७बी इत्येतयोः अपेक्षया महत्त्वपूर्णतया उत्तमम् अस्ति ।

तदतिरिक्तं शोधदलेन कार्यविशिष्टमूल्यांकनं, प्रतिरूपस्य सुरक्षामूल्यांकनं च कृतम् । तेन ईमेलसारांशः, सन्देशसारांशः, सूचनासारांशः इत्यादिषु विशिष्टकार्येषु एएफएम-प्रतिरूपस्य कार्यप्रदर्शनस्य मूल्याङ्कनार्थं मानवमूल्यांकनस्य कार्यविशिष्टमूल्यांकनमापदण्डानां च उपयोगः कृतः मूल्याङ्कनपरिणामानां अनुसारं ईमेलसारांशः, सन्देशसारांशः, सूचनासारांशः च एएफएम-प्रतिरूपस्य कार्यक्षमता अन्येभ्यः आदर्शेभ्यः अपेक्षया सटीकता, पूर्णता, पठनीयता च इत्यादिषु अनेकपक्षेषु उत्तमः भवति

सुरक्षायाः दृष्ट्या शोधदलेन एएफएम-प्रतिरूपस्य हानिकारकसामग्रीणां संवेदनशीलविषयाणां च प्रतिरोधस्य मूल्याङ्कनार्थं प्रतिद्वन्द्वात्मकदत्तांशसमूहानां मानवमूल्यांकनस्य च उपयोगः कृतः मूल्याङ्कनपरिणामाः दर्शयन्ति यत् एएफएम-प्रतिरूपं प्रतिद्वन्द्वात्मकदत्तांशस्य संवेदनशीलविषयाणां च प्रति उत्तमं प्रतिरोधं दर्शयति, किञ्चित्पर्यन्तं हानिकारकं वा अनुचितं वा प्रतिक्रियां परिहरति।

एएफएम कथं “अभ्यासः” भवति ?

संरचना

अधिकांश मुख्यधारा मॉडल् इव एएफएम मॉडल् आधारितम् अस्ति परिवर्तक वास्तुकला, परन्तु कार्यक्षमतां कार्यक्षमतां च सुधारयितुम् केचन विशिष्टानि डिजाइनविकल्पानि अपि नियोजयति ।मुख्यघटकाः यथा - १.

• ट्रांसफार्मर मॉड्यूल: एएफएम मानक ट्रांसफार्मर मॉड्यूलस्य उपयोगं करोति, यत्र बहु-शिरः ध्यानतन्त्रं फीडफोरवर्डं च सन्तितंत्रिका संजाल。

• साझा इनपुट/आउटपुट एम्बेडिंग् मैट्रिक्स: एतत् डिजाइनं मॉडल् पैरामीटर् इत्यस्य संख्यां न्यूनीकरोति तथा च स्मृतिदक्षतायां सुधारं करोति ।

• पूर्वसामान्यीकरणं तथा RMSNorm: एताः तकनीकाः प्रशिक्षणस्य स्थिरतां सुधारयन्ति तथा च मॉडलं अधिकजटिलप्रतिमानं ज्ञातुं साहाय्यं कुर्वन्ति।

• प्रश्न/कुंजी सामान्यीकरणं : एषा तकनीकः प्रशिक्षणस्य स्थिरतां अधिकं सुधारयति।

• समूहीकृतप्रश्नस्य ध्यानं (GQA): GQA तन्त्रं स्मृतिप्रयोगं न्यूनीकरोति तथा च कम्प्यूटेशनलदक्षतायां सुधारं करोति ।

• SwiGLU सक्रियकरणकार्यम् : एतत् सक्रियीकरणकार्यं मॉडलस्य कार्यक्षमतां सुधरयति ।

• RoPE position embedding: RoPE तन्त्रं दीर्घपाठस्य एन्कोडिंग् समर्थयति तथा च सन्दर्भस्य प्रतिनिधित्वं कर्तुं मॉडलस्य क्षमतायां सुधारं करोति ।

चित्र |.AFM-on-device इत्यस्य ३०७२ मापदण्डाः सन्ति तथा च उपकरणे अनुमानार्थं उपयुक्ताः सन्ति । अस्मिन् २६ Transformer स्तराः उपयुज्यन्ते, प्रत्येकस्मिन् स्तरे १२८ शीर्षकाणि, ८ query/key headers, २४ query headers च सन्ति ।

पूर्वप्रशिक्षणम्

एएफएम मॉडल् पूर्वप्रशिक्षणप्रक्रिया एप्पल् इन्टेलिजेन्स् प्रणाल्याः विविधकार्यस्य समर्थनार्थं शक्तिशालिनः भाषाप्रतिमानानाम् प्रशिक्षणार्थं विनिर्मितः अस्ति । एएफएम-माडलं AXLearn-रूपरेखायाः उपयोगेन Cloud TPU-क्लस्टर-मध्ये प्रशिक्षितं भवति, यत् बृहत्-परिमाणस्य मॉडल्-प्रशिक्षणस्य अनुक्रम-दीर्घतायाः च समर्थनं करोति, तथा च कुशल-प्रशिक्षणं अनुमान-प्रदर्शनं च प्रदाति

एएफएम-प्रशिक्षणपूर्वदत्तांशसमूहे बहुविधाः उच्चगुणवत्तायुक्ताः आँकडा: सन्ति, येषु:

• जालसामग्री: सार्वजनिकरूपेण उपलब्धा सूचना Applebot इत्यस्य उपयोगेन क्रॉल कृत्वा फ़िल्टर कृता।

• अनुज्ञापत्राणि दत्तांशसमूहाः : विविधदीर्घपाठदत्तांशं प्रदातुं प्रकाशकानां कृते प्राप्ताः उच्चगुणवत्तायुक्ताः आँकडासंग्रहाः ।

• कोडः : GitHub इत्यस्मात् प्राप्तः मुक्तस्रोतसङ्केतदत्तांशः, यः बहुविधप्रोग्रामिंगभाषां आच्छादयति ।

• गणितम् : गणितीयप्रश्नाः, मञ्चाः, ब्लॉगाः, पाठ्यक्रमाः, गोष्ठी च इत्यादीनि गणितीयसामग्रीयुक्ताः जालदत्तांशः ।

• सार्वजनिकदत्तांशसमूहः : सार्वजनिकरूपेण उपलब्धः दत्तांशसमूहः यस्य मूल्याङ्कनं परीक्षणं च कृतम् अस्ति ।

एएफएम-पूर्वप्रशिक्षणं त्रयः चरणाः विभक्ताः सन्ति : १.

• मूलचरणम् : प्रशिक्षणार्थं बृहत्तमस्य आँकडासमूहस्य उपयोगं कुर्वन्तु मुख्यं लक्ष्यं मूलभूतभाषाज्ञानं प्रतिमानं च ज्ञातुं भवति।

• निरन्तरचरणम् : मूलचरणस्य आधारेण कोडः गणितीयदत्तांशः च योजितः भवति, तथा च जालपृष्ठदत्तांशस्य भारं न्यूनीकरोति यत् प्रतिरूपस्य ज्ञानव्याप्तेः अधिकं विस्तारः भवति

• सन्दर्भविस्तारचरणम् : निरन्तरचरणस्य आधारेण दीर्घपाठानां कृते मॉडलस्य संसाधनक्षमतासुधारार्थं दीर्घतरक्रमदीर्घतायाः कृत्रिमदीर्घपाठदत्तांशस्य च उपयोगः भवति

प्रशिक्षणोत्तर

एएफएम प्रशिक्षणपूर्वचरणस्य भाषाबोधक्षमतां प्रबलं प्राप्नोति, परन्तु तत् विशिष्टकार्येषु प्रयोक्तुं, यथा ईमेलसारांशः, सन्देशसारांशः, सूचनासारांशः च, तदनन्तरं प्रशिक्षणस्य आवश्यकता भवतिनिहितः:

• पर्यवेक्षितं सूक्ष्म-समायोजनम् (SFT): .

  • आँकडासंग्रहणम् : मानव-एनोटेटेड-आँकडानां तथा सिंथेटिक-आँकडानां उपयोगं कुर्वन्तु येन सुनिश्चितं भवति यत् आँकडा-गुणवत्ता विविधा अस्ति तथा च प्राकृतिकभाषा-उपयोग-परिदृश्यानां विविधान् आच्छादयति।

  • आँकडा मिश्रणम् : उच्चगुणवत्तायुक्तं आँकडा मिश्रणं निर्मातुं मानवीयं कृत्रिमं च आँकडानां सावधानीपूर्वकं चयनं संयोजनं च कुर्वन्तु ।

  • सूक्ष्म-समायोजन-विधिः : मॉडलस्य सूक्ष्म-समायोजनाय LoRA एडाप्टरस्य उपयोगं कुर्वन्तु, केवलं एडाप्टर-मापदण्डान् समायोजयन्तु, मॉडलस्य सामान्यज्ञानं च धारयन्तु ।

• मानवप्रतिक्रियायाः आधारेण सुदृढीकरणशिक्षणम् (RLHF):

  • पुरस्कारप्रतिरूपम् : मानवीयप्राथमिकतादत्तांशस्य उपयोगेन पुरस्कारप्रतिरूपं प्रशिक्षयन्तु तथा च प्रतिरूपस्य प्रतिक्रियाणां गुणवत्तायाः मूल्याङ्कनं कुर्वन्तु।

  • पुनरावर्तनीयशिक्षणसमितिः (iTeC): अस्वीकारनमूनाकरणं, प्रत्यक्षप्राथमिकताअनुकूलनं, ऑनलाइनसुदृढीकरणशिक्षणं च समाविष्टं बहुविधप्राथमिकता अनुकूलन एल्गोरिदमस्य उपयोगेन प्रतिरूपे पुनरावर्तनीयरूपेण सुधारं करोति

  • ऑनलाइन RLHF एल्गोरिदम् (MDLOO): पुरस्कारं अधिकतमं कर्तुं तथा च मॉडलस्य गुणवत्तां सुधारयितुम् Mirror Descent नीति अनुकूलनस्य तथा Leave-One-Out advantage estimator इत्यस्य उपयोगं कुर्वन्तु।

प्रशिक्षणोत्तरस्य लाभाः : १.

• आदर्शगुणवत्तासुधारः : प्रशिक्षणोत्तरं एएफएमप्रतिरूपस्य गुणवत्तायां कार्यप्रदर्शने च महत्त्वपूर्णं सुधारं करोति, येन विशिष्टकार्येषु उत्तमं प्रदर्शनं भवति

• Apple इत्यस्य मूलमूल्यानां उत्तरदायी AI सिद्धान्तानां च अनुपालनं कुर्वन्तु: प्रशिक्षणोत्तरप्रक्रिया पूर्णतया आँकडानां गुणवत्तां, सुरक्षां, हानिकारकसामग्रीणां छाननं च विचारयति यत् सुनिश्चितं भवति यत् मॉडलः Apple इत्यस्य मूलमूल्यानां उत्तरदायी AI सिद्धान्तानां च अनुपालनं करोति।

• मापनीयता : प्रशिक्षणोत्तरपद्धतिः अन्यकार्यं प्रति स्केलेबलं भवति, येन एएफएम-प्रतिरूपं अधिकानि Apple Intelligence-विशेषतानि समर्थयितुं समर्थं भवति ।

अनुमान अनुकूलन

एएफएम इत्यस्य न केवलं भाषाबोधक्षमता प्रबलाः भवितुम् आवश्यकाः, अपितु iPhone, iPad, Mac इत्यादिषु उपकरणेषु कुशलतया चालयितुं शक्नुवन्ति, तथैव Apple silicon servers इत्यत्र Private Cloud Compute इत्यत्र अपि कुशलतया चालयितुं शक्नुवन्ति। एतत् लक्ष्यं प्राप्तुं एप्पल्-संस्थायाः अनुकूलन-तकनीकानां श्रृङ्खला विकसिता अस्ति यत् एएफएम-माडलाः समग्र-माडल-गुणवत्तां निर्वाहयन्ते सति विशिष्ट-कार्ययोः कुशलतापूर्वकं चालयन्ति इति सुनिश्चितं भवति

अनुकूलनम् : १.

• मॉडल् क्वाण्टाइजेशन : एएफएम मॉडल् क्वाण्टाइजेशनं कर्तुं 4-बिट् क्वाण्टाइजेशन प्रौद्योगिक्याः उपयोगं कुर्वन्तु, येन मॉडल् आकारः अनुमानव्ययः च महत्त्वपूर्णतया न्यूनीकरोति ।

• सटीकता पुनर्प्राप्ति एडाप्टर : क्वाण्टाइज्ड् मॉडल् इत्यस्य सटीकताम् पुनःस्थापयितुं LoRA एडाप्टरस्य उपयोगं कुर्वन्तु येन सः अ क्वाण्टाइज्ड् मॉडल् इत्यस्य कार्यक्षमतायाः समीपे भवति

• मिश्रित-सटीकता-क्वाण्टीकरणम् : मॉडलस्य गुणवत्तां निर्वाहयन् स्मृति-उपयोगं अधिकं न्यूनीकर्तुं 4-बिट् तथा 2-बिट् क्वाण्टाइजेशन-सटीकतायाः उपयोगेन मॉडलस्य प्रत्येकं स्तरं परिमाणं कुर्वन्तु

• अन्तरक्रियाशीलं मॉडलविश्लेषणम् : मॉडलस्य विलम्बतां विद्युत्-उपभोगं च विश्लेषितुं, बिटरेट्-चयनस्य मार्गदर्शनाय, मॉडल्-प्रदर्शनस्य अनुकूलनार्थं च Talaria-उपकरणस्य उपयोगं कुर्वन्तु ।

• रनटाइम् रिप्लेसेबल एडाप्टर्स्: स्वस्य मॉडल् इत्यस्य सूक्ष्म-समायोजनाय LoRA एडाप्टर्-उपयोगं कुर्वन्तु येन मॉडलस्य सामान्यज्ञानं निर्वाहयन् विशिष्टकार्यस्य अनुरूपं भवितुम् अर्हति

अनुकूलन प्रकरण-ईमेल सारांशः : १.

• आँकडा संग्रहणम् : ईमेल, सन्देशाः, सूचनाः च अंशाः समाविष्टाः निवेशदत्तांशः एकत्रयन्तु तथा च आँकडानां सफाई, डुप्लिकेशनं च कुर्वन्तु ।

• सिंथेटिक सारांशजननम् : उत्पादस्य आवश्यकतां पूरयन्तः सिंथेटिकसारांशाः जनयितुं AFM सर्वरस्य उपयोगं कुर्वन्तु, तथा च आँकडानां गुणवत्तां सुनिश्चित्य फ़िल्टरिंग् कृते नियमानाम् आदर्शानां च उपयोगं कुर्वन्तु

• संकेत-इञ्जेक्शन्: एएफएम-उपकरण-प्रतिरूपस्य सारांशं अधिकतया अवगन्तुं जनयितुं च सहायतार्थं प्रशिक्षण-आँकडेषु एएफएम-सर्वरद्वारा उत्पन्नं सारांशं योजयन्तु ।

तदतिरिक्तं, Apple Intelligence उत्तरदायी AI सिद्धान्तानां श्रृङ्खलां अनुसरति, यत्र उपयोक्तृणां सशक्तिकरणं, उपयोक्तृणां प्रतिनिधित्वं, सावधानीपूर्वकं डिजाइनं, गोपनीयतायाः रक्षणं च सन्ति तकनीकीप्रतिवेदने एप्पल् कतिपयान् मॉडल्-प्रशिक्षणार्थं नैतिकदृष्ट्या संदिग्ध-पद्धतीनां उपयोगं करोति इति आरोपानाम् खण्डनं करोति, पुनः उक्तवान् यत् सः निजी-उपयोक्तृ-दत्तांशस्य उपयोगं न करोति, तस्य स्थाने एप्पल्-गुप्तचर-प्रयोजनार्थं सार्वजनिकरूपेण उपलब्धानां, अनुज्ञापत्र-प्राप्तानाम् आँकडानां संयोजनस्य उपयोगं करोति एएफएम-प्रतिरूपस्य प्रशिक्षणदत्तांशः "उत्तरदायी" प्रकारेण प्राप्तः इति ते बोधयन्ति स्म ।