2024-07-31
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
नवीन बुद्धि प्रतिवेदन
सम्पादक : सम्पादकीय विभाग
[नव प्रज्ञायाः परिचयः] । अद्य प्रातःकाले सर्वे विकासकाः iOS 18.1 इत्यस्य आकस्मिकं बीटासंस्करणं दृष्ट्वा स्तब्धाः अभवन्! अप्रत्याशितरूपेण एप्पल् एआइ इदानीं प्रारम्भिकानां कृते उपयोक्तुं शक्यते, बहुसंख्याकाः समीक्षाः च सम्पूर्णं अन्तर्जालं प्लावितवान् । अतः अपि आश्चर्यं यत् एप्पल्-संस्थायाः एआइ-पृष्ठतः मूलभूत-माडलस्य विषये ४७-पृष्ठीयं तकनीकी-रिपोर्ट् अपि अन्तर्जाल-माध्यमेन अस्ति ।
प्रातःकाले "Apple AI" इत्यस्य बहुप्रतीक्षितं प्रथमपूर्वावलोकनसंस्करणं आधिकारिकतया विकासकानां कृते धकेलितम्!
एप्पल् एआइ इत्यस्य नवीनतमाः क्षमताः iOS 18.1, iPadOS 18.1, macOS Sequoia 15.1 इत्यादीनां प्रमुखत्रयप्रणालीषु निहिताः सन्ति ।
ये प्रथमः उपयोक्तारः iOS 18.1 इत्यस्य बीटा संस्करणं प्राप्तवन्तः ते पूर्वमेव आनन्देन जयजयकारं कुर्वन्ति, तथा च सम्पूर्णे जालपुटे प्रसृतस्य वास्तविकपरीक्षासाझेदारीयाः तरङ्गस्य परतरङ्गस्य च।
नवीनतमपूर्वावलोकनसंस्करणे बहवः आश्चर्याः सन्ति (त्वरितपूर्वावलोकनसंस्करणम्):
नवीनं सिरी: जागरणसमये स्क्रीनस्य धारायाम् मृदुप्रकाशं करोति;
लेखनसाधनम् : भवान् कस्मिन् अपि परिदृश्ये पाठस्य पुनर्लेखनं, प्रूफरीड्, सारांशं च कर्तुं शक्नोति । (ज्ञापनपत्राणि, दस्तावेजाः, तृतीयपक्षस्य एपीपी च सर्वे स्वीकार्याः सन्ति)
फोकस मोड (Reduce Interruptions): केवलं तानि सूचनानि दर्शयन्तु यत् भवद्भिः तत्क्षणमेव द्रष्टव्यानि
छायाचित्रविशेषताः : प्राकृतिकभाषायाः उपयोगेन छायाचित्रं अन्वेष्टुम्, विडियो निर्मातुं च
ईमेल, सन्देशाः, ध्वनिपत्रप्रतिलेखाः च कृते AI सारांशं जनयन्तु
तदतिरिक्तं, एप्पल् इत्यनेन आगामिवर्षे प्रारम्भं करिष्यमाणानि कानिचन विशेषतानि सन्ति, यथा ChatGPT एकीकरणं, इमेज/इमोजी जनरेशन, स्वचालितं फोटो सफाई, स्क्रीन जागरूकता सह सुपर-शक्तिशाली Siri च
वैसे, सम्प्रति iOS 18.1 बीटा संस्करणं (iPadOS, macOS च सहितम्) केवलं अमेरिकादेशे एव उपलभ्यते, चीनदेशे अद्यापि न प्रक्षेपितम्।
अपि च, मोबाईलफोनेषु केवलं iPhone 15 Pro, iPhone 15 Pro Max च नूतनप्रणाल्याः समर्थनं कुर्वन्ति ।
प्रणालीपरिचयस्य अनुसारं iOS18.1 बीटा संस्करणं कुलम् 15.44GB स्मृतिस्थानं गृह्णाति, यस्मिन् iOS प्रणालीक्षमता 12.58GB अस्ति, Apple AI केवलं 2.86GB स्मृतिस्थानं गृह्णाति
यतो हि एप्पल् इत्यनेन अन्त्यपक्षीययन्त्रेषु उपयुज्यमानस्य मॉडलस्य केवलं ३ अर्बं मापदण्डाः सन्ति ।
मॉडलस्य अधिकविस्तृतः परिचयः सर्वं नवनिर्मिते एप्पल् एआइ तकनीकीप्रतिवेदने निगूढम् अस्ति ।
४८ पृष्ठीयदीर्घपत्रे एप्पलस्य एलएलएमस्य डिजाइनं मूल्याङ्कनं च कवरं कृतम् अस्ति, यत्र वास्तुकला, आँकडाप्रबन्धनं, प्रशिक्षणपूर्वं प्रशिक्षणोत्तरं च नुस्खं, अनुकूलनं, कार्यात्मकं अनुकूलनं, मूल्याङ्कनपरिणामाः च सन्ति
कागज पता: https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf
विशेषतः एप्पल् इत्यनेन द्वौ नूतनौ मूलभूतभाषाप्रतिरूपौ विकसितौ, ये एप्पल् एआइ इत्यस्य मूलं भवन्ति:
एकं अन्त्यपक्षीयं मॉडल् AFM-on-device अस्ति, यस्य अनुकूलनस्य अनन्तरं प्रायः 3 अरबं मापदण्डाः सन्ति, इदं iPhone इत्यादिषु टर्मिनल् उपकरणेषु चालयितुं शक्नोति, अधिकदक्षतायाः प्रतिक्रियाशीलतायाः च सह ।
अन्यः बृहत्तरः पैरामीटर् मॉडल् अस्ति यः एप्पल् इत्यस्य क्लाउड् सर्वरे चालयितुं शक्नोति, यस्य नाम AFM-server इति, यत् गहनकार्यस्य कृते विनिर्मितम् अस्ति तथा च उपयोक्तृदत्तांशस्य रक्षणार्थं निजीक्लाउड् कम्प्यूटिङ्ग् (Private Cloud Compute) प्रणालीं उपयुज्यते
अहम् अद्यापि स्मरामि यत् गतमासे WWDC सम्मेलने कुक् एप्पल् इत्यस्य एआइ इत्यस्य शक्तिशालिनः कार्याणि विश्वे घोषितवान्, येन एप्पल् इत्यस्य परिवारस्य बाल्टीं महाकाव्यं उन्नयनं दत्तम्।
समग्रं अन्तर्जालं मन्यते यत् एआइ सर्वथा उत्तमः नास्ति, अद्यापि अस्माभिः एप्पल् एआइ इत्येतत् अवलोकितव्यम् ।
सामान्यतया एप्पल् प्रायः प्रथमं iOS18 मुख्यप्रणालीं विमोचयति ।
परन्तु मया न अपेक्षितं यत् अस्मिन् समये एप्पल् इत्ययं एतावता अल्पे काले एव प्रथमे विकासकसमूहे बीटा-संस्करणं प्रदास्यति इति ।
अस्मिन् विषये ब्लूमबर्ग् इत्यस्य नवीनतमेन प्रतिवेदनेन सूचितं यत् एप्पल् इत्यनेन स्वस्य सामान्यं सॉफ्टवेयर-विमोचन-तालं भङ्गं कृतम् यतः एप्पल् एआइ इत्यस्य अद्यापि अधिकपरीक्षणसमयस्य आवश्यकता वर्तते ।
चिन्तयामि, प्रथमाः प्रारम्भिकाः स्वीकृताः के नूतनाः महाद्वीपाः आविष्कृतवन्तः?
नेटिजनैः वास्तविकपरीक्षा
एप्पल्-प्रौद्योगिकी-ब्लॉगरः ब्रैण्डन् बुच् इत्यनेन तत्क्षणमेव एकं विडियो-व्याख्यानं निर्मितम् यत् iOS 18.1 बीटा-संस्करणे सर्वाधिकं व्यापकं एप्पल्-एआइ-कार्यं दर्शयति ।
कियत् अपि कठोरः सदा सौम्यः मधुरः च भविष्यति ।
सः अवदत् यत् एप्पल् एआइ इत्यनेन तस्य साहाय्यं कृतम् यत् सः यत् वक्तुम् इच्छति तत् व्यक्तं कर्तुं उत्तमः उपायः अन्वेष्टुं शक्नोति।
सन्देश-अन्तरफलके, निवेश-पेटिकायां यत् वक्तुम् इच्छति तत् लिखन्तु ।
ततः तान् सर्वान् चित्वा लेखनसाधने "friendly" इत्यस्य उपयोगाय Apple AI बटन् नुदन्तु AI तत्क्षणमेव अस्य अनुच्छेदस्य स्वरं अधिकं विवेकपूर्णं करिष्यति ।
अन्यस्य नेटिजनस्य विषये अन्यं दृष्टिपातं कुर्मः यः विशेषतया शापशब्दं लिखितवान्, यत् एआइ-इत्यनेन पुनः लिखितस्य अनन्तरं बहु अधिकं आरामदायकम् आसीत् ।
व्याकरणस्य टङ्कनदोषशुद्धिः
तदतिरिक्तं बुच् व्याकरणं मारितः इति उद्घोषितवान्, एषः एव वास्तविकः एप्पल् एआइ इति ।
केवलं निम्नलिखितम् खण्डं पश्यन्तु, सूचनात्मकं वर्तनी अशुद्धम् अस्ति, किं दीर्घवर्णं नास्ति, किं च भवन्तः मन्यन्ते यत् अवधिस्य स्थाने प्रश्नचिह्नेन समाप्तं भवेत्।
द्रष्टुं शक्यते यत् एप्पल् एआइ इत्यनेन भवतः कृते सर्वं सम्यक् कृतम्।
ईमेल-पत्रेषु एप्पल्-संस्थायाः AI-क्षमता अपि अस्ति, यत् श्रुत्वा जनाः उन्मत्ताः भवन्ति ।
ज्ञापनपत्रेषु सन्देशेषु च लेखनसाधनानाम् अपि समर्थनं करोति, यथा प्रूफरीडिंग्, पुनर्लेखनम् इत्यादयः ।
उपरि ईमेलस्य सारांशः प्रदर्शितः भविष्यति ।
एप्पल् इत्यस्य एआइ लेखनसाधनस्य एनिमेशनप्रभावः "अति एप्पल्" अस्ति यदा मॉडल् प्रतिक्रियां ददाति तदा टोकनस्य सघनप्रवाहस्य तुलने सर्वं एतावत् सुचारुरूपेण दृश्यते ।
बिल्कुल नया सिरी, सुपर स्मूद रिस्पॉन्स
सिरी इत्यस्य आह्वानं कुर्वन् स्क्रीनस्य एज इफेक्ट् पश्यन् मया वक्तव्यं यत् एप्पल् डिजाइनं सर्वोत्तमरूपेण जानाति।
सिरि इत्यस्य iPad संस्करणं पश्यामः ।
Humane इत्यस्य एकः AI अभियंता, पूर्वः Apple अभियंता च Siri इत्यस्य परीक्षणं कृत्वा तस्य प्रशंसाम् अकरोत् यत् Apple इत्यस्य AI अतीव अतीव द्रुतगतिः अस्ति इति ।
सिरी जागृत्य पृच्छतु यत् एफिल-गोपुरं कियत् ऊर्ध्वम् अस्ति? कुत्र स्थितम् अस्ति ?
वैसे, पेरिस-ओलम्पिक-क्रीडायाः विषये, ओलम्पिक-कार्यक्रमाः कथं द्रष्टव्याः इति विषये च काश्चन अद्यतन-वार्ताः धक्कायन्तु |
अल्पकाले एव एप्पल् एआइ इत्यस्य उत्तरम् आसीत् ।
एआइ प्रतिलेखनसारांशः, महत्त्वपूर्णः दूरभाषसामग्री गम्यमानस्य भयं न करोति
तदतिरिक्तं एप्पल् एआइ भवन्तं दूरभाष-कॉल-पत्राणि नोट्-रूपेण प्रतिलिखितुं, भवता यत् कथितं तस्य अभिलेखनं कर्तुं च सहायं कर्तुं शक्नोति ।
यदि रिकार्ड् बटनं नुदति तर्हि आह्वानपक्षस्य आह्वानपक्षस्य च कृते एकः स्वरः वाद्यते, यत् आह्वानं रिकार्ड् भविष्यति इति सूचयति ।
रिकार्डिङ्ग् समाप्तस्य अनन्तरं रिकार्डिङ्ग् सामग्रीं द्रष्टुं भवान् प्रत्यक्षतया सूचना-पॉप्-अप-विण्डो-मध्ये प्रविष्टुं शक्नोति ।
फोकस मोड
सूचनासामग्रीणां स्वयमेव विश्लेषणं कर्तुं महत्त्वपूर्णसूचनानाम् अन्वेषणाय च Apple AI इत्यस्य उपयोगं कुर्वन्तु!
महत्त्वपूर्णजनानाम् सूचनाः पटलस्य अधः पिनः भविष्यन्ति।
फोटो अन्वेषणं, बहु शिकायतां
अवश्यं, प्रथमं iOS 18.1 इत्यस्य प्रारम्भस्य कारणं विकासकाः अधिकं परीक्षणं कर्तुं, निवेदितानां समस्यानां आविष्कारं कर्तुं, एप्पल्-संस्थायाः AI-क्षमतायां उत्तमरीत्या सुधारं कर्तुं च शक्नुवन्ति ।
न, यदा एकः यूट्यूब-ब्लॉगरः फोटो-कार्यस्य परीक्षणं कुर्वन् आसीत् तदा सः अवाप्तवान् यत् सिरी अद्यापि "मानसिकरूपेण मन्दः" अस्ति ।
ब्लोगरः प्रथमं पृष्टवान् यत् "सिरी २०२२ तमस्य वर्षस्य धन्यवाददिवसस्य यात्रायाः छायाचित्रं दर्शयतु" इति । सिरी उत्तरितवान् - Health app कियत्वारं उद्घाटितम् अस्ति....
ततः, सः पुनः प्रश्नं पुनः अवदत् यत्, "सिरी, धन्यवाददिवसस्य विषये फोटोषु फोटोषु अन्वेष्टुम्" इति।
विनोदपूर्णं यत् सिरी धन्यवाददिवससम्बद्धानां चित्राणां समूहं प्रत्यक्षतया अन्तर्जालतः अन्वेषितवान् ।
यदा सः पुनः पृष्टवान् यत् "सिरी, मम ताइवानयात्रायाः छायाचित्रं दर्शयतु" तदा सिरी मूलशब्दान् कीवर्डरूपेण श्रुत्वा अन्तर्जालतः "My Trip to Twaiwan" इति अन्वेषितवान्
ततः सः पृच्छति स्म, सिरी अद्यापि भ्रमितः आसीत् ।
हठिः ब्लोगरः, भग्नः सिरी, अहं हसितुं न शक्नोमि...
यथा आरम्भे उक्तं, एप्पल् एआइ इत्येतत् टर्मिनल्-यन्त्रेषु संस्थापनस्य क्षमता दलेन स्वयमेव विकसितस्य मूलभूत-प्रतिरूपस्य आधारेण भवति, यत् उज्ज्वलतया प्रकाशते
iPhone’s AI revolution: भवतः जेबस्य मध्ये 3 अरब पैरामीटर्स्
विशेषतः एएफएम ट्रांसफॉर्मर आर्किटेक्चर इत्यस्य आधारेण केवलं डिकोडर-सघनप्रतिरूपम् अस्ति ।
अस्य डिजाइनविचाराः निम्नलिखितरूपेण सन्ति ।
पैरामीटर् स्मृतिप्रयोगं न्यूनीकर्तुं साझां इनपुट्/आउटपुट् एम्बेडिंग् मैट्रिक्सम्
प्रशिक्षणस्थिरतां सुधारयितुम् RMSNorm इत्यस्य पूर्व-सामान्यीकरणस्य उपयोगं कुर्वन्तु
प्रशिक्षणस्थिरतां सुधारयितुम् प्रश्न/कुंजी सामान्यीकरण
केवी-सञ्चयस्य स्मृतिपदचिह्नं न्यूनीकर्तुं ८ कुञ्जी-मूल्य-शीर्षकैः सह समूहीकृतप्रश्न-ध्यानम् (GQA)
अधिकं कुशलं SwiGLU सक्रियीकरणं
500k आधारावृत्त्या सह RoPE स्थान एम्बेडिंग्, दीर्घसन्दर्भस्य समर्थनं करोति
एडाप्टर वास्तुकला
LoRA एडाप्टरस्य उपयोगेन एप्पल् इत्यस्य आधारप्रतिरूपं वर्तमानकार्यस्य आधारेण गतिशीलरूपेण मक्षिकायां विशेषज्ञतां प्राप्तुं शक्नोति ।
एते लघु तंत्रिकाजालमॉड्यूलाः आधारप्रतिरूपस्य विभिन्नस्तरयोः प्लग् कृत्वा विशिष्टकार्यस्य कृते प्रतिरूपस्य सूक्ष्म-समायोजनाय उपयोक्तुं शक्यन्ते ।
एडाप्टर्-प्रशिक्षणस्य सुविधायै एप्पल्-संस्थायाः एकं कुशलं आधारभूतसंरचना अपि निर्मितम् अस्ति यत् यदा अन्तर्निहितं प्रतिरूपं वा प्रशिक्षणदत्तांशं वा अद्यतनं भवति अथवा नूतनानां विशेषतानां आवश्यकता भवति तदा एडाप्टर् शीघ्रं योजयितुं, पुनः प्रशिक्षितुं, परीक्षणं कर्तुं, परिनियोजनं च कर्तुं समर्थं करोति
अनुकूलन
उपयोक्तृणां दैनन्दिनप्रयोगस्य पूर्तये आवश्यकतायाः कारणात्, मॉडलस्य गुणवत्तां निर्वाहयन् स्मृतिप्रयोगं, विलम्बं, विद्युत्-उपभोगं च महत्त्वपूर्णतया न्यूनीकर्तुं दलेन विविधाः अनुकूलन-मात्रा-प्रविधयः स्वीकृताः
प्रक्रिया
प्रशिक्षणोत्तरचरणस्य एप्पल् इत्यनेन प्रतिभारं ४ बिट् इत्यस्मात् न्यूनं औसतं यावत् मॉडल् संपीड्य क्वाण्टाइज् कृतम् ।
परिमाणितमाडलयोः प्रायः गुणवत्तायाः किञ्चित् हानिः भवति । अतः अनुसंधानविकासदलः कार्यात्मकविकासाय परिमाणात्मकप्रतिरूपं प्रत्यक्षतया अनुप्रयोगदलाय न समर्पयति, अपितु प्रतिरूपगुणवत्तां पुनर्स्थापनार्थं पैरामीटर्-कुशलस्य LoRA-एडैप्टरस्य समुच्चयं संलग्नं करोति
ततः प्रत्येकं उत्पाददलं क्वाण्टीकृताधारप्रतिरूपं अपरिवर्तितं कृत्वा सटीकता-पुनर्प्राप्ति-एडाप्टर्-तः एडाप्टर-भारं आरभ्य स्वस्य विशेषता-विशिष्टं LoRA एडाप्टरं सूक्ष्मरूपेण ट्यून् करोति
ज्ञातव्यं यत् प्रशिक्षणसटीकतापुनर्प्राप्ति एडाप्टर नमूनाकुशलः अस्ति तथा च प्रशिक्षणमूलप्रतिरूपस्य लघुसंस्करणरूपेण गणयितुं शक्यते।
तेषु एडाप्टरस्य पूर्वप्रशिक्षणपदे केवलं प्रायः १० अरब टोकन (मूलभूतमाडलप्रशिक्षणस्य प्रायः ०.१५%) आवश्यकं भवति यत् क्वाण्टीकृतप्रतिरूपस्य क्षमतां पूर्णतया पुनःस्थापयितुं शक्यते
यतः एतेभ्यः परिशुद्धतापुनर्प्राप्ति-एडाप्टर्-भ्यः एप्लिकेशन-एडाप्टर्-इत्येतत् सूक्ष्म-समायोजनं भविष्यति, तेषां कृते अतिरिक्त-स्मृति-उपयोगः अथवा अनुमान-व्ययः न भविष्यति
एडाप्टर आकारस्य विषये दलेन ज्ञातं यत् १६ श्रेणीयुक्तः एडाप्टरः मॉडलक्षमतायाः अनुमानप्रदर्शनस्य च मध्ये उत्तमं संतुलनं प्रदाति ।
परन्तु अधिकं लचीलतां प्रदातुं एप्पल् अनुप्रयोगदलानां कृते चयनार्थं परिशुद्धतापुनर्प्राप्ति-एडाप्टर्-इत्यस्य विभिन्नानां श्रेणीनां समुच्चयं प्रदाति ।
परिमाणं कुरुत
परिशुद्धतापुनर्प्राप्ति-एडाप्टर्-इत्यनेन आनितः अन्यः लाभः अस्ति यत् ते क्वाण्टाइजेशन-योजनानां अधिकं लचीलं चयनं कर्तुं शक्नुवन्ति ।
पूर्वं बृहत्भाषाप्रतिमानानाम् परिमाणीकरणं कुर्वन् भारानाम् लघुखण्डेषु विभज्य, प्रत्येकं खण्डं तस्य तदनुरूपं अधिकतमं निरपेक्षमूल्येन सामान्यीकरणं कृत्वा बहिर्मुखीनां छानने, ततः खण्डाधारितरूपेण परिमाणीकरण-एल्गोरिदम्-प्रयोगः सामान्यः आसीत्
यदा बृहत्तराः ब्लॉक् आकाराः प्रतिभारं प्रभावी बिट्-सङ्ख्यां न्यूनीकरोति तथा च थ्रूपुट् वर्धयति तदा क्वाण्टाइजेशन-हानिः अपि वर्धते । अस्य व्यापारस्य सन्तुलनार्थं खण्डस्य आकारः प्रायः लघुतरमूल्ये सेट् भवति, यथा ६४ अथवा ३२ ।
परन्तु एप्पल्-प्रयोगेषु दलेन ज्ञातं यत् सटीकता-पुनर्प्राप्ति-एडाप्टरः अस्य व्यापारस्य पारेटो-अग्रभागस्य महत्त्वपूर्णं सुधारं कर्तुं शक्नोति ।
अधिक-आक्रामक-क्वाण्टीकरण-योजनानां कृते अधिकानि त्रुटयः पुनः प्राप्ताः भविष्यन्ति । फलतः एप्पल् एएफएम-कृते मॉडल्-क्षमतायाः हानिः इति चिन्तां विना कुशल-क्वाण्टाइजेशन-योजनानां उपयोगं कर्तुं समर्थः अस्ति ।
मिश्रित परिशुद्धता क्वांटाइजेशन
प्रत्येकस्मिन् Transformer block मध्ये AFM इत्यस्य प्रत्येकस्मिन् स्तरे च अवशिष्टसंयोजनानि सन्ति । अतः सर्वेषां स्तरानाम् महत्त्वं समानम् इति असम्भाव्यम् ।
एतस्य अन्तःकरणस्य आधारेण एप्पल् इत्यनेन कतिपयानि स्तराः २-बिट् क्वाण्टाइजेशनं प्रति धक्कायन् स्मृतिप्रयोगं अधिकं न्यूनीकृतम् (पूर्वनिर्धारितं ४-बिट् अस्ति) ।
औसतेन एएफएम-यन्त्रेषु मॉडल् गुणवत्तायाः महत्त्वपूर्णं हानिं विना प्रायः ३.५ बिट् प्रतिभारं (bpw) यावत् संपीडयितुं शक्यते ।
उत्पादनकाले एप्पल् ३.७bpw इत्यस्य उपयोगं कर्तुं चयनं करोति यतोहि एतत् पूर्वमेव स्मृति-आवश्यकताम् पूरयति ।
मूल्याङ्कनफलम्
पूर्वप्रशिक्षणम्
सारणी 2 HELM MMLU v1.5.0 इत्यत्र AFM-on-device तथा AFM-server इत्येतयोः परिणामान् दर्शयति, यत् 57 विषयेषु 5-नमूना बहुविकल्पीयप्रश्नानां परीक्षणं कृतवान्
सारणी 3 तथा 4 क्रमशः HuggingFace OpenLLM रैंकिंग V1 तथा HELM-Lite v1.5.0 बेन्चमार्क् इत्यत्र AFM-सर्वरस्य परिणामान् दर्शयति ।
एतत् द्रष्टुं शक्यते यत् एएफएम-पूर्व-प्रशिक्षण-प्रतिरूपे शक्तिशालिनः भाषा-तर्क-क्षमता च सन्ति, अतः प्रशिक्षण-उत्तर-प्रशिक्षणस्य, विशेषता-सूक्ष्म-समायोजनस्य च ठोस-आधारं प्रदाति
प्रशिक्षणोत्तर मानवमूल्यांकनम्
एप्पल् एआइ अनुप्रयोगपरिदृश्यानां कृते मानवमूल्यांकनं उपयोक्तृअनुभवस्य समीपे एव भवति ।
मॉडलस्य सामान्यक्षमतायाः आकलनाय दलेन १,३९३ संकेतानां व्यापकसमूहः एकत्रितः ।
संकेताः सर्वसमावेशीः सन्ति तथा च विभिन्नवर्गाः कठिनतास्तराः च समाविष्टाः सन्ति, येषु सन्ति: विश्लेषणात्मकतर्कः, मस्तिष्कविक्षेपः, चैटबोट्, वर्गीकरणं, बन्दप्रश्नोत्तरं, कोडिंग्, निष्कर्षणं, गणितीयतर्कः, खुले प्रश्नोत्तरं, पुनर्लेखनं, सुरक्षा, सारांशं लिखितुं च।
चित्रे ३ एएफएम इत्यस्य तुलना मुक्तस्रोतमाडलेन (Phi-3, Gemma-1.1, Llama-3, Mistral, DBRX-Instruct) तथा व्यावसायिकमाडलेन (GPT-3.5 तथा GPT-4) सह दर्शिता अस्ति
मानवमूल्यांककाः प्रतियोगिप्रतिरूपस्य अपेक्षया एएफएम-प्रतिरूपं प्राधान्यं ददति इति ज्ञातम् ।
विशेषतः, यद्यपि AFM-on-device इत्यस्य मॉडल-आकारः 25% लघुः अस्ति, तथापि Phi-3-mini इत्यस्य तुलने तस्य विजय-दरः 47.7% अस्ति, अपि च मुक्त-स्रोत-सशक्त-आधार-रेखाभ्यः Gemma-7B तथा Mistral- इत्येतयोः द्विगुणाधिकं मापदण्डानां संख्या 7B.
बन्द-स्रोत-प्रतिरूपस्य तुलने एएफएम-सर्वर-इत्यनेन अपि निश्चित-प्रतिस्पर्धा दर्शिता, यत्र जीपीटी-३.५-विरुद्धं ५०% अधिकं विजय-दरः, २७.४% च ड्रॉ-दरः च अभवत्
निर्देशान् अनुसरणं कुर्वन्तु
निर्देशानुसरणं (IF) एकः मूलक्षमता अस्ति यस्याः एप्पल्-दलस्य भाषा-प्रतिरूपेषु महती आशा वर्तते, यतः वास्तविक-जगतः प्रॉम्प्ट् अथवा निर्देशाः प्रायः जटिलाः भवन्ति ।
अत्र, दलेन सार्वजनिक IFEval बेन्चमार्कस्य उपयोगः कृतः यत् मूल्याङ्कनं कृतम् यत् बृहत् भाषाप्रतिमानाः प्रतिक्रियाः जनयन्ते सति प्रॉम्प्ट् मध्ये निर्देशान् समीचीनतया अनुसरणं कर्तुं शक्नुवन्ति वा इति। एतेषु प्रायः प्रतिक्रियायाः दीर्घतायाः, प्रारूपस्य, सामग्रीयाः च विशिष्टानि आवश्यकतानि सन्ति ।
यथा चित्रे 4 दर्शितं, AFM-on-device तथा AFM-server आदेश-स्तरस्य तथा प्रॉम्प्ट-स्तरस्य सटीकतायां उत्तमं प्रदर्शनं कुर्वन्ति ।
तदतिरिक्तं एप्पल्-दलेन एएफएम-माडलस्य अपि AlpacaEval 2.0 LC-बेन्चमार्क्-इत्यत्र बेन्चमार्क-करणं कृत्वा तस्य सामान्य-निर्देश-अनुसरण-क्षमतायाः मापनं कृतम्, तथा च परिणामेषु ज्ञातं यत् तस्य मॉडल् अत्यन्तं प्रतिस्पर्धात्मकम् अस्ति
साधनस्य उपयोगः
उपकरणस्य उपयोगपरिदृश्येषु, मॉडल् उपयोक्तृअनुरोधं वर्णनैः सह सम्भाव्यसाधनानाम् सूचीं च प्राप्त्वा, संरचितं उत्पादनं प्रदातुं तथा साधननाम, पैरामीटर् मूल्यानि च निर्दिश्य विशिष्टं साधनं आह्वयितुं चयनं कर्तुं शक्नोति
दलेन फंक्शन् कॉल् कृते देशीसमर्थनेन सह एएसटी मेट्रिक्स इत्यस्य उपयोगेन सार्वजनिकबर्कले फंक्शन् कॉलिंग् लीडरबोर्ड बेन्चमार्क इत्यत्र मॉडलस्य मूल्याङ्कनं कृतम् ।
यथा चित्रे ५ दर्शितं, एएफएम-सर्वरः समग्रसटीकतायां सर्वोत्तमप्रदर्शनं करोति, मिथुन-१.५-प्रो-पूर्वावलोकन-०५१४, जीपीटी-४ च अतिक्रम्य ।
लेखन
लेखनं बृहत्भाषाप्रतिमानानाम् महत्त्वपूर्णक्षमतासु अन्यतमम् अस्ति, यतः एतत् स्वरपरिवर्तनं, पुनर्लेखनं, सारांशीकरणं च इत्यादीनां विविधानाम् अधःप्रवाहानाम् अनुप्रयोगानाम् समर्थनं करोति
दलं आन्तरिकसारांशस्य लेखनकौशलस्य मूल्याङ्कनं करोति तथा च बेन्चमार्कपरीक्षासु। तथा च LLM-as-a-judge इति दृष्टिकोणस्य अनुसरणं कृत्वा प्रत्येकस्य सारांशस्य लेखनकार्यस्य च कृते स्कोरिंग् निर्देशाः परिकल्पिताः, GPT-4 Turbo इत्यस्मै 1 तः 10 पर्यन्तं स्केलेन मॉडल् प्रतिक्रियायाः स्कोरिंग् कर्तुं प्रेरितम्।
यथा चित्रे 6 दर्शितं, AFM-on-device Gemma-7B तथा Mistral-7B इत्येतयोः तुलने तुलनीयं वा उत्तमं वा प्रदर्शनं दर्शयति । AFM-सर्वरः DBRX-Instruct तथा GPT-3.5 इत्येतयोः अपेक्षया महत्त्वपूर्णतया उत्तमः अस्ति, अपि च GPT-4 इत्यनेन सह तुलनीयः अस्ति ।
ज्ञातव्यं यत् एलएलएम-स्कोरिंग् इत्यस्य उपयोगे काश्चन सीमाः पूर्वाग्रहाः च सन्ति, यथा लम्बता-पक्षपातः ।
गणित
चित्रे ७, दलं गणितीयमापदण्डे एएफएम-प्रदर्शनस्य तुलनां करोति ।
तेषु शोधकर्तारः GSM8K कृते ८-शॉट् CoT युक्तयः, MATH कृते ४-शॉट् CoT युक्तयः च उपयुज्यन्ते स्म ।
परिणामानि दर्शयन्ति यत् एएफएम-ऑन-डिवाइसः उभयोः आर्धेन न्यूनेन अपि मिस्ट्रल्-७बी तथा गेम्मा-७बी इत्येतयोः महत्त्वपूर्णतया अधिकं प्रदर्शनं करोति ।
सारांश कार्य
उत्पाददलेन सारांशगुणवत्तायाः मूल्याङ्कनार्थं ईमेल-सन्देशानां, सूचनानां च सारांशीकरणार्थं मार्गदर्शिकानां, मेट्रिकस्य, विशेषाङ्कनमापदण्डानां च अनुकूलितसमूहः विकसितः, यत्र विविधाः मुक्तस्रोताः, अनुज्ञापत्राणि, स्वामित्वयुक्ताः च आँकडासमूहाः उपयुज्यन्ते
सारांशः "दरिद्रः" इति वर्गीकृतः भवति यदि पूर्वनिर्धारित-उत्पाद-विनिर्देशानाम् आधारेण कस्यापि उप-आयामस्य "दरिद्र" इति मूल्याङ्कनं भवति । तथैव सारांशः "उत्तम" इति वर्गीकृतः भवति यदा सर्वेषां उपआयामानां "उत्तमः" इति मूल्याङ्कनं भवति ।
चित्र 8 दर्शयति यत् AFM-on-device+ एडाप्टरस्य समग्रं प्रदर्शनं Phi-3-mini, Llama-3-8B तथा Gemma-7B इत्येतयोः अपेक्षया उत्तमम् अस्ति ।
सुरक्षायाः आकलनं कुर्वन्तु
चित्रे ९ आदर्श-उल्लङ्घनानां कृते मानवसमीक्षकाणां मूल्याङ्कनपरिणामाः दर्शिताः सन्ति ।
द्रष्टुं शक्यते यत् एएफएम-ऑन-डिवाइस् तथा एएफएम-सर्वर प्रतिद्वन्द्वी-प्रोम्प्ट्-सम्बद्धेषु निवारणे दृढं दृढतां दर्शयन्ति, तथा च उल्लङ्घनस्य दरः मुक्तस्रोत-व्यापारिक-माडल-अपेक्षया महत्त्वपूर्णतया न्यूनः भवति
चित्रे १० सुरक्षामूल्यांकनप्रोम्प्ट्-विषये मानवसमीक्षकाणां प्राधान्यानि दर्शितानि सन्ति ।
एएफएम मॉडल् पुनः एकवारं गोलं जित्वा यतः एतत् सुरक्षिततरं अधिकं सहायकं च प्रतिक्रियां दातुं शक्नोति।
उपरिष्टाद् एप्पल् इत्यस्य एआइ मॉडल् इत्यस्य प्रमुखा दर्शनम् अस्ति ।
एप्पल् इत्यस्य एआइ क्षमतां सर्वे कदा उपयोक्तुं शक्नुवन्ति?
प्रतिवर्षं एप्पल् शरदसम्मेलने नूतनानि उत्पादनानि प्रक्षेपयति, iOS 18 इत्यस्य प्रारम्भिकसंस्करणं च iPhone 16 इत्यस्य समानसमये प्रक्षेपणं भविष्यति ।
तथापि तस्य अनुभवाय सर्वेषां अक्टोबर्-मासपर्यन्तं प्रतीक्षा कर्तव्या भविष्यति ।
सन्दर्भाः : १.
https://machinelearning.apple.com/papers/apple_intelligence_फाउंडेशन_भाषा_माडल.pdf
https://x.com/BrandonButch/status/1817982978540404776
नवीनतमवार्तासूचनाः संग्रह्य व्यवस्थित्य सर्वेषां कृते निःशुल्कं पश्यन्तु।
