समाचारं

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

नवीन बुद्धि प्रतिवेदन

सम्पादकः एलआरएसटी

[नव प्रज्ञायाः परिचयः] । UrbanGPT एकः अभिनवः स्थानिक-काल-बृहत्-परिमाणस्य भाषा-प्रतिरूपः अस्ति यत् स्थानिक-काल-निर्भरता-एन्कोडर-निर्देश-सूक्ष्म-ट्यूनिङ्ग-प्रौद्योगिकीम् संयोजयति, येन विविध-नगरीय-कार्ययोः उत्तम-सामान्यीकरण-क्षमताम्, भविष्यवाणी-सटीकताम् च प्रदर्शयति इयं प्रौद्योगिकी पारम्परिकप्रतिमानानाम् लेबलयुक्तदत्तांशस्य बृहत्मात्रायां निर्भरतां भङ्गयति, दत्तांशस्य दुर्लभत्वेऽपि सटीकपूर्वसूचनाः प्रदाति, नगरप्रबन्धनस्य योजनायाः च शक्तिशाली समर्थनं प्रदाति

स्थानिक-काल-पूर्वसूचना-प्रौद्योगिकी गतिशील-नगरीय-वातावरणानां गहन-विश्लेषणाय, पूर्वानुमानाय च समर्पिता अस्ति, एषा न केवलं कालस्य परिवर्तनस्य विषये ध्यानं ददाति, अपितु स्थानिक-विन्यासस्य विषये अपि विचारं करोति प्रौद्योगिक्याः उद्देश्यं नगरजीवनस्य विभिन्नपक्षेषु भविष्यस्य प्रवृत्तिः, प्रतिमानं च प्रकाशयितुं वर्तते, यत्र यातायातः, प्रवासः, अपराधस्य दरः च सन्ति । यद्यपि अनेकाः अध्ययनाः स्थानिककालदत्तांशपूर्वसूचनायाः सटीकतायां सुधारं कर्तुं तंत्रिकाजालस्य उपयोगे केन्द्रीभवन्ति तथापि एतेषु पद्धतीषु प्रायः विश्वसनीयस्थानिकसमयविशेषताः जनयितुं प्रशिक्षणदत्तांशस्य बृहत् परिमाणस्य आवश्यकता भवति

परन्तु वास्तविकनगरनिरीक्षणपरिदृश्येषु प्रायः दत्तांशः अपर्याप्तः भवति, विशेषतः केषुचित् सन्दर्भेषु, यत्र लेबलयुक्तदत्तांशसङ्ग्रहः अतीव कठिनः भवति, येन आव्हानं अधिकं वर्धते अतः विशेषतया एतादृशं प्रतिरूपं विकसितुं महत्त्वपूर्णं यत् भिन्न-भिन्न-स्थान-काल-सन्दर्भेषु अनुकूलतां प्राप्तुं शक्नोति तथा च प्रबल-सामान्यीकरण-क्षमताम् अस्ति ।

बहुक्षेत्रेषु बृहत्भाषाप्रतिमानानाम् (LLMs) महत्त्वपूर्णप्रगतेः प्रेरिताः सन्तः हाङ्गकाङ्गविश्वविद्यालयस्य, दक्षिणचीनप्रौद्योगिकीविश्वविद्यालयस्य अन्यसंस्थानां च शोधकर्तारः एकं नवीनं स्थानिकसमयिकं बृहत्भाषाप्रतिरूपं UrbanGPGT जारीकृतवन्तः, यत् स्थानिकसमयनिर्भर एन्कोडर्-इत्येतत् तथा निर्देश-फायन- ट्यूनिंग प्रौद्योगिकी संयुक्तरूपेण, लक्ष्यं स्थानिकरूपेण विशालं भाषाप्रतिरूपं विकसितुं भवति यत् नगरीयकार्येषु व्यापकरूपेण प्रयोज्यम् अस्ति।

परियोजनालिङ्कः https://urban-gpt.github.io/

कोडलिङ्कः https://github.com/HKUDS/UrbanGPT

पेपर लिङ्कः https://arxiv.org/abs/2403.00813

विडियो प्रदर्शनम् : https://www.bilibili.com/video/BV18K421v7ut

एतत् संयोजनं प्रतिरूपं काल-अन्तरिक्षयोः जटिलसम्बन्धानां गहनबोधं प्राप्तुं समर्थयति तथा च यदा दत्तांशः सीमितः भवति तदा अधिकव्यापकं सटीकं च पूर्वानुमानं प्रदातुं शक्नोति

अस्य दृष्टिकोणस्य प्रभावशीलतायाः परीक्षणार्थं वयं बहुविधसार्वजनिकदत्तांशसमूहेषु विस्तृतप्रयोगं कुर्मः येषु विविधानि स्थानिककालपूर्वसूचनाकार्यं भवति प्रयोगात्मकपरिणामाः निरन्तरं दर्शयन्ति यत् UrbanGPT निरन्तरं प्रदर्शने विद्यमानानाम् शीर्षमाडलानाम् अपेक्षया अधिकं प्रदर्शनं करोति। एते परिणामाः स्थानिककालशिक्षणार्थं बृहत्भाषाप्रतिमानानाम् उपयोगस्य महतीं क्षमतां प्रदर्शयन्ति यदा दत्तांशः न्यूनलेबलितः भवति।

अवलोकनम्

विद्यमानाः आव्हानाः

C1. लेबलकृतदत्तांशस्य अभावः पुनर्प्रशिक्षणस्य उच्चव्ययः च : १.यद्यपि विद्यमानाः स्थानिक-काल-तंत्रिका-जालम् भविष्यवाणी-सटीकतायाः दृष्ट्या उत्तमं प्रदर्शनं कुर्वन्ति तथापि ते लेबल-कृतानां बृहत्-मात्रायां बहुधा अवलम्बन्ते ।

वास्तविकनगरनिरीक्षणवातावरणेषु आँकडानां अभावः महत्त्वपूर्णः बाधकः अस्ति । यथा, यातायातप्रवाहस्य वा वायुगुणवत्तायाः वा निरीक्षणार्थं सम्पूर्णे नगरे संवेदकानां परिनियोजनं व्ययचिन्तायाः कारणात् अव्यावहारिकम् अस्ति । तदतिरिक्तं, विद्यमानानाम् आदर्शानां प्रायः नूतनक्षेत्रीय-अथवा नगर-पूर्वसूचना-कार्यस्य सम्मुखे पर्याप्तसामान्यीकरण-क्षमतायाः अभावः भवति तथा च प्रभावी-स्थानिक-काल-विशेषताः जनयितुं पुनः प्रशिक्षितस्य आवश्यकता भवति

C2. शून्य-नमूना-परिदृश्येषु बृहत्-भाषा-प्रतिमानानाम्, विद्यमान-स्थानिक-समय-प्रतिरूपणानां च अपर्याप्तसामान्यीकरण-क्षमता भवति: यथा चित्रे २ दर्शितं, बृहत्भाषाप्रतिरूपं LLaMA निवेशपाठस्य आधारेण यातायातप्रतिमानानाम् अनुमानं कर्तुं समर्थः अस्ति । परन्तु जटिलस्थानिककालनिर्भरताभिः सह संख्यात्मकसमयश्रृङ्खलादत्तांशैः सह व्यवहारं कुर्वन् कदाचित् भविष्यवाणीदोषैः पीडितः भवति ।

एकस्मिन् समये, यद्यपि पूर्वप्रशिक्षिताः आधाररेखाप्रतिमानाः स्थानिककालनिर्भरतायाः संकेतने उत्तमं प्रदर्शनं कुर्वन्ति, तथापि स्रोतदत्तांशसमूहे अतिफिटिङ्ग् इत्यस्य कारणेन शून्य-शॉट-परिदृश्येषु ते दुर्बलं प्रदर्शनं कर्तुं शक्नुवन्ति

C3. बृहत् भाषाप्रतिमानानाम् तर्कक्षमतां स्थानिककालपूर्वसूचनाक्षेत्रे विस्तारयन्तु: स्थानिककालदत्तांशस्य विशिष्टस्वभावस्य बृहत्भाषाप्रतिमानयोः संकेतितज्ञानस्य च मध्ये महत्त्वपूर्णः अन्तरः अस्ति । एतत् भेदं कथं संकुचितं कृत्वा ततः नगरीयकार्यस्य विस्तृतपरिधिषु उत्तमसामान्यीकरणक्षमतायुक्तं स्थानिककालीनबृहत्-स्तरीयं भाषाप्रतिरूपं कथं निर्मातव्यम् इति महत्त्वपूर्णः विषयः यस्य समाधानं करणीयम् अस्ति

चित्र 1: एलएलएम तथा स्थानिककाल-ग्राफ-न्यूरल-जालस्य तुलने, UrbanGPT शून्य-नमूना-परिदृश्येषु उत्तमं भविष्यवाणी-प्रदर्शनं करोति

विद्यमानाः आव्हानाः

(1) अस्माकं ज्ञाने, विशेषतया सीमितप्रशिक्षणदत्तांशैः सह, बहुविधदत्तांशसमूहेषु विविधनगरीयघटनानां पूर्वानुमानं कर्तुं समर्थं स्थानिककालगतरूपेण विशालभाषाप्रतिरूपं निर्मातुं एषः प्रथमः प्रयासः अस्ति

(2) अस्मिन् पत्रे UrbanGPT इति स्थानिककालपूर्वसूचनारूपरेखायाः परिचयः कृतः, यत् बृहत्भाषाप्रतिमानं समयस्य स्थानस्य च जटिलसम्बन्धान् गभीररूपेण अवगन्तुं शक्नोति। स्थानिककालनिर्भरता-एन्कोडरस्य निर्देश-सूक्ष्म-समायोजन-प्रौद्योगिक्या सह निकटतया संयोजनेन स्थानिक-काल-सूचना भाषा-प्रतिरूपे प्रभावीरूपेण एकीकृता भवति

(3) वास्तविक-दुनिया-दत्तांशसमूहेषु व्यापकप्रयोगाः शून्य-शॉट्-स्थानिक-समय-शिक्षण-वातावरणेषु UrbanGPT इत्यस्य उत्तम-सामान्यीकरण-क्षमतानां सत्यापनम् कुर्वन्ति । एते परिणामाः न केवलं स्थानिककालप्रतिमानानाम् पूर्वानुमानं अवगन्तुं च प्रतिरूपस्य दक्षतां प्रदर्शयन्ति, अपितु नमूनानां अभावेऽपि सटीकपूर्वसूचनाः प्रदातुं तस्य क्षमताम् अपि प्रदर्शयन्ति

प्रक्रिया

चित्र 2: UrbanGPT समग्ररूपरेखा

स्थानिककालनिर्भरता एन्कोडर

यद्यपि बृहत् भाषाप्रतिमानाः भाषापाठसंसाधने उल्लेखनीयसफलतां प्राप्तवन्तः तथापि ते अद्यापि स्थानिककालदत्तांशयोः कालपरिवर्तनानां गतिशीलप्रतिमानानाञ्च विश्लेषणे आव्हानानि प्रस्तुतयन्ति

अस्याः समस्यायाः निवारणाय अयं अध्ययनः स्थानिककालसन्दर्भे कालक्रमनिर्भरतां गृहीतुं बृहत्भाषाप्रतिमानानाम् क्षमतां सुधारयितुम् स्थानिककालनिर्भरतासङ्केतकानां एकीकरणेन अभिनवदृष्टिकोणं प्रस्तावयति

विशेषतः, अस्माभिः परिकल्पितः स्थानिककाल-एन्कोडरः द्वौ कोर-घटकौ युक्तौ स्तः: एकः गेटेड् डिफ्यूजन कन्वोल्यूशन लेयर अस्ति, अपरः च बहुस्तरीयः सहसंबन्ध-इञ्जेक्शन् लेयरः अस्ति

उपर्युक्तं सूत्रं आरम्भीकरणस्थान-काल-एम्बेडिंग् अस्ति, यत् मूल-स्थान-काल-दत्तांशतः प्राप्तम् अस्ति । Er' इति Er इत्यस्य एकः स्लाइस् अस्ति, यस्य उपयोगः ढालस्य अन्तर्धानं न्यूनीकर्तुं अवशिष्टक्रियाः कर्तुं भवति ।

वयं कालगतसहसंबन्धानां संकेतनार्थं एकविमप्रसारविक्षेपाणां उपयोगं कुर्मः ।

बहुस्तरीय-परिवर्तन-सञ्चालनेषु सूचना-धारणस्य डिग्रीं नियन्त्रयितुं सिग्मोइड्-सक्रियीकरण-कार्यं δ-इत्यस्य उपयोगः भवति ।

गेटेड् टाइम-डिलेटेड् कन्वोल्यूशनल् लेयर द्वारा प्रोसेसिंग् कृत्वा वयं बहुषु क्रमिकसमयपदेषु समयश्रृङ्खलानिर्भरतां सटीकरूपेण गृहीतुं समर्थाः भवेम, तस्मात् समृद्धानि कालगतविशेषताप्रतिपादनानि उत्पद्यन्ते एते प्रतिनिधित्वाः कालनिर्भरतायाः बहुस्तरं आच्छादयन्ति, येन दानेदारतायाः विभिन्नस्तरयोः कालविकासप्रतिमानाः प्रकाशिताः भवन्ति ।

एतस्याः कालस्य सूचनायाः पूर्णतया संरक्षणार्थं वयं बहुस्तरीयं सहसंबन्ध-इञ्जेक्शन-स्तरं प्रवर्तयामः, यत् विशेषतया विभिन्नस्तरयोः मध्ये अन्तरसम्बन्धान् गृहीतुं एकीकृत्य च विनिर्मितम् अस्ति:

तेषु रूपस्य कन्वोल्यूशन कर्नेल् अस्ति L स्तरस्य एन्कोडिंग् प्रक्रियायाः अनन्तरं वयं गेटेड् डिफ्फ्यूजन कन्वोल्यूशन लेयर इत्यस्य आउटपुट् बहुस्तरीयं सहसंबन्ध इन्जेक्शन् लेयर च एकीकृत्य, अन्ते च स्थानिककालनिर्भरतां जनयामः विशेषता प्रतिनिधित्व for

विभिन्ननगरीयदृश्येषु उत्पद्यमानानां जटिलपरिस्थितीनां सामना कर्तुं अस्मिन् पत्रे परिकल्पितः स्थानिककालसङ्केतकः स्थानिकसहसंबन्धस्य संसाधनकाले विशिष्टलेखसंरचनायाः उपरि न अवलम्बते यतो हि शून्य-शॉट्-पूर्वसूचना-वातावरणे सत्तानां मध्ये स्थानिक-सम्बन्धाः प्रायः अज्ञाताः अथवा पूर्वानुमानं कर्तुं कठिनाः भवन्ति । एतादृशः डिजाइनः UrbanGPT नगरीय-अनुप्रयोग-परिदृश्यानां विस्तृत-श्रेण्यां स्वस्य प्रयोज्यताम् लचीलतां च निर्वाहयितुं समर्थयति ।

स्थानिक-काल-आज्ञा सूक्ष्म-समायोजन-रूपरेखा

स्थानिक-काल-दत्तांश-पाठ-संरेखण

भाषाप्रतिमानानाम् स्थानिककालगतिशीलतां गभीरं अवगन्तुं सक्षमं कर्तुं पाठसामग्रीणां स्थानिककालदत्तांशस्य च संगतिः सुनिश्चित्य कुञ्जी अस्ति । एषा स्थिरता मॉडलं बहुविधदत्तांशप्रकारं एकीकृत्य समृद्धतरदत्तांशप्रतिपादनं जनयितुं समर्थयति । स्थानिककालक्षेत्रे सन्दर्भविशेषताभिः सह पाठसामग्रीसंयोजयित्वा आदर्शः न केवलं पूरकसूचनाः गृहीतुं शक्नोति, अपितु उच्चस्तरीयं, अधिकव्यञ्जकं शब्दार्थविशेषतां अपि निष्कासयितुं शक्नोति

एतत् प्राप्तुं, अयं पत्रः स्थानिककालनिर्भरताप्रतिनिधित्वस्य परियोजनायै हल्केन संरेखणमॉड्यूलं स्वीकरोति ।

प्रक्षेपणक्रिया रेखीयस्तरमापदण्डानां उपयोगेन क्रियते, यत्र dL बृहत्भाषाप्रतिरूपेषु सामान्यतया प्रयुक्तं गुप्तं आयामं प्रतिनिधियति । परिणामी प्रक्षेपणं निर्देशे विशेषचिह्नैः दर्शितं भवति: , ,..., , . अत्र, तथा च स्थानिककालसूचनायाः आरम्भं अन्तं च चिह्नितुं प्रयुक्ताः विशेषचिह्नानि सन्ति ते शब्दावलीविस्तारेण बृहत्भाषाप्रतिमानयोः समावेशयितुं शक्यन्ते ।

स्थानधारकः स्थानिककाललेबलं प्रतिनिधियति, यत् गुप्तस्तरस्य सदिश H इत्यस्य अनुरूपं भवति । एतस्याः तकनीकस्य उपयोगेन आदर्शः स्थानिककालनिर्भरतां चिन्तयितुं समर्थः भवति, यत् नगरीयवातावरणेषु स्थानिककालपूर्वसूचनाकार्यं कर्तुं तस्य क्षमतां महत्त्वपूर्णतया वर्धयति

समयः स्थानं च प्रॉम्प्ट् निर्देशाः

स्थानिक-काल-भविष्यवाणीं कुर्वन् काल-स्थानिक-दत्तांशयोः प्रमुख-शब्दार्थ-सूचना भवति, या विशिष्ट-स्थितौ स्थानिक-काल-प्रतिमानं गृहीतुं प्रतिरूपस्य कृते महत्त्वपूर्णा भवति

यथा, प्रातःकाले, चरमसमये च यातायातप्रवाहस्य महत्त्वपूर्णः परिवर्तनः भवति, वाणिज्यिक-आवासीयक्षेत्रेषु च यातायातस्य स्वरूपं भिन्नं भवति । अतः स्थानिककालपूर्वसूचनाकार्य्ये शीघ्रपाठरूपेण समयस्य स्थानस्य च सूचनानां परिचयः प्रतिरूपस्य भविष्यवाणीप्रभावे महत्त्वपूर्णतया सुधारं कर्तुं शक्नोति। एतां सूचनां संसाधितुं वयं पाठबोधस्य बृहत्भाषाप्रतिमानानाम् विशेषज्ञतायाः लाभं लभामः।

UrbanGPT इत्यस्य वास्तुकलायां वयं बृहत्भाषाप्रतिमानानाम् कृते निर्देशनिवेशरूपेण भिन्न-भिन्न-दानेतानां काल-दत्तांशं स्थानिकविवरणं च एकीकृत्य स्थापयामः । समयसूचना सप्ताहे तिथयः विशिष्टसमयबिन्दवः च आच्छादयन्ति, यदा तु स्थानिकसूचनायां नगरक्षेत्राणि, प्रशासनिकविभागाः, परितः रुचिबिन्दवः (POIs) च समाविष्टाः सन्ति, यथा चित्रे ३ दर्शितम् अस्ति

एतेषां विविधतत्त्वानां एकीकरणेन UrbanGPT जटिलस्थानिक-काल-पृष्ठभूमिषु विभिन्नक्षेत्राणां समयकालस्य च स्थानिक-काल-गतिशीलतां गभीररूपेण चिन्तयितुं अवगन्तुं च शक्नोति, येन शून्य-नमूना-स्थितौ तस्य तर्क-क्षमतासु सुधारः भवति

चित्र 3: समयस्य स्थान-जागरूकसूचनायाः च एन्कोडिंग्-करणं स्थानिक-समय-संकेत-निर्देशाः

बृहत्भाषाप्रतिमानानाम् कृते स्थानिककालनिर्देशस्य सूक्ष्म-समायोजनम्

स्थानिककालरूपेण पूर्वानुमानितपाठवर्णनानि जनयितुं बृहत्भाषाप्रतिमानानाम् (LLMs) सूक्ष्म-समायोजनाय निर्देशानां उपयोगं कुर्वन् द्वौ प्रमुखौ आव्हानौ स्तः एकतः स्थानिककालस्य पूर्वानुमानं प्रायः संख्यात्मकदत्तांशस्य आधारेण भवति यस्य संरचनाः प्रतिमानाश्च तेभ्यः शब्दार्थ-वाक्य-सम्बन्धेभ्यः भिन्नाः सन्ति येषु प्राकृतिकभाषा-संसाधने भाषा-प्रतिमानाः उत्तमाः सन्ति

अपरपक्षे, एलएलएम प्रायः प्रशिक्षणपूर्वपदे शब्दानां पूर्वानुमानार्थं बहुवर्गीकरणहानिकार्यस्य उपयोगं कुर्वन्ति, यस्य परिणामेण शब्दानां संभाव्यतावितरणस्य जननं भवति, यदा तु स्थानिककालपूर्वसूचनाकार्यं निरन्तरमूल्यानां उत्पादनस्य आवश्यकता भवति

एतासां समस्यानां निवारणाय UrbanGPT अभिनवं दृष्टिकोणं गृह्णाति । इदं प्रत्यक्षतया भविष्यस्य स्थानिककालमूल्यानां पूर्वानुमानं न करोति, परन्तु सहायकपूर्वसूचनाचिह्नानि जनयति । ततः एते चिह्नाः प्रतिगमनस्तरस्य माध्यमेन संसाधिताः भवन्ति यत् मॉडलस्य गुप्तस्तरप्रतिपादनं अधिकसटीकपूर्वसूचनेषु परिणमयति । एषः उपायः UrbanGPT इत्यस्मै स्थानिक-काल-अनुमानं अधिक-कुशलतया कर्तुं समर्थं करोति ।

उपर्युक्तसूत्रे भविष्यवाणीचिह्नस्य गुप्तं प्रतिनिधित्वं , द्वारा व्यक्तं भवति, यत्र LLMs शब्दावलीं विस्तारयित्वा भविष्यवाणीचिह्नस्य परिचयः कर्तुं शक्यते W1, W2, W3 च प्रतिगमनस्तरस्य भारमात्रिकाः सन्ति, [⋅,⋅] च स्प्लिसिंग् क्रिया अस्ति ।

प्रयोगं

शून्य नमूना भविष्यवाणी प्रदर्शन

एकस्मिन् एव नगरस्य अन्तः अदृष्टक्षेत्राणां पूर्वानुमानम्

क्षेत्रान्तरपूर्वसूचने वयं अन्येषु क्षेत्रेषु भविष्यस्य स्थितिं पूर्वानुमानं कर्तुं एकस्मिन् एव नगरस्य अन्तः कतिपयेभ्यः क्षेत्रेभ्यः आँकडानां उपयोगं कुर्मः ये प्रतिरूपेण न स्पृष्टाः सन्ति एतादृशेषु क्षेत्रान्तरपूर्वसूचनाकार्येषु प्रतिरूपस्य कार्यप्रदर्शनस्य गहनविश्लेषणस्य माध्यमेन वयं टिप्पणीं कुर्मः:

(1) उत्कृष्ट शून्य-नमूना भविष्यवाणी क्षमता। सारणी 1 मध्ये विद्यमानाः आँकडा: भिन्न-भिन्न-दत्तांशसमूहेषु प्रतिगमन-वर्गीकरण-कार्ययोः आधाररेखा-प्रतिरूपात् परं प्रस्तावितस्य प्रतिरूपस्य उत्तमं प्रदर्शनं प्रदर्शयन्ति UrbanGPT इत्यस्य उत्कृष्टं प्रदर्शनं मुख्यतया द्वयोः मूलतत्त्वयोः कारणम् अस्ति ।

i) स्थानिककालदत्तांश-पाठसंरेखण। भाषाप्रतिरूपस्य पाठबोधक्षमताभिः सह स्थानिककालसन्दर्भसंकेतानां संरेखणं प्रतिरूपस्य सफलतायै महत्त्वपूर्णम् अस्ति । एतत् एकीकरणं प्रतिरूपं स्थानिककालसंकेतेभ्यः संकेतितानां नगरीयगतिशीलसूचनानाम् पूर्णं उपयोगं कर्तुं समर्थं करोति, तथा च, बृहत्भाषाप्रतिरूपेभ्यः पाठ्यसन्दर्भस्य गहनबोधेन सह तस्य संयोजनं करोति, अतः शून्य-नमूनापरिदृश्येषु प्रतिरूपस्य भविष्यवाणीक्षमतानां विस्तारः भवति

ii) स्थानिककालनिर्देशानां सूक्ष्म-समायोजनम्। अनुकूलसमायोजनस्य माध्यमेन एलएलएम-जनाः निर्देशेषु प्रमुखसूचनाः अधिकप्रभावितेण अवशोषयितुं शक्नुवन्ति तथा च स्थानस्य समयस्य च कारकयोः जटिलसम्बन्धस्य विषये स्वस्य अवगमनं सुधारयितुम् अर्हन्ति स्थानिक-काल-निर्देश-सूक्ष्म-ट्यूनिङ्ग-स्थान-समय-निर्भरता-एन्कोडर्-योः संयोजनेन, UrbanGPT सफलतया सार्वभौमिकं हस्तांतरणीयं च स्थानिक-काल-ज्ञानं धारयति तथा च शून्य-नमूना-परिदृश्येषु सटीक-भविष्यवाणीं प्राप्नोति

(2) नगरीयशब्दार्थशास्त्रस्य गहनबोधः। नगरीयशब्दार्थशास्त्रे अन्तरिक्षस्य कालस्य च गुणानाम् गहनं अन्वेषणं भवति । बहुविधदत्तांशसमूहेषु प्रतिरूपस्य प्रशिक्षणेन विभिन्नसमयावधिषु भौगोलिकस्थानेषु च स्थानिककालगतिकीविषये तस्य अवगमनं वर्धते

तस्य विपरीतम्, पारम्परिकाः आधाररेखाप्रतिमानाः प्रायः स्थानिककालनिर्भरतायाः एन्कोडिंग् इत्यत्र अधिकं केन्द्रीभवन्ति, यदा तु क्षेत्राणां, अवधिषु, दत्तांशप्रकारस्य च शब्दार्थभेदानाम् अवहेलनां कुर्वन्ति UrbanGPT इत्यस्मिन् समृद्धशब्दार्थसूचनाः समावेशयित्वा वयं अदृष्टक्षेत्रेषु सटीकशून्य-शॉट्-अनुमानं कर्तुं तस्य क्षमतां महत्त्वपूर्णतया सुधारयामः ।

(3) विरलदत्तांशवातावरणेषु भविष्यवाणीप्रदर्शने सुधारः। विरलदत्तांशबिन्दुयुक्तेषु वातावरणेषु स्थानिककालप्रतिमानानाम् पूर्वानुमानं चुनौतीपूर्णं भवति, मुख्यतया यतोहि एतादृशेषु परिस्थितिषु आदर्शाः अतियोग्यतां प्राप्नुवन्ति उदाहरणार्थं, अपराधस्य पूर्वानुमानम् इत्यादिषु परिदृश्येषु प्रायः दत्तांशः विरलः भवति, येन आधाररेखाप्रतिरूपः पारक्षेत्रीयपूर्वसूचनाकार्येषु दुर्बलं प्रदर्शनं करोति तथा च न्यूनस्मरणदरः भवति, येन सूचितं भवति यत् अतियोग्यसमस्या भवितुम् अर्हति

एतस्याः आव्हानस्य निवारणाय अस्माकं प्रतिरूपं एकां अभिनवं रणनीतिं स्वीकुर्वति यत् स्थानिक-काल-शिक्षणं विशाल-भाषा-प्रतिरूपेण सह संयोजयति तथा च प्रभावी स्थानिक-काल-निर्देश-सूक्ष्म-समायोजन-पद्धत्या तस्य अनुकूलनं करोति एषः दृष्टिकोणः समृद्धशब्दार्थसूचनाः एकीकृत्य स्थानिककालदत्तांशं अवगन्तुं प्रतिनिधित्वं च कर्तुं प्रतिरूपस्य क्षमतां वर्धयति, येन विरलदत्तांशं अधिकप्रभावितेण नियन्त्रयितुं शक्यते तथा च भविष्यवाणीसटीकतायां महत्त्वपूर्णं सुधारं भवति

सारणी 1: पार-क्षेत्रीयशून्य-नमूना भविष्यवाणी परिदृश्यस्य कार्यप्रदर्शनतुलना

पार-नगर भविष्यवाणी कार्य

विभिन्ननगरेषु प्रतिरूपस्य भविष्यवाणीक्षमतायाः परीक्षणार्थं वयं प्रयोगात्मकसत्यापनार्थं शिकागो-टैक्सी-दत्तांशसमूहं चयनं कृतवन्तः । (ध्यायन्तु यत् प्रशिक्षणचरणस्य अस्य दत्तांशसमूहस्य उपयोगः न कृतः आसीत्)। यथा चित्रे 4 दर्शितं, परीक्षणपरिणामाः दर्शयन्ति यत् आदर्शः सर्वेषु समयबिन्दुषु तुलनात्मकविधिभ्यः उत्तमं प्रदर्शनं प्रदर्शयति, यत् पार-नगर-ज्ञान-हस्तांतरणे UrbanGPT इत्यस्य प्रभावशीलतां सिद्धयति।

स्थानिककाल-सङ्केतकस्य स्थानिक-काल-निर्देश-सूक्ष्म-समायोजन-प्रौद्योगिक्या सह संयोजनेन, आदर्शः स्थानिक-काल-नियमानाम् आकर्षणं कर्तुं शक्नोति ये सार्वभौमिकतायाः विशेषतायाश्च सह सह-अस्तित्वं कुर्वन्ति, तस्मात् अधिकसटीकानि भविष्यवाणयः कर्तुं शक्नुवन्ति तदतिरिक्तं, प्रतिरूपं भिन्न-भिन्न-भौगोलिक-स्थानेषु, समय-कारकेषु, ज्ञात-ज्ञान-हस्तांतरणेषु च व्यापकरूपेण विचार्य भिन्न-भिन्न-कार्यक्षेत्रेषु ऐतिहासिक-कालेषु च स्थानिक-काल-प्रतिमानं संयोजयितुं शक्नोति इयं व्यापकं स्थानिक-काल-अवगमनं पार-नगरीय-परिदृश्येषु सटीकशून्य-शॉट्-पूर्वसूचनानां कृते प्रमुख-अन्तर्दृष्टिः प्रदाति ।

चित्र 4: पार-नगरशून्य-नमूना भविष्यवाणी परिदृश्यस्य कार्यप्रदर्शनतुलना

विशिष्टानि पर्यवेक्षितानि भविष्यवाणीकार्याणि

अयं अध्यायः पूर्णतया पर्यवेक्षिते भविष्यवाणीवातावरणे UrbanGPT इत्यस्य कार्यप्रदर्शने केन्द्रितः अस्ति विशेषतया, वयं बृहत्कालविस्तारयुक्तस्य परीक्षणदत्तांशसमूहस्य उपयोगेन दीर्घकालीनस्थानिककालीनपूर्वसूचनाकार्येषु मॉडलस्य प्रभावस्य मूल्याङ्कनं कुर्मः। यथा, २०१७ तमस्य वर्षस्य आँकडानां उपयोगेन आदर्शस्य प्रशिक्षणं भवति, २०२१ तमस्य वर्षस्य आँकडानां परीक्षणं च भवति ।

परीक्षणपरिणामाः दर्शयन्ति यत् UrbanGPT दीर्घकालीनसमयावधिपूर्वसूचनाकार्येषु आधाररेखाप्रतिरूपात् महत्त्वपूर्णतया अधिकं प्रदर्शनं करोति, यत् दीर्घकालीनपूर्वसूचनाभिः सह व्यवहारं कुर्वन् तस्य उत्तमसामान्यीकरणक्षमतां प्रकाशयति। एतत् विशेषता नित्यं पुनः प्रशिक्षणस्य अथवा वृद्धिशीलस्य अद्यतनस्य आवश्यकतां न्यूनीकरोति, येन व्यावहारिक-अनुप्रयोग-परिदृश्यानां कृते प्रतिरूपं अधिकं उपयुक्तं भवति । तदतिरिक्तं प्रयोगात्मकपरिणामाः एतदपि पुष्टयन्ति यत् अतिरिक्तपाठसूचनायाः परिचयः न केवलं प्रतिरूपस्य कार्यक्षमतां न प्रभावितं करोति, अपितु कोलाहलं न प्रवर्तयति, यत् स्थानिककालपूर्वसूचनाकार्यं वर्धयितुं बृहत्भाषाप्रतिमानानाम् उपयोगस्य प्रभावशीलतां अधिकं सिद्धयति

सारणी 2: अन्ततः अन्तः पर्यवेक्षिते सेटिंग् मध्ये भविष्यवाणी कार्यप्रदर्शनमूल्यांकनम्

विच्छेदन प्रयोगः

(1) स्थानिककालसन्दर्भस्य महत्त्वम् : STC. यदा निर्देशपाठात् स्थानिककालसूचना निष्कासिता तदा आदर्शस्य कार्यक्षमतायाः न्यूनता अभवत् । एतत् काल-सूचनायाः अभावात् कारणं भवितुम् अर्हति, यत् आदर्शं केवलं स्थानिक-काल-सङ्केतकस्य उपरि अवलम्बते यत् काल-सम्बद्धानि विशेषतानि संसाधितुं भविष्यवाणी-कार्यं च कर्तुं शक्नोति तत्सह, स्थानिकसूचनायाः अभावः स्थानिकसहसंबन्धान् गृहीतुं प्रतिरूपस्य क्षमताम् अपि सीमितं करोति, येन विभिन्नेषु प्रदेशेषु स्थानिककालप्रतिमानानाम् विश्लेषणं अधिकं कठिनं भवति

(2) बहु-दत्तांशसमूहनिर्देशस्य सूक्ष्म-समायोजनस्य प्रभावः: बहु। वयं केवलं NYC-taxi dataset इत्यत्र मॉडलं प्रशिक्षयामः। अन्येषां नगरीयसूचकानाम् सूचनायाः अभावः नगरीयस्थानिककालगतिकीम् प्रकाशयितुं प्रतिरूपस्य क्षमतां सीमितं करोति । अतः आदर्शस्य प्रदर्शनं दुर्बलं भवति । विभिन्ननगरेभ्यः भिन्न-भिन्न-स्थानिक-काल-दत्तांशस्य एकीकरणेन, आदर्शः भिन्न-भिन्न-भौगोलिक-स्थानेषु स्थानिक-काल-प्रतिमानानाम् अद्वितीय-लक्षणं विकासं च अधिक-प्रभावितेण गृहीतुं शक्नोति

(3) अन्तरिक्ष-समय-सङ्केतकस्य भूमिका : STE. यदा स्थानिककालस्य एन्कोडरः प्रतिरूपात् निष्कासितः भवति तदा परिणामाः दर्शयन्ति यत् एषः अभावः स्थानिककालपूर्वसूचनाकार्येषु बृहत्भाषाप्रतिमानानाम् भविष्यवाणीशक्तिं महत्त्वपूर्णतया न्यूनीकरोति एतेन आदर्शपूर्वसूचनाप्रदर्शने सुधारणे स्थानिककालसङ्केतकानां प्रमुखभूमिका प्रकाशिता भवति ।

(4) निर्देश सूक्ष्म-समायोजने प्रतिगमन-स्तरः : T2P । वयं UrbanGPT इत्यस्मै स्वस्य भविष्यवाणीपरिणामान् प्रत्यक्षतया पाठस्वरूपेण आउटपुट् कर्तुं निर्देशयामः । मॉडलस्य दुर्बलप्रदर्शनं मुख्यतया प्रशिक्षणप्रक्रियायाः समये अनुकूलनार्थं बहुवर्गहानिकार्यस्य उपरि निर्भरतायाः कारणं भवति, यत् मॉडलस्य उत्पादनस्य संभाव्यतावितरणस्य स्थानिककालपूर्वसूचनाकार्यस्य कृते आवश्यकस्य निरन्तरमूल्यवितरणस्य च मध्ये असङ्गतिं जनयति एतस्याः समस्यायाः समाधानार्थं वयं प्रतिगमनपूर्वसूचकं प्रतिरूपे प्रवर्तयामः, यत् प्रतिगमनकार्येषु अधिकसटीकसंख्याकपूर्वसूचनाः जनयितुं प्रतिरूपस्य क्षमतायां महत्त्वपूर्णतया सुधारं करोति

चित्र 5: UrbanGPT विच्छेदन प्रयोग

आदर्श दृढता अध्ययन

अस्मिन् खण्डे वयं भिन्न-भिन्न-स्थानिक-काल-प्रतिमान-परिदृश्यानां नियन्त्रणे UrbanGPT इत्यस्य स्थिरतायाः मूल्याङ्कनं कुर्मः । वयं विशिष्टसमयावधिषु मूल्येषु परिवर्तनस्य परिमाणस्य (यथा टैक्सीयातायातस्य) आधारेण क्षेत्राणां भेदं कुर्मः । लघुतरविचरणस्य प्रायः अर्थः भवति यत् अस्मिन् प्रदेशे स्थिरः कालप्रकारः भवति, यदा तु बृहत्तरविचरणस्य तात्पर्यं भवति यत् अस्मिन् प्रदेशे अधिकविविधः स्थानिककालप्रतिमानः भवति, यत् व्यावसायिकरूपेण सक्रियक्षेत्रेषु अथवा सघनजनसंख्यायुक्तेषु क्षेत्रेषु सामान्यम् अस्ति

यथा चित्रे ६ दर्शितं, अधिकांशः प्रतिरूपाः न्यूनविचरणयुक्तेषु प्रदेशेषु उत्तमं प्रदर्शनं कुर्वन्ति यतोहि एतेषु प्रदेशेषु स्थानिककालप्रतिमानाः अधिकं सुसंगताः पूर्वानुमानीयाः च भवन्ति परन्तु आधाररेखाप्रतिरूपः अधिकविचरणयुक्तेषु क्षेत्रेषु दुर्बलतया कार्यं करोति, विशेषतः तेषु क्षेत्रेषु यत्र विचरणं (0.75, 1.0] अन्तरालस्य भवति, यत् अस्य कारणं भवितुम् अर्हति यत् आधाररेखाप्रतिरूपस्य एतेषु क्षेत्रेषु जटिलस्थानिककालप्रतिमानानाम् सटीकरूपेण अनुमानं कर्तुं कष्टं भवति शून्य-नमूना-परिदृश्यं नगरीय-प्रबन्धने, यथा यातायात-संकेत-नियन्त्रणं, सुरक्षा-प्रेषणं च, सघनजनसंख्यायुक्तानां वा चञ्चल-क्षेत्राणां सटीक-अनुमानं महत्त्वपूर्णं भवति UrbanGPT (0.75, 1.0] अन्तरालस्य महत्त्वपूर्णं कार्यप्रदर्शन-सुधारं दर्शयति, यत् शून्य-नमूनेषु तस्य प्रदर्शनं सिद्धयति .परिदृश्यानां पूर्वानुमानं कर्तुं शक्तिशालिनी क्षमता।

चित्र 6: आदर्श दृढता अध्ययन

case study

केस-अध्ययनं शून्य-नमूना-स्थानिक-काल-पूर्वसूचना-परिदृश्येषु भिन्न-भिन्न-बृहत्-स्तरीय-भाषा-प्रतिमानानाम् प्रभावशीलतायाः मूल्याङ्कनं करोति, तथा च परिणामाः सारणी 3 मध्ये दर्शिताः सन्ति शोधपरिणामाः दर्शयन्ति यत् विभिन्नाः प्रकाराः एलएलएम-समूहाः प्रदत्तनिर्देशानाम् आधारेण भविष्यवाणीं जनयितुं समर्थाः सन्ति, येन शीघ्र-निर्माणस्य प्रभावशीलतां सत्याप्यते

विशेषतः, ChatGPT मुख्यतया भविष्यवाणीं कुर्वन् ऐतिहासिकसरासरीषु निर्भरं भवति, यत्र स्पष्टतया स्वस्य भविष्यवाणीप्रतिरूपे कालगतं वा स्थानिकं वा आँकडानां समावेशः नास्ति यद्यपि विशिष्टकालखण्डानां क्षेत्राणां च विश्लेषणं कर्तुं समर्थः आसीत् तथापि ल्लामा-२-७०b संख्यात्मकसमयश्रृङ्खलासु आश्रयाणां नियन्त्रणे आव्हानानां सामनां कृतवान्, येन तस्य भविष्यवाणीनां सटीकता प्रभाविता अभवत्

तस्य विपरीतम्, क्लाउड्-२.१ ऐतिहासिकदत्तांशस्य सारांशं विश्लेषणं च अधिकप्रभावितेण कर्तुं समर्थः अस्ति, अधिकसटीकयातायातप्रवृत्तिपूर्वसूचनाः प्राप्तुं शिखरघण्टाप्रतिमानानाम् रुचिबिन्दुनाञ्च लाभं लभते

अस्माभिः प्रस्तावितं UrbanGPT स्थानिक-काल-सन्दर्भ-संकेतानां बृहत्-भाषा-प्रतिमानानाम् तर्क-क्षमताभिः सह स्थानिक-समय-निर्देश-सूक्ष्म-समायोजनस्य माध्यमेन निकटतया संयोजयति, यत् संख्यात्मक-मूल्यानां, स्थानिक-काल-प्रवृत्तीनां च पूर्वानुमानस्य सटीकतायां महत्त्वपूर्णतया सुधारं करोति एते निष्कर्षाः सार्वभौमिकस्थानिककालप्रतिमानानाम् आकर्षणे UrbanGPT इत्यस्य सम्भावनाम् प्रभावशीलतां च प्रकाशयन्ति, येन शून्य-नमूना-स्थानिक-काल-पूर्वसूचना सम्भवं भवति

सारणी 3: भिन्न-भिन्न-एलएलएम-द्वारा न्यूयॉर्क-नगरे सायकल-यातायातस्य शून्य-नमूना-पूर्वसूचना-प्रकरणम्

सारांशः तथा दृष्टिकोणः

अस्मिन् अध्ययने UrbanGPT इति प्रस्तावितं भवति, यत् विविधनगरीयवातावरणेषु उत्तमसामान्यीकरणक्षमतायुक्तं स्थानिककालीनबृहत्-परिमाणस्य भाषाप्रतिरूपम् अस्ति । स्थानिककालसन्दर्भसंकेतानां बृहत्भाषाप्रतिमानानाम् (LLMs) निर्बाधं एकीकरणं प्राप्तुं अस्मिन् पत्रे एकः अभिनवः स्थानिककालीननिर्देशः सूक्ष्म-समायोजनपद्धतिः प्रस्ताविता अस्ति एषः दृष्टिकोणः UrbanGPT इत्यस्मै विविधनगरीयदत्तांशयोः सार्वभौमिकं स्थानान्तरणीयं च स्थानिककालप्रतिमानं ज्ञातुं क्षमताम् अयच्छति । व्यापकप्रयोगात्मकविश्लेषणस्य माध्यमेन UrbanGPT आर्किटेक्चरस्य तस्य मूलघटकस्य च कार्यक्षमता प्रभावशीलता च सिद्धा भवति ।

यद्यपि वर्तमानपरिणामाः उत्साहवर्धकाः सन्ति तथापि भविष्ये संशोधनेषु केचन आव्हानाः अतिक्रान्तव्याः सन्ति । प्रथमं, वयं नगरीयगणनाक्षेत्रेषु विस्तृतपरिधिषु UrbanGPT इत्यस्य अनुप्रयोगक्षमतां वर्धयितुं अधिकप्रकारस्य नगरीयदत्तांशस्य सक्रियरूपेण संग्रहं करिष्यामः । द्वितीयं, UrbanGPT इत्यस्य निर्णयतन्त्रस्य अवगमनं तथैव महत्त्वपूर्णम् अस्ति। यद्यपि कार्यप्रदर्शनस्य दृष्ट्या आदर्शः उत्तमं प्रदर्शनं करोति तथापि आदर्शपूर्वसूचनानां व्याख्याक्षमतां प्रदातुं भविष्यस्य संशोधनस्य कृते अपि प्रमुखा दिशा अस्ति । भविष्यस्य कार्यं UrbanGPT इत्यस्य भविष्यवाणीपरिणामानां व्याख्यानं कर्तुं सक्षमं कर्तुं समर्पितं भविष्यति, अतः तस्य पारदर्शिता, उपयोक्तृविश्वासः च वर्धते।

सन्दर्भाः : १.

https://arxiv.org/abs/2403.00813