2024-08-15
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
मिङ्ग्मिन् आओफेइ मन्दिरात् आगच्छति
Qubits |.सार्वजनिक खाता QbitAI
एकस्मिन् एव समये २०,००० शब्दान् जनयन्तु, बृहत् मॉडल् आउटपुट् अपि रोल अप भवति!
Tsinghua & Zhipu AI इत्यस्य नवीनतमेन शोधेन GLM-4 तथा Llama-3.1 इत्येतयोः उत्पादनदीर्घता सफलतया वर्धिता अस्ति ।
अस्याः एव समस्यायाः अन्तर्गतं उत्पादनपरिणामः प्रत्यक्षतया १८०० शब्दात् ७८०० शब्दपर्यन्तं वर्धितः ।४ वारम्。
भवद्भिः ज्ञातव्यं यत् बृहत् मॉडल्-मध्ये वर्तमान-जनन-दीर्घता सामान्यतया 2k इत्यस्मात् न्यूना भवति । एतस्य प्रभावः सामग्रीनिर्माणे, प्रश्नोत्तरीकरणे इत्यादिषु भवति, येन आदर्शेन प्रश्नानाम् अपूर्णाः उत्तराणि, सृजनशीलता च न्यूनीभवति
अस्य शोधस्य सहनेतृत्वं झीपु एआइ इत्यस्य संस्थापकौ, सिङ्घुआ विश्वविद्यालयस्य प्राध्यापकाः च ली जुआन्जी, ताङ्ग जी च कृतवन्तौ ।
कागदं कोडं च GitHub इत्यत्र मुक्तस्रोतं कृतम् अस्ति ।
केचन नेटिजनाः प्रथमं पूर्वमेव तस्य अनुभवं कृतवन्तः। LongWriter-llama3.1-8b १०,००० शब्दानां पाठं "रोमन साम्राज्यस्य पतनस्य इतिहासः" उत्पन्नं कर्तुं शक्नोति, यत् MacBook Pro 2018 (32GB) इत्यत्र चालयितुं शक्यते ।
आउटपुट् सामग्री अतीव सटीका अस्ति तथा च A++ इति पुरस्कृतं कर्तुं शक्यते ।
९B मॉडल् १०,०००-शब्दानां उत्पादनं सम्पादयति
अस्मिन् संशोधने मुख्यतया कार्यस्य त्रयः पक्षाः समाविष्टाः सन्ति ।
प्रथमं शोधकर्तारः LongWrite-Ruler इति परीक्षणसाधनं निर्मितवन्तः । बहुविधबृहत्माडलस्य परीक्षणेन ते ज्ञातवन्तः यत् सर्वे आदर्शाः जनयन्ति२००० शब्दाधिकाःपाठेन सह कष्टानि।
बृहत् मॉडलैः सह उपयोक्तृ-अन्तर्क्रिया-लॉग्स् इत्यस्य अग्रे विश्लेषणं कृत्वा शोधकर्तारः पश्यन्ति यत् उपयोक्तृ-अनुरोधानाम् १% तः किञ्चित् अधिकं स्पष्टतया उल्लिखितः अस्ति२००० तः अधिकानि शब्दानि जनयितुंपाठ।
एतत् कर्तुं ते सुपरवाइज्ड् फाइन-ट्यूनिङ्ग् (SFT)-पदे प्रयुक्तं प्रतिरूपं परिवर्तयन्ति स्मदत्तांशसमूहस्य अधिकतमं उत्पादनदीर्घता。
एतत् ज्ञातं यत् मॉडलस्य अधिकतमं उत्पादनदीर्घता SFT दत्तांशसमूहे अधिकतमनिर्गमदीर्घतायाः अनुरूपं भवति ।सकारात्मकः महत्त्वपूर्णः सहसंबन्धः。
अतः निष्कर्षः भवति यत् विद्यमानानाम् आदर्शानां उत्पादनदीर्घता मुख्यतया यतः...SFT-दत्तांशसमूहे दीर्घ-निर्गम-नमूनानि अनुपलब्धाः सन्ति。
यदि मॉडलेन पूर्वप्रशिक्षणपदे दीर्घतराः अनुक्रमाः दृष्टाः अपि, SFT चरणे दीर्घपाठनमूनानां अभावः अद्यापि उत्पादनदीर्घतां प्रभावितं करिष्यति
एतां सीमां दूरीकर्तुं शोधकर्तारः प्रस्तावम् अयच्छन्एजेण्टलिखें。
इदं एजेण्ट्-आधारितं पाइपलाइनम् अस्ति ।
अत्यन्तं दीर्घपाठजननकार्यं बहुषु उपकार्येषु विघटनं कर्तुं शक्नोति, येषु प्रत्येकं तस्य एकं खण्डं सम्पादयति ।
विशिष्टा प्रक्रिया अस्ति यत् AgentWrite प्रथमं उपयोक्तृनिर्देशाधारितं विस्तृतलेखनयोजनां विकसयति योजनायां प्रत्येकस्य अनुच्छेदस्य मुख्यसामग्रीबिन्दवः लक्ष्यसङ्ख्या च सन्ति । योजनानुसारं AgentWrite क्रमेण प्रत्येकस्य अनुच्छेदस्य सामग्रीं जनयितुं मॉडलं प्रेरयति ।
AgentWrite इत्यस्य आधारेण, दलेन GPT-4o इत्यस्य उपयोगेन 6,000 दीर्घनिर्गमस्य SFT आँकडानां निर्माणं कृतम्, यस्य उत्पादनदीर्घता 2k तः 32k शब्दपर्यन्तं भवति, येन LongWriter-6k इति आँकडासमूहः निर्मितः तथा प्रशिक्षणप्रक्रियायां एतत् दत्तांशं योजयन्तु।
पद्धतेः प्रभावशीलतायाः सत्यापनार्थं दलेन LongBench-Write इति अपि प्रस्तावितं । अस्मिन् उपयोक्तृलेखननिर्देशाः विविधाः सन्ति, तथा च निर्गमदीर्घतायाः विनिर्देशाः ०-५०० शब्दाः, ५००-२००० शब्दाः, २०००-४००० शब्दाः, ४००० शब्दाधिकाः च सन्ति
मूल्याङ्कनपरिणामाः दर्शयन्ति यत् AgentWrite इत्यस्य उपयोगानन्तरं मॉडल् आउटपुट् दीर्घता महतीं वर्धते ।
प्रत्यक्षप्राथमिकता अनुकूलनस्य (DPO) माध्यमेन GLM-4-9B मॉडल् मध्ये उत्तमं प्रदर्शनं प्राप्नोति ।
द्रुतहस्तयुक्ताः नेटिजनाः पूर्वमेव तस्य परीक्षणे अग्रणीः अभवन् ।
रेडिट् इत्यत्र एकः नेटिजनः LongWriter-llama3.1-8b इत्यनेन रोमन साम्राज्यस्य पतनस्य इतिहासं जनयितुं पृष्टवान् अस्मिन् २२ निमेषाः (हार्डवेयर् इत्यस्य आधारेण) अभवन् तथा च प्रति सेकण्ड् औसतेन ३.३४ टोकन्स् उत्पन्नाः ।
उत्पन्ना सामग्री तुल्यकालिकरूपेण सूत्रात्मका भवति, भिन्नप्रश्नानां उत्तरस्य संरचना, लयः च समाना भवति ।
अपेक्षया, एषः उत्तमः आरम्भः अस्ति, सुधाराः च स्पष्टाः सन्ति।
शोधदलेन इदमपि उक्तं यत् भविष्ये प्रतिरूपस्य उत्पादनदीर्घतां उत्पादनगुणवत्तां च अधिकं विस्तारयिष्यति, तथा च जननगुणवत्तायाः त्यागं विना दक्षतायां कथं सुधारः करणीयः इति अध्ययनमपि आरभेत।
सन्दर्भलिङ्कानि : १.
https://github.com/THUDM/दीर्घलेखक
नवीनतमवार्तासूचनाः संग्रह्य व्यवस्थित्य सर्वेषां कृते निःशुल्कं पश्यन्तु।
