2024-08-15
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Mingmin venit ab Aofei Templum
Qubits |
Genera 20000 verba in unum eunt, et exemplar magnum output etiam involutum est!
Aliquam investigationes per Tsinghua & Zhipu AI feliciter augevit output longitudinem GLM-4 et Llama-3.1.
Sub eadem problemate, output effectus protinus ab 1800 verbis ad 7800 verbis auctus est.IV temporibus。
Scias hodiernam generationem longitudinis exemplorum magnarum generaliter esse infra 2k. Hoc impulsum habet in contentis creationibus, interrogatione respondente, etc., quae potest ad quaestiones imperfectas respondere per exemplar et in creativity reduci.
Investigatio cooperata est a Li Juanzi et Tang Jie, fundatoribus Zhipu AI et professoribus in Universitate Tsinghua.
Charta et codice aperta sunt in GitHub.
Quidam reticulati iam experti sunt. LongWriter-llama3.1-8b potest generare textum 10,000-verborum "Historia Declinationis Imperii Romani", quod currere potest in MacBook Pro 2018 (32GB).
Contentum output est accurate et potest A + consideratum est.
9B exemplar tractat 10,000-verbi output
Investigatio haec maxime tria includit operis aspectus.
Primum, investigatores instrumentum probationis aedificaverunt, LongWrite-Reger. Probantes exempla multa et magna, omnia exempla generare inveneruntPlus quam MM verbadifficultatibus cum textu.
Praeterea usorum commercium cum magnis exemplaribus examinare, investigatores invenerunt sicut supra 1% usoris petitiones diserte memoratas.Ad generandum plus quam MM verbatext.
Ad hoc faciendum, exemplum in scaena praefecti (SFT) scaenae adhibitum mutaveruntMaximum output longitudo notitia paro。
Inventum est maximam output longitudinis exemplaris congruere cum maximo output longitudinis in SFT dataset.significant positivum ratione。
Unde concluditur quod exempla existentes in output longitudinis maxime limitantur, quiaLong output exemplaria desunt in SFT dataset。
Exemplar, si longiores sequentes in scaena praecomprehensibili viderit, defectus longi textus exemplorum in scaena SFT adhuc in output longitudinis afficiet.
Ad hanc limitationem superandam, inquisitores proposueruntAgentWrite。
Hoc est agens-substructio pipeline.
Permittit retexere operas generationis textus longissimas in subtasks multiplices, quarum singulae partem eius tractant.
Processus specificus est quem AgentWrite primum accuratam scripturae rationem in usoris instructionibus enucleat. Secundum consilium, AgentWrite continue inducit exemplar ad contenta cuiusque paragraphi generandam.
Ex AgentWrite, manipulus GPT-4o usus est ad 6000 longi output SFT datas generandi, cum output longitudinis ab 2k ad 32k verba formans, data copia LongWriter-6k formans. et haec notitia ad processum disciplinae adde.
Ad efficaciam methodi comprobandam, manipulus etiam LongBench-Scribe proposuit. Varios in usoris mandatorum scripto continet, et inpositae notationes longitudinis sunt 0-500 verba, 500-2000 verba, 2000-4000 verba, et plusquam 4000 verba.
Proventus aestimatio ostendunt exemplar output longitudo signanter augeri postquam AgentWrite usus est.
Per optimizationem directam potiorem (DPO), GLM-4-9B optimam observantiam inter exempla consequitur.
Instauratis manibus celeris iam tentando plumbum.
Retizen on Reddit quaesivit LongWriter-llama3.1-8b ad generandam historiam declinationis Imperii Romani.
Contentum generatum relative formulaicum est, et structura et numerus respondendi diversis quaestionibus similes sunt.
Neglegens, bonum initium et meliora sunt manifesta.
Turma investigationis etiam affirmavit se ulterius dilataturum esse output longitudinis et output quale exemplaris in futuro, et etiam studere incipiet quomodo efficientiam meliorem sine generationis qualitate immolat.
Relationes nexus:
https://github.com/THUDM/LongWriter
Colligere et ordinare notitias novissimas nuntiorum et liberam facere omnibus reprimendis.
