nuntium

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

AIxiv columna columna est ubi Machina Cordis contenta academica et technica publicat. Praeteritis his annis, Cor Machinae AIxiv columnam plus quam 2.000 reportavit, tecta laboratatoria a maioribus universitatibus et societatibus circum orbem terrarum, efficaciter promovens permutationes academicas et disseminationem. Si egregium opus habes quod communicare vis, libenter senties nos conferendi vel nuntiandi contactum. Submissio inscriptio: [email protected];

Hoc opus confectum est per turmam IEEE Socii Chen Enhongi Nationalis Key Laboratorii Cognitivae Intelligentiae in Universitate Scientiarum et Technologia Sinarum et Arcae Laboratorii Noe Huawei. Manipulus professor Chen Enhong in campis fodiendi et machinae eruditionis notitiarum penitus implicatus est, et multas chartas in diariis et colloquiis edidit. Arca Noe Laboratorium Huawei laboratorium est in basic investigatione de intellegentia artificiali versatum. Pari emphasis in theoretica investigatione et applicatione innovationis notioni adhaeret et ad innovationem et progressionem technologicam in campo intelligentiae artificialis committitur.

Data est lapis angularis successus exemplorum linguarum magnarum (LLMs), sed non omnes notitiae ad exemplar discendi utile est. Intuitive, summus qualitas exempla exspectatur in docendo LLM efficaciam habere meliorem. Ergo methodi existentes plerumque intendunt qualitatem substructio notitia lectio. Plerique autem hae methodi varias notitias exempla independenter aestimant, implicatos effectus coniunctoriales inter exempla neglecta. Ut patet in Figura I, etsi unumquodque specimen qualitatem perfectam habet, coniunctio tamen suboptimalis esse potest propter mutuas notitias nugationem vel inconstantiam. Quamvis subset qualitas fundata ex omnibus tribus qualitatibus exempla consistat, cognitio quae encode est actu redundans et repugnantia. E contra, alia notitia subset constans ex pluribus inferioribus qualitate relativis, sed diversa exempla plura afferre potest in docendo LLM. Ergo, qualis-substructio notitia lectionis non plene convenit cum meta maxima LLM cognitionis.

Articulus hic intendit ut relationem intrinsecam inter LLM perficiendi et datam electionem revelare studet. Compressionis notitiae natura LLM inspirata, legem entropy invenimus, quae LLM ad effectum deductionis datae compressionis coniungit ac detrimentum praecedentium disciplinae exemplaribus gradibus, quae respective refert gradum informationis redundantiae notitiarum statutorum et effectus inhaerens. of LLM on the data set. Per derivationem theoricam et aestimationem empiricam, invenimus exemplar effectus inverse se comparare ad comprimendum rationem institutionis datae, quae plerumque in detrimento disciplinae inferioris consequitur. Ex Inventionibus legis entropiae, proponimus modum efficacem et generalem notarum selectarum formandi LLM, nomine ZIP, quae ad prioritizandas notitias copiae cum humilibus compressionibus venditis studet. Numeri avide varias notitias in multiplicibus gradibus eligit, tandem cum bonae diversitatis notitia subset obtinens.

Team: Manipulus Chen Enhong apud Nationale Key Laboratorium Cognitive Intelligentiae apud Universitatem Scientiae et Technologiae Sinarum, Huawei's Arcam Laboratorium Noah

Paper link: https://arxiv.org/pdf/2407.06645

Code link: https://github.com/USTC-StarTeam/ZIP

figure 1

ius entropy

Nos analysin theoricam relationis inter pressionem datam et LLM perficiendi agimus. Intuitive, rectitudo et diversitas disciplinae notitiae effectum finalis exemplaris afficiet. Eodem tempore, LLM effectus suboptimal esse potest si notitia certaminum inhaerens graves habet vel si exemplar perspecta habet notitiae in notitia encoded. Ex his suppositis, LLM designamus observantiam ut Z, quae expectatur affici;

Data compressionis ratio R: Intuitive, data ratio pressionis inferioris positae indicat densitatem altiorem notitiarum.

Disciplina amissa L: Indicat exemplar an notitia difficilis sit meminisse. Sub eodem turpi exemplari, princeps disciplinae iactura solet ob strepitum praesentiae vel inconstantiae notitiae in notitia positae.

Data constantia C: Data constantia relucet ab entropy probabilitatis sequentis tesserae datae praecedenti situ. Superior notitia constantiae plerumque detrimentum disciplinae inferioris inducit.

Mediocris notitia qualitatis Q: reflectitur mediocris qualitas exempli graduum notitiae, quae per varias rationes obiectivas et subiectivas metiri potest.

Ex lege Entropy, duas conclusiones proponimus:

Si C ut constans tractatur, disciplina iacturae directe a ratione compressionis afficitur. Exemplar igitur effectus a ratione compressionis refrenatur: si data compressionis ratio R altior est, Z plerumque deterior est, quod in experimentis nostris verificabitur.

In eadem ratione compressionis, superior disciplinae detrimentum significat inferioris notitiae constantiam. Ergo scientia effectiva per exemplum cognoscenda potest esse magis determinata. Hoc adhiberi potest praedicere LLM exsecutionem in diversis data cum similibus compressione ratione et qualitatis specimen. Applicationem huius rationis in usu postea ostendemus.

Numeri: delectu algorithmus amet leve notitia

Sub duce entropiae legis proposuimus ZIP, delectu methodum datam, quae exempla notitiarum per compressionem datam eligit, studens augere quantitatem efficax notitiarum sub limitata institutione datarum rerum. Causae efficientiae, adoptamus iterativa multi-scaena avari paradigma ad solutiones approximatas efficaciter obtinendas cum rates compressione relative humilis. In unaquaque iteratione, primum scaena lectionis globalis utimur, ut exempla candidatorum piscinam cum ratione pressionis humilis eligeremus ut exempla magna cum notitia densitatis inveniamus. Adhibemus ergo scaenam loci rudis delectu ad eligo numerum minorum exemplorum, quae infimum redundantiam habent cum exemplis delectis. Demum utimur scaena lepidi loci delectu ad minuendam similitudinem inter exempla accedendi. Processus supradictus usque dum sufficientes notitias obtinet.

Eventus experimentalis

1. Efficacia lectionis ZIP algorithmus pro diversis LLMs et in diversis gradibus LLM dam

Collatis diversae notitiae SFT delectu algorithmorum, exemplar instructum in ZIP delectu data ostendit utilitates in effectu et etiam in efficientia superior est. Vide infra mensam pro eventuum propriorum;

Propter exemplar-independentem et contentum insensibilem indolem cursualis, etiam applicari potest ad electionem datae in scaena potioris noctis. Notitia selecta ZIP etiam magnas utilitates ostendit. Vide infra mensam pro eventuum propriorum;

2. Experimentalis verificationis de Entropy lege

Ex experimento delectu data SFT, multiplices curvas relationes aptamus secundum exemplar effectus, notitia compressionis rate, et amissio exemplar in praecedentibus gradibus disciplinae. Eventus in Figura 2 et Figura 3, monstrantur, ex quibus artam inter tria elementa notare possumus. Imprimis, humilis pressio data plerumque melius exemplum consequitur affert. Hoc est, quia processus discentium de LLMs ad compressionem informationem maxime refertur et sic compressor pretiosior. Simul observari potest, rationes compressiones inferiores comitari solere cum superiorum disciplinarum detrimenta. Hoc est, quia notitia difficilis comprimendi maiorem cognitionem fert, ut maiora provocationes pro LLM trahant cognitionem in ea contentam.

Figura II Mistral-7B

Figura III Llama-3-8B

3.Practical application of Entropy law

Applicationem legis entropiae praebemus ut incrementales LLM notitias in missionibus realibus praebendas dirigat. In hoc munere missionis, moles notitiarum disciplinarum relative stabilis manet, et modo parva portio notitiarum modificatur.Eventus in Figura 4, ubi

V data sunt versiones quae paulatim incrementaliter renovantur. Ob secreto requisita, solum relativum exemplarium effectuum sub diversis rates compressionis praebetur. Secundum legem entropy praedictiones, posito quod notitia qualitatis signanter non minuit post singulas incrementales renovationes, expectari potest exemplar effectus emendare sicut in notitia pressionis rate decrescit.Hoc vaticinium congruit cum notitia versionis in figura

Eventus constantes sunt.Sed data version

Inusitatam auget damnum exhibet ac compressionem notitiarum, quae indicant potentiale exemplar ob turpitudinem perficiendi ob imminutam constantiam in notitia disciplinae. Hoc vaticinium ulterius confirmatum est per exemplum subsequentis aestimationis perficiendi. Ideo entropy lex adhiberi potest ut principium ducens ad exercitationem LLM ad praedicendum periculum potentiale LLM disciplinae defectus sine forma adhibitis in plena notitia posita usque ad concursum. Hoc magni momenti est magno sumptu disciplinae LLMs.

Figure 4