nuntium

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Nova Sapientia Report

Editor: Editorial Department

[Introductio ad Novam Sapientiam]. Adversus gradatim augendo parametri scalam LLM, tincidunt et investigatores sine H100 ascenderunt multis modis ut pro ea componantur, et technologia "quantitas" una ex illis est. Hic dux visualis variis exemplis utitur ad summatim principales notiones ac modos "quantificationis" ramosus.

Magnae exempla linguae (LLMs) saepe nimis magnae sunt ut in odio gradus consumendi currunt. Exempla haec plus quam billions parametri habere possunt et saepe GPUs magna memoria requirunt ad processum consequentiae accelerandum.

Ideo magis magisque investigatio intendere coepit quam recusare exemplar, utpote methodos emendandi vel adaptatores utendi. Una praecipuarum artium in hoc campo dicitur quantitas.

ML ingeniarius Maarten Grootendorst scripsit quoddam commentarium diarii specifice inducit technologiam quantitatis in contextu sermonis exemplaris et pervestigationes notiones cognatas singillatim per methodos visuales adiuvandos ut ad intuitivam technologiae intelligentiam aedificandam.

In hoc blog post, Martin varias methodos explorat, usus casus et principia quantitatis.

Mensa contentorum et contentorum articuli in figura infra monstrantur. Maxime duos modos quantitatis post-disciplinae (PTQ) et quantitatis consciae institutionis (QAT) inducit directe ad symmetriam quantitatis partem;

Pars prima: Quaestio "Problema" de LLM

"Magnae linguae exempla" magna sunt secundum numerum parametri exemplarium, qui plerumque billions in magnitudine (ponderum maxime).

Sumptus repositi non solum sunt harum parametri satis altae, sed quantitas calculi in consequenti periodo etiam magna est.

Per consequentiam, valor activatio educitur ex input et pondus, quo maior numerus ponderum, eo maior valor activationis.

Ergo billions valorum quam efficacissime quam maxime optamus repraesentare, ita spatium extenuandum ut parametri copia requiratur.

In principio situs et explora quomodo valores ante optimizing repraesentantur.

Quomodo repraesentare valores numerorum

Valores numerorum plerumque reponuntur ut punctum numeri fluitantis (vel simpliciter supernatet): numerus positivus vel negativus cum puncto decimali.

Valores hi digiti binarii in unaquaque parte repraesentantur.

Vexillum IEEE-754 describit quomodo digiti in singulis digitis valorem specificum significant.

Hae tres partes componi possunt ad valorem repraesentativum computandum in statuto valorum plurium;

Quo plures digiti adhibiti, accuratior valor numeralis est.

memoria limit

Plures numeri in promptu sunt, non solum valorem exactiorem, sed etiam ampliorem extensionem valorum qui repraesentari possunt.

Aliquantum numeri et repraesentatio, distributio valorum qui repraesentari possunt, dynamica pars appellatur, et distantia inter duos valores adjacentes praecisio appellatur.

Elegans huius repraesentationis notum est quod computare possumus quantum memoria fabrica requirit ad datum valorem congregem.

Cum quisque byte in memoria continet 8 particulas, possumus formulam fundamentalem plurium punctorum numerorum fluitantium creare -

In applicationibus realibus exstant plures factores quae quantitatem graphics/memoriae, quae per consequentiam requiruntur, afficiunt, sicut contextus amplitudo et exemplar architecturae.

Nunc finge nos habere exemplar cum 70 miliardis parametris. Plurima exempla ipsae repraesentantur utentes 32-bit in puncto numerorum fluitantium (plerumque plenam praecisionem vocant), quae 280GB memoriam requirit ut exemplar oneratis.

Sed si omnes parametri possunt exprimi ut punctum numerorum 16-bit fluctuans, magnitudo memoria inquisita uno tempore directe reduci potest.

Valde ergo venustum est numerum repraesentationum ambitum exemplarium obscurare (non solum ad coniecturam, sed etiam ad formandum).

Sed aditus non sine dispendio venit. Accuratio exemplaris typice decrescit sicut numerus repraesentationum minutorum decrescit inde in accurationem imminutam.

Numerum digitorum minuere volumus ad valorem repraesentandum adhibitis accurate servatis... Hic est ubi quantitatis artes in manus veniunt.

Pars II: Introductio ad Quantitionem

Nunc scimus propositum quantitatis est reducere accuratam parametri exemplar ex altioribus inflexionibus (qualis 32-bit numerus punctum fluctuans) ad frenum latitudinis (ut 8-bit integros).

Cum minuere numerum frenorum repraesentantes parametros originales, solet comitatio alicuius praecisionis (granularitatis).

Ad hunc effectum intuitive magis, foto colore analogice uti possumus. Exempli gratia, imaginem quamlibet (reliquit), sed tantum 8 coloribus utere.

Nota quod auctum crustulum magis "graneum" quam originale spectat.

Similiter praecipuum quantitatis propositum est reducere numerum frustularum (colorum) ad parametri originalis repraesentandos, servata quam accuratissime parametri originalis.

Communia data genera

Primum, inspiciamus genera notitias communes et ictum utendi illis pro 32-bit (plena exactione vel FP32 appellata) repraesentationem.

FP16

Primum est exemplum eundi ab 32-bit ad 16-bit (dimidiam praecisionem vel FP16 vocatam) punctum fluctuantem;

Ordinatio valorum possibilium pro FP16 multo minor est quam illa pro FP32.

BF16

Ad similitudinem numericae in originali FP32 obtinendam, bfloat 16 inducta est ut genus "FP32 mutilum";

BF16 totidem frenis utitur ac FP16, sed particulam exponentialem addit, ut latius valorum obtinere possit et saepe in alta doctrina adhibetur.

INT8

Cum numerum frenorum amplius minuis, repraesentatio propius ad numerum fit quam punctum fluctuetur. Exempli gratia procedentes ab FP32 ad INT8, quae tantum habet 8 frusta, tantum 1/4 primi numeri calcaria;

Quoties numerus frenorum minuitur, destinatio facienda est ad "comprimendum" repraesentationem originalem FP32 in pauciores particulas.

In actu autem operationis non oportet nos totam extensionem FP32 describendam [-3.4e38, 3.4e38] in INT8. Modo opus est ut viam invenias ad describendam notitiarum amplitudinem parametri actualis exemplaris in INT8.

Communia compressio/maculandi modi includunt quantitatem symmetricam et quantitatem asymmetricam, quarum utraque sunt destinata lineari.

Quid deinde dicemus, modus quantitatis ab FP32 ad INT8.

Quantitas symmetrica

In quantitatis symmetrica, punctum fluitantis primigenii valoris provisus est ad commensurationem symmetricam, quae nulla est in spatio quantitatis, cum nihilo ut medium extensionis ante et post quantitatis.

Hoc significat originale nulla in spatio fluitantis prorsus nulla est post spatium quantitatis deformatum.

Exemplum quantitatis symmetricae typicum est absolutum maximum (absmax) quantitatis.

In indice valorum, summum valorem absolutum (α) accipimus pro ambitu ad destinata lineari- nem facienda.

[-127, 127] significat extensionem restrictam, et est extensio libera [-128, 127], secundum quantitatis modum.

Cum haec tabula linearis in nulla re sitas est, formula simplex est.

Primum calculare factorem (s) utens hac formula:

- b est numerus bytes quantitare volumus (8).

- α summa est valorem absolutum

Utimur ergo s quantitare initus x:

Ut in figura supra demonstratum est, maximum valorem absolutum α est 10.8.

Si valores originales FP32 restituere vis, etiam factores scalae ante computatae pro inversa quantitate uti potes.

Primum quantitare, deinde quantitare ad pristinum valorem restituendum.

Videre potes quosdam valores, ut 3.08 et 3.02, utrumque 36 esse cum quantitatis INT8. Et ideo cum diminuti fuerint retro ad FP32, amittunt subtilitatem, nec amplius distinguuntur.

Haec differentia inter valorem primigenium et quantitatis valorem inversam vocatur error quantitatis. Fere, quo minus quantitatis eventum frena habet, eo plus erroris est.

asymmetrica quantitatis

Dissimile quantitatis symmetricae, quantitas asymmetrica non est symmetria zephyris-sitas. Sed tabulas minimas (β) et maximas (α) valores puncti fluitantis ad minimum et maximum valores quantitatis range, respective.

Modus hic explorandi vocatur nulla quantitatis punctum.

Vide quomodo positio 0 movit. Quam ob rem vocatus est quantitas asymmetrica. In ambitu [-7.59, 10.8], maximi et minimi valores inter se distantes ab 0 sunt.

Ob cinguli puncti positi nullae computare debemus punctum ponatur in INT8 range ad destinata lineari facienda. Ut ante, etiam habemus calculare factorem (s), sed differentia in INT8 [-128, 127].

Hoc frenum complicatum est sicut punctum zerum (z) computari debet in INT8 range ad pondera movenda.

Ut ante, formulam impleamus:

Ut quantitatem quantitatis ab INT8 ad FP32 describamus, necesse est uti factore libra prius calculi (s) et punctum nullius (z).

Aliter dequantizationis simplex est;

Cum quantitatem symmetricam et asymmetricam simul ponimus, cito videre possumus differentiam duorum modorum;

In pictura supra, videre possumus notam centri zerum quantitatis symmetriae et offset quantitatis asymmetricae.

Range mapping et detondent (Clipping)

In priore exemplo perscrutati sumus quomodo describamus amplitudinem valorum in dato vectore ad repraesentationem humilem. Dum haec describi potest totam extensionem valorum vectoris, unum maius detrimentum habet, nempe manor.

Finge te vectorem habere continens valores sequentes:

Valor, qui multo maior quam ceteri omnes, outor existimari potest. Si totam extensionem vectorum describimus, omnes parvae valores ad eandem repraesentationem ignobilem faciendam erunt et suam proprietatem amittunt;

Haec est methodus absmax adhibita.Idem fit in quantitate asymmetrica sine tonsura

Sed certa bona eligere possumus. Clipping significat variam dynamicam extensionem valorum originalium collocare ut omnes ambages eiusdem pretii ponantur.

In exemplo infra, manuale dynamicam extensionem ponimus [-5, 5], omnesque valores extra hunc ambitum ad -127 vel 127 destinati erunt, cuiuscumque valoris eorum est;

Praecipua utilitas huius accessionis est quod quantitas erroris non-manentium signanter minuitur. Sed error in manor augebitur quantitas.

Calibration

In exemplo superiore passim dynamicam extensionem ponimus ad [-5, 5], sed iudicium fieri debet per processum "calibrationis" ad inveniendum congruum ambitum qui comprehendit quam plurimos valores, dum error quantitatis obscuratis.

Executio certae gradus calibrationis differt pro parametri generibus.

Ponderibus (and biases)

Cogitare possumus pondera & biases magnae linguae exemplar (LLM) sicut valores staticos quia nota sunt ante exemplar currit. Exempli gratia, Llama 3' 20GB fasciculus in maximis suis ponderibus et biaibus consistit.

Cum numerus birarum variabilium (million) minus significanter quam pondera (billions) est, biases plerumque accurationem altiorem (sicut INT16) conservant, dum praecipuum opus quantitatis in ponderibus tendit.

Ad notas pondus staticum, artes calibratiis ad eligendum latitudinem includunt:

- Manually eligere percentiles initus range

- Optimize medium erroris quadrati (MSE) inter originalia pondera et quantitatis pondera

- entropy Minimize inter valorem originalem et valorem quantitatum (KL discrepantia)

Centena eligens, exempli gratia, consequitur detondent mores similes illis quae antea vidimus.

valorem activation

Inputationes quae continenter renovatae sunt in magna lingua exemplaris saepe activationes vocantur.

Valores activationis dicuntur quia plerumque per functionem aliquam activationem ire, ut coionus vel relu

Dissimilia pondera, activationes cum notitia initus per consequentiam mutantur, ideoque difficiles sunt accurate quantitare.

Cum hi valores post singulas tabulas occultas renovantur, eorum valores specifici in illatione periodi non cognoscuntur donec notitia initus per exemplar transit.

In genere duae modi sunt calibrandi pondera et activationes, diversis aetatibus exemplaris applicatae;

- Post-Training Quantitas (PTQ)

- Ut nomen sonat, est quantitas post institutionem

- Quantitas Conscius Training (QAT)

- Quantitas in disciplina / bysso-tuning

Pars III: Post institutionem quantitatis (PTQ)

Quantitas post institutionem (PTQ) est ars quantitatis popularis una. Modificat parametros exemplaris (inclusa pondera et activationia) postquam formatio formata est.

Quantitas ponderum uti potest quantitatis symmetricae vel quantitatis asymmetricae.

Sed quantitas valorum activationis requirit consequentiam scaenam ad obtinendum eorum distributionem subiectam, cum antecessum non cognoscimus.

Duae sunt formae quantitatis valorum activationis:

- dynamica quantitatis

- static quantitatis

dynamic quantitas

Post notitias per stratum occultum transit, eius valores activationes colliguntur et maximi pretii (α) et minimi valoris (β) cuiusvis tabulae comparantur;

Distributio harum activationum tunc adhibetur ad calculum (z) computandum et factorem scalarum (s) valorum pro output quantitatis requisitis:

Hic processus singulis vicibus repetit notitias per stratum novum retis. Uterque igitur ordines habet suos valores z et s independentes, ita utens alia quantitatis ratione.

stabilis quantitatis

Dissimile quantitatis dynamicae, quantitatis statice non computat punctum zerum (z) et factorem scalae (s) in illatione, sed computat hos valores ante consequentiam.

Ad hos valores inveniendos, dataset calibrationi utimur et in exemplum pascimus ut has distributiones activationis valores subiacentes colligamus.

His distributionibus collectis, valores s et z requiruntur ad quantitatem in illatione computari possunt.

In ipsa consequentia temporis, valores s et z non recalculant, sed globaliter per omnes activas eas quantitatis usus sunt.

Altiore, quantitatis dynamicae, quae valores s et z computat pro quolibet strato occulto, tendit ut accuratior sit. Sed haec computatio augeri potest tempus, cum hi valores singulis consequentibus tempore computari necesse sit.

E contra quantitas static, etsi non tam accurate quam quantitas dynamica, celerior est quia iam cognoscit valores s et z pro quantitatis in antecessum adhibitis.

IV-partem quantitatis agri

Quantitas infra 8-bit semper provocatio facta est quia quantitas error cum omni parte amissa crescit. Fortunate, plures modi ingeniosi sunt ad redigendum numerum frumentorum ad 6, 4, vel etiam ad 2-bit (quamvis minuendo numerum frenorum infra 4-bit plerumque non commendatur).

Duos rationes communes in HuggingFace explorabimus:

- GPTQ (exemplar plenum decurrit in GPU)

- GGUF (fortasse offloads stratis ad CPU)

GPTQ

GPTQ dici potest una ex clarissimis 4-bis quantitatis methodis in applicationibus practicis.

Utitur asymmetrica quantitatis et processuum iacuit per iacuit, per se iacuit expediendo antequam moveatur ad proximum stratum:

In hoc strato quantitatis processus, primum pondera laminis in matrices Hessianae inversas convertit. Inversa matrix Hessiana est secunda derivatio exemplaris amissionis functionis et repraesentans sensibilitatem exemplaris output ad unumquemque pondus mutationis.

Simpliciter, essentialiter ostendit momentum (inversi momenti) ponderum in unaquaque tabula.

Minora pretii pondera in matrice Hessiana sunt maioris momenti, quod parvae mutationes in his ponderibus ad significantes mutationes in exemplo perficiendi ducere possunt.

In inverso matrice Hessiana, valores inferiores plura pondera "magna" repraesentant

Deinde primo versu pondus matricis quantitare et quantitare debemus;

Hic processus nobis permittit calculare quantitatis errorem (q), quem pondus uti possumus valorem Hessianum inversum ante calculi (h_1).

Errorem quantitatis gravem secundum magnitudinem ponderum per se creamus;

Deinde hanc quantitatem gravem erroris aliis ponderibus ordinis redis- dimus. Hoc adiuvat conservare altiore functionality et output ornatum.

Exempli gratia, si hoc fecerimus pro secundo pondere (i.e. x_2=0.3), multiplicamus errorem quantitatis (q) per inversum Hessianum secundi ponderis (h_2) eique adde;

Deinde eandem operationem perseveret in dato tertio pondere.

Hic processus quantitatis ponderatae erroris q redistribuendi repetitur usque dum omnes valores quantitati sunt.

Hoc modo operatur, quia pondera inter se referri solent. Cum ergo pondus quantitatis errorem habeat, pondus relativum renovabitur proinde per Hessianum inversum.

GGUF

Etsi GPTQ modus est bonae quantitatis ad exemplar totius linguae magnae (LLM) in GPU currentis, si nullae condiciones ferrariae respondentes sunt, etiam quilibet LLM lavacrum in CPU per GGUF deponi potest.

Aequum est ut exemplar currens in CPU et GPU simul pro defectu memoriae video (VRAM).

Modus quantitatis GGUF saepe renovatur et a numero specifico quantitatis frenorum pendet, sed principium fundamentale sic est.

Primum, pondera alicuius iacui dividuntur in "super-obstructiones", quarum singulae copiae "sub-caudices" continentur. Ex his "sub-sitis" computamus factorem scalam et valorem alpha;

Ad datam "sub-obstructionem" quantitare, quantitatem absmax de qua prius uti potes, dato pondere multiplicando per factorem scandens (s_sub);

Scala factor s_sub computatur utens informationes in "sub-obstructionum", sed quantitatis informationes s_super in "super-block":

In summa, hic quantitas scandali quantitatis utitur factorem "super scandali" (s_super) ad quantitatis scala factoris "sub trunci" (s_sub).

Quantitas gradus uniuscuiusque factoris scalae potest esse diversus, et factores "super-obstructionum" plerumque subtilitatem habent quam "sub-obstructionum" factores scalae.

Ad hoc illustrandum, plures gradus quantitatis exploramus (2-bit, 4-bit et 6-bit);

Secundum quantitatis genus, additus minimi valoris (m) requiritur etiam punctum zerum accommodare, hae quantitatis ac scalae factoris (s)

Pars IV: Quantitatis Awareness Training (QAT)

Tertia pars describitur quantitatis exemplar post exercitium. Huius methodi incommodum est, quod ipsa disciplina processus non consideret.

Hoc est ubi Conscientia Quantitatis Traintio (QAT) in manus manus venit. Dissimile post institutionem quantitatis (PTQ), finis QAT discere est processus quantitatis in exercitatione.

QAT magis quam PTQ tendit verius esse, quia iam in processu disciplinae quantitatis ratio habita est. Ecce quomodo operatur:

Per processum exercitationis, sic dicta quantitas "fake" introducitur. Verbi gratia, prius quantitatis pondera in INT4, et postea dequanta ad FP32;

Hic processus permittit exemplar ut quantitatem erroris inputet cum computandi damna et adaequationis pondera durante periodo institutionis.

Ut in figura infra ostendetur, QAT explorare valorem damni in casu minimorum "latae" quantitatis errores minuendi, quia "angustia" minima saepe in errores maiores quantitates ducunt.

Posito quod quantitas in backpropagatione non consideretur, processus descensus gradiens pondus cum minimo pretii damno eliget. Attamen, si in minimo "anguste" est, maior quantitatis errores introducet.

E contra, si quantitatem consideremus, alia renovatio pondus in minimis "latis" eligetur, errore multo minore quantitatis.

Quamvis igitur PTQ methodus minoris detrimenti valorem ad altam praecisionem habeat (exempli gratia (exempli gratia FP32), QAT etiam vile damnum valorem habet ad humilem praecisionem (v.g. INT4), id est quod sequemur.

1-bit era: BitNet

Vidimus ante hanc quantitatem reducere accurate ad 4 frenum, iam admodum parvum, sed quid si ulterius reducimus?

Hoc ubi BitNet venit, pondera exemplaris in obolo vel -1 vel 1, repraesentat, et hoc facit, immisso processu quantitatis directe in architecturam Transformatoris.

Architectura Transformator est fundamentum plurimorum LLMs et constat calculis in stratis linearibus involventibus;

Hae strati lineares typice ad praecisionem altiorem repraesentantur, quales sunt FP16, et sunt ubi plura ponderum locantur.

BitNet reponit his stratis linearibus cum stratis Bitlinear:

Strati bitlineares eadem operantur ac strata linearibus normalibus, multiplicatis ponderibus per valores activationis ad output computandum.

Sed differentia est quod iacuit Bitlinearis tantum 1 paulum utitur ad repraesentandum exemplar pondus, et utitur INT8 ad valorem activationem significandum;

Strati bitlineares, sicut disciplinae quantitatis consciae (QAT), quamdam quantitatem "fake" in exercitatione exercent, ut quantitatis effectum ponderum et actuum enucleare possit;

Bitlinear pedetentim intellegamus.

pondus quantitatis

In disciplina, pondera sicut INT8 reposita sunt et deinde quantitatis ad 1 frenum utens fundamentalis consiliorum munus signum vocavit.

Essentialiter movet distributionem ponderum ut centrum 0 ad 0, deinde omnes valores minores quam 0 ad -1, omnesque valores maiores quam 0 ad 1;

Accedit vestigia pretii β (medii valoris absoluti), quo postea in processu inversa quantitatis utemur.

Activation Quantitas

Ad activationes quantitare, Bitlinear methodum absolutam maximi valoris (absmax) convertendi activationes ab FP16 ad INT8 facit, cum matricem multiplicationem cum maiore praecisione requirunt.

Accedit vestigia valoris α (pretii maximi absoluti), quo postea in processu dequantizatione utemur.

inversa quantitas

Vestigium habemus α (maximum absolutum valorem activationum) et β (valor mediocris absoluta ponderum), quae nos adiuvabit dequantizare ad FP16.

Activationes output rescissae sunt utentes {α, γ} ad quantitatem accurate originalis:

Processus hic relative simplex est et exemplar cum duobus tantum valoribus -1 vel 1 repraesentari sinit.

Cum hoc ac- cedente, auctores observarunt ut exemplar amplitudo crescat, intermedium perficiendi inter initia disciplinae et FP16 minor fit et minor.

Sed hoc solum in exemplaribus maioribus (>30B parametris), hiatus minorum exemplorum adhuc magnus est.

Omnes LLMs sunt 1,58 bits

Ad quaestiones scalabilitatis superius memoratas emendandas, BitNet 1.58b introducta est.

In hoc novo accessu, quodlibet exemplar pondus non solum esse -1 vel 1, potest, sed etiam 0 assumere, quodlibet variabile ternarium facit.

Interestingly, modo addit 0 operatio simplex est quae BitNet valde melioret et processum calculi accelerat.

0 potentia

Cur addit 0 notabile emendationem?

Hoc pertinet ad matrix multiplication!

Primum, elementa matrix multiplicationis investigemus.

Cum calculandum output, pondus matrix multiplicamus cum vectore input. Hic est visualisatio primi ordinis multiplicatio primi lavacri ponderis matricis;

Haec multiplicatio duas implicat actiones, unum pondus multiplicans cum input, et deinde omnes addit.

E contra, BitNet 1.58b procurat vitare actum multiplicationis, cum tria pondera per se haec tibi dico:

- I: Hoc addere volo valorem

- 0: Hoc valore nolo

- - I: hoc valore volo demere

Si igitur pondera tua quantitati 1.58 frena, tantum opus est additionem facere:

Non solum hoc significanter calculos accelerat, sed pluma eliquare permittit.

Pondere pondus datum ad 0 aequivalet ignorare initus, quam addendo vel minuendo valorem initus sicut 1-bit.

quantitare

Ad quantitatem ponderis praestandam, BitNet 1.58b utitur medio valore quantitatis absolutae (absmean), variatio quantitatis quantitatis maximi absolutae (absmax) ante vidimus.

Simpliciter comprimit distributionem ponderum et medium absolutum adhibet ad valores quantitatis. Tunc circum eas -1, 0 vel 1;

Comparari BitNet, quantitatis activationis eadem est excepto uno aspecto: pro scalis activis ad extensionem [0, 2ᵇ⁻¹], maximi pretii absoluti methodo utimur ad scandendum [-2ᵇ⁻¹, 2ᵇ⁻¹].

Summatim, 1.58 frenum quantitatis, duas artes maxime implicat;

- Add 0 creare repraesentationem triformem [-1, 0, 1].

- Absoluta medium quantitatis ponderum

Charta BitNet hanc conclusionem habet: "13B BitNet b1.58 efficacior est quam 3B FP16 LLM secundum latentiam, memoriam usus et industria consummatio".

Charta inscriptio: https://arxiv.org/abs/2402.17764

Solo 1.58 computationally frena efficientis, exemplum leve accipimus.

Notae:

https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization