2024-08-19
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Apparatus Cordis Report
Editor: Panda
Mamba bona est, sed adhuc prima eius progressio est.
Multa alta sunt architecturae discendi, sed maxime prospere his annis Transformer est, quae in multiplici applicatione agrorum dominatum suum constituit.
Clavis huius victoriae agitator mechanismum est attentio, quae Transformer-substructio exempla praebet ut in partes initus seriei pertinentes intendunt, melius contextualem intellectum assequendum. Attamen incommodum attentionis mechanismi est quod caput computationale altum est, quod quadratically cum input magnitudine augetur, difficilis processus longissimis textibus.
Fortunate, nova architectura cum magna potentia olim nata est: ordo spatii statui structi exemplar (SSM). Haec architectura efficaciter potest capere implicatas clientelas in serie notitiarum, faciens eam potentem adversarium Transformer.
Consilium huius generis exemplaris inspiratur ad exemplar status classici spatii - cogitare possumus de illo exemplum fusionis recurrentis reticulorum neuralis et reticulorum convolutionum neuralis. Efficaciter computari possunt operationes ansa vel convolutionis utentes, sino caput computationale ut lineariter vel fere linealiter cum longitudine seriei conscendat, signanter ergo gratuita computationale minuendo.
Specialius, Mamba, una ex felicissimis variantibus SSM, exemplar habet facultates cum Transformatori comparandas, servato lineari scalabilitatis longitudine cum seriebus.
Mamba primum simplex et efficax lectio mechanismum inducit quae SSMs in inputibus fundata reparat, exemplar permittit ut necessarias et necessarias notitias indefinite retineat dum percolatur notitias inutiles. Deinde, Mamba etiam algorithmum ferramentarium comprehendit qui pro convolutionibus lustrat utitur ad exemplar itera- tive computandum, quod celeritatem calculi augere potest 3 temporibus in A100 GPU.
Ut in Figura I demonstratum est, cum sua potentia ad exemplar multiplices longae seriei notitiarum et prope scalability lineari, Mamba emersit ut exemplar fundamentale et expectatur ut multiplices investigationes et evolutiones agrorum verterent sicut visio computatoria, processus linguae naturalis et medicinae. cura.
Ideo litterae in investigatione et applicatione Mamba celeriter crescit et vertigine est, et relatio recensionis comprehensiva magno usui erit. Nuper, turma investigationis in Hong Kong Universitas Polytechnica, suas contributiones in arXiv publicavit.
Haec recensio relationis Mamba ex multiplicibus prospectibus summat, quae non solum incipientibus adiuvare possunt praecipuam machinam Mambae operationis, sed etiam periti adiuvant medicos novissimum progressum intellegunt.
Mamba est popularis directionis investigationis, et ideo multae iunctae relationes recensionis scribere conantur. Praeter ea quae in hoc articulo allata sunt, aliae sunt recensiones quae in statu spatii positae sunt exempla vel Mamba visual :
Praevia scientia
Mamba compagem cyclicam Recurrentis Network Neuralis (RNN) coniungit, comparationem et attentionem mechanismi Transformatoris parallelam, ac lineas notas Civitatis Spaceae Exemplar (SSM). Ergo, ut plene intelligas Mamba, has tres architecturas primum debes intelligere.
recurrentes neural network
Recurrentes retia neuralis (RNN) bona sunt in serie processus processus ob facultatem retinendi memoriam internam.
Speciatim, in unoquoque discreto temporis gradu k, vexillum RNN processit vector una cum statu abscondito gradus temporis superioris, et deinde alium vectorem emittit et statum absconditum updates. Hic status absconditus adhiberi potest ut memoria RNN, quae input informationes in praeteritis temporibus visas retinere potest. Hoc memoria dynamica permittit RNN ut series variarum longitudinum pertractet.
Hoc est, RNN exemplar nonlineare recurrente, quod efficaciter exempla temporalia capit utendo scientia historica in occultis civitatibus condita.
Transformer
Transformatoris propriae intentionis mechanismum adiuvat ut global clientelas inter inputs capiendas adiuvat. Hoc fit per singulas positiones secundum pondus eorum respectu aliorum positionum assignando pondera. Specialius, originale initus primum linealiter transfiguratur ut sequentia x input vectoris in tria vectorum genera convertat: quaesitum Q, clavis K, valorem V.
Tunc normalised attentio score S computatur et attentio pondus computatur.
Praeter munus unius attentionis praestare posse, etiam multi-capitis attentionem praestare possumus. Hoc exemplar permittit capere varias relationes rationes ac sequentia initus comprehendere ex pluribus prospectibus. Multi-capitis attentio multiplicis modulorum propriae attentionis adhibet ad processum initus sequentiarum in parallelis. Unumquodque horum capitum independenter operatur et easdem computationes exercet ac machinationes propriae attentionis.
Postea pondus uniuscuiusque capitis attentione aggregatur et componitur ad obtinendum summa ponderata valoris vectoris. Huius aggregationis gradus exemplar permittit ut informationes ex pluribus capitibus utatur et multa alia exemplaria ac relationes in input serie capiat.
status spatium
Exemplar spatii statui (SSM) est traditum compage mathematicae quae dynamicam agendi rationem temporis supra tempus describere potest. Nuper SSM late in multis variis campis adhibitus est sicut cybernetica, robotica et oeconomica.
In suo nucleo, SSM mores systematis refert per variarum rerum occultarum statutum, quod "status" appellatur, sinit ut efficaciter ad temporis notitias clientelas capere possit. Dissimilis RNN, SSM exemplar linearis est cum proprietatibus associativis. Speciatim ordo spatii classicus exemplar duas aequationes praecipuas (aequationis status et aequationis observationis) construit ad exemplar relationis inter input x et output y in praesenti tempore t per statum N dimensiva occultam h (t).
Ut necessitatibus machinae discendi occurrant, SSM subire debet processum discretizationem - parametri continuam in parametros discretos convertens. Fere meta modorum discretizationis est dividere tempus continuum in intervalla discreta K aequali spatio integrali quam maxime. Ad hoc propositum assequendum, una ex praestantissimis solutionibus a SSM adhibitis est Zero-Order Hold (ZOH), quae supponit munus valorem interposito Δ = [_{−1}, _ ] constans manere. Discretus SSM similem structuram habet retis neuralis recurrentis, ita discretus SSM potest efficere processus consequentiae efficacius quam exempla Transformator fundata.
Discretum SSM systema linearis est cum proprietatibus associativis et sic inconsutilis cum computationibus convolutionibus coniungi potest.
Relatio inter RNN, Transformator et SSM
Figura 2 calculum algorithmorum RNN, Transformatoris et SSM ostendit.
Ex altera parte, conventionales RNNs operantur secundum compagem recurrentem non-linearem, ubi singula calculi tantum in statu priore abscondito et input currens pendent.
Etsi haec forma RNN permittit ut cito output in autoregressiva illationis generare, etiam difficilem facit RNN ad plene utendum parallela computandi potentia GPU, quae fit in tardius exemplar disciplinae.
Architectura autem Transformator matrix multiplicationes in multiplicibus paribus in parallelis interrogationis facit, et matrix multiplicationes efficaciter distribui possunt ad facultates hardware, sino ad velociores formas studiorum secundum exempla. Attamen, si vis Transformer-substructio exemplar responsiones vel praedictiones generare, illatio processus valde temporis consumens esse potest.
Dissimilis RNN et Transformer, quae unum genus calculi sustinet, discretum SSM valde flexibile est; Haec factura SSM permittit ut non solum efficientem coniecturam consequi, sed etiam institutionem parallelam efficere possit. Attamen notandum est maxime placitum SSM tempus immutabile esse, id est, eius A, B, C et independentes a exemplari input x. Hoc eius contextus - conscius facultatum exemplarium finiet, efficiens SSM ut male exerceat in aliquibus muneribus specificis ut exemplum selectivum.
Mamba
Ad solvendas superiores delictas traditarum SSM et contextus consciorum exemplarium, Albert Gu et Tri Dao Mamba proposuit, quae adhiberi possunt ut reticulum retis universalis seriei fundamentalis exemplar. perficiendi comprehendendo Transformer circumdat: nova architectura Mamba circulum AI detonat".
Deinde, duo ex illis ulterioribus propositis Mamba-2, in quibus Dualitas Spatium-Statutum (SSD/Statutum Spatium-Statutum Duality) robustum theoreticum compagem construxit, quae SSM variis formis attentionis constructa coniungit algorithms et ratio optimizationis technologiae principio evolutae pro Transformatore ad SSM. Mamba II, ab autore autore ductus, hic adest, et educatio efficacia novae architecturae valde emendata est".
Mamba-I: selectivam statu spatii exemplar utens hardware-conscius algorithms
Mamba-1 inducit tres technologias maioris amet technologiae in structuris loci exemplar, memoriam videlicet initializationem, eligendi mechanismum et hardware-conscientiam computandi subnixam proiectionem polynomiae operantis summi ordinis (HiPPO). Ut patet in Figura III. Propositum harum artium est plurium linearium temporis seriem emendare facultatibus SSM exemplandi.
In specie, initialisatio militaris cohaerentem matrix absconditum statum construit ad memoriam diuturnam efficaciter promovendam.
Machinae selectae tunc efficiunt SSM ut repraesentationes contentorum sensibilium acquirant.
Postremo, ut efficientiam exerceat exercendam, Mamba etiam duas algorithms ferramentorum conscios computans includit: Parallelus Associativus Scan et Memoria Recomputatio.
Mamba-II: status spatii dualitatem
Transformator progressionem variarum technologiarum inspiravit, ut parametri-efficax bene hians, calamitosas mitigationis immemores et exemplar quantitatis. Ut exempla spatii ad statum rei publicae etiam ab his technologiis oriundi pro Transformatore evolutae prosint, Mamba-2 novum compagem inducit: Dualitas Spatii Civitatis Structurae (SSD). Haec compago theoretice SSM et varias attentionis formas nectit.
Essentialiter, SSD ostendit tam attentionem mechanismi a Transformatore adhibitam, tum systematis temporis invariantis linearis in SSM adhibitis, ut semi-separabiles matricis transformationes considerari posse.
Praeter Albertum Gu et Tri Dao etiam probavit selectivam SSM aequivalere mechanismum linearem attentum structuram utentem semi-separabilem larvam matricis.
Mamba-2 methodum computantem designat in SSD quae ferramentis efficacius utitur, utens trunco compositionis matricis multiplicationis algorithmus.
Speciatim, tractando exemplar status spatii tamquam matrix semi-separabilis per hanc matricem transmutationem, Mamba-2 hanc computationem in matrix cuneos dissoluere potest, ubi diagonales stipites intra-obstructiones computationes repraesentant. Dum caudices off-diametri computationem inter clausuram repraesentant per occultam compositionem status SSM. Haec methodus permittit celeritatem disciplinae Mamba-2 2-8 temporibus velocius esse quam comparationem parallelam Mamba-1, dum perficientur cum Transformer comparatur.
Mamba obstructionum
Videamus in scandalum consilia Mamba-1 et Mamba-2. Figura 4 duas architecturas comparat.
Propositum Mamba-1 est SSM-centricum, ubi munus selectivae SSM tabulatum est destinata ex initus serie X ad Y conficere. In hoc consilio, initio linearis proiectionis ipsius X creando, proiectio linearis (A, B, C) adhibetur. Deinde, signum inputationis et matrix status perspiciuntur per selectivam SSM unitatem, utentes parallelae correlationes ad output Y obtinendum. Postmodum, Mamba-I nexum admittit ut plumam reuse foveat et ad problema degradationis perficiendum sublevandum, quod saepe in disciplina exemplaris occurrit. Denique exemplar Mamba constructum est moduli huius moduli alterno modo cum normae regulae et nexus residuo.
In Mamba-II, stratum SSD introducitur ad creandum destinata ex [X, A, B, C] ad Y. Hoc fit utendo una proiectione in initio clausus ad processum [X, A, B, C] eodem tempore simile, quomodo mensurae attentiones architecturae Q, K, V in parallelis proiectionibus generant.
Hoc est, Mamba-2 clausus simplicior fundatur in Mamba-1 trunco subtrahendo proiectionem linearem sequentis. Hoc permittit architecturae SSD ad calculas velocius faciendas quam Mamba-I scan parallelis selectivis. Praeterea, ad stabilitatem institutionis emendandam, Mamba-II etiam addit ordinationem strati post nexum omissi.
Mamba exemplar est evolving
Exemplar spatii Civitatis et Mamba celeriter nuper effectae sunt et facti sunt praecipuae formae retis retis cum magna potentia electionis. Etsi Mamba bene operatur in lingua naturali opera processus, tamen nonnullas difficultates habet, sicut memoria detrimentum, difficultatem in generando ad diversa opera, et pauperes effectus in multiplicibus exemplaribus, quae ad exempla linguae Transformatori fundatae comparatae sunt. Ad has quaestiones solvendas, communitas investigationis multas emendationes architecturae Mamba proposuit. Investigationes exsistens maxime intendit in modificatione scandali consilium, scan exemplaria et memoria administrationis. Tabula 1 summatim pertinet studiorum categoria.
obstructionum design
Consilium et structura Mamba scandali magnam habent impulsum in altiore Mamba exemplo, et ideo haec facta est maior investigationis focus.
Ut patet in Figura V, investigatio exsistens dividi potest in tria genera secundum diversos modos aedificandi novos Mamba modulos;
Scan modus
Parallel correlatio intuens elementum key intra exemplar Mamba est. Propositum est quaestiones computationales a mechanismo delectu solvere, celeritas processus disciplinae emendare et requisita memoriae minuere. Hoc fit, utendo natura lineari temporis SSMs variatis ad nucleum fusionis et recomputationis in gradu hardware designando. Nihilominus, Mamba series exemplar unum modo paradigma non confert ad cognitionem diversarum notitiarum comprehendendam, sicut imagines et videos.
Ad hanc quaestionem sublevandam, nonnulli investigatores exploraverunt novas efficientes methodos intuens ad emendandum exemplar Mamba perficiendum et ad processum instituendum faciliorem. Ut in Figura VI ostenditur, modos enucleandi intuens, eventus investigationis exsistentes in duo genera dividi possunt;
memoria procuratio
Simile RNN, intra exemplar civitatis spatium, memoria rerum occultarum notitias priorum graduum efficaciter reponit et ideo in altiore observantia SSM magnum impulsum habet. Licet Mamba methodum memoriae initializationis innixam inducat HiPPO, adhuc difficile est memoriam in unitate SSM administrare, quae notitias occultas ante stratis transferre includit et pressionem iacturam memoriam consequi.
Ad hunc finem studiorum auctarium complures varias solutiones proposuerunt, inter memoriam initializationem, compressionem et concatenationem.
Accommodare Mamba ad diversa notitia
Architectura Mamba est extensio exemplaris spatii selectivi status. Primas notas habet exemplar cyclici et ideo valde convenit ut exemplar fundamentale ad processum sequentium notitiarum sicut textus, tempus, series, et oratio.
Non solum quod recentiores quidam investigandi auctoris applicationes missionum Mamba architecturae ampliaverunt, ut non solum processus notitiarum sequentiarum, sed etiam in campis utantur ut imagines et tabulae, ut in Figura VII ostensum est.
Propositum horum studiorum est Mamba excellenti ingenio uteretur ad diuturnas clientelas obtinendas, et in discendo ratiocinandoque sua efficacia uteretur. Tabula 2 breviter hos eventus investigationis compendiat.
serie data
Sequentiae notitia refertur ad notitias certo ordine collectas et ordinatas, ubi ordo notarum punctorum est notabilis. Haec recensio relationis summam applicationem Mamba in multiplici notitia seriei, incluso sermone naturali, video, tempore seriei, loquela et motu humano, summat. Vide chartam originalem pro details.
sequential notitia non-
Dissimilis notitiae sequentes, non-sequentiales notae ordinem specificum non sequuntur. Eius notitia puncta nullo ordine disponi possunt quin signanter ad sensum notitiae pertineant. Hic defectus ordinis inhaerentis difficilis tractari potest ad exempla recurrentia (RNN, SSM, etc.) quae specialiter destinata sunt ad capiendos temporales dependentias in notitia.
Mirabiliter, recens quaedam investigatio Mamba (SSM repraesentativa) feliciter effecit ut notitias non sequentes efficienter processuras, inclusas imagines, mappas et nubem monstret datam.
multimodal notitia
Ad meliorem AI perceptionem et scaenam facultates intellegendas, notitiae multiplicium modalium integrari possunt, ut lingua sequentia et imagines (notitiae non-sequentes). Haec integratio validissimas ac complementarias notitias praebere potest.
Recentibus annis, multimodae magnae linguae exempla (MLLM) maxime focus investigationis popularis fuerunt; hoc genus exemplaris potentes facultates magnarum exemplorum linguarum possidet (LLM), inter valida loquendi facultates et ratiocinandi facultates. Quamvis Transformer methodus dominans in agro factus est, Mamba etiam emergit ut fortis contendens. Eius effectus in aligning fonte mixto data et assequendi complexionem linearem scalis cum serie longitudinis facit Mamba promittens in multi-modali doctrina.
application
Notae nonnullae applicationes Mamba-substructio specimina infra allata sunt. Manipulus has applicationes in categorias sequentes divisit: linguam naturalem processus, visionem computatrum, analysin sermonis, medicamentum inventionem, systemata commendationem, et systemata robotica et sui iuris.
Illud nimis hic non introducemus, chartam originalem in singulis videbimus.
Provocationes et facultates
Etsi Mamba in quibusdam campis altiore operatione praestantem consecutus est, Mamba investigatio adhuc in eius infantia est, et adhuc aliquae provocationes superandae sunt. Nimirum hae quoque occasiones provocationes sunt.
Colligere et ordinare notitias novissimas nuntiorum et liberam facere omnibus reprimendis.
