nuntium

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Nova Sapientia Report

Editor: Qiao Yang

[Introductio ad Novam Sapientiam].Nuper, PyTorch manipulus nuntiavit progressionem roadmap primum, quae proxime mutata est ab internis technicis documentis, ostendit sequentem directionem evolutionis huius bibliothecae classicae apertae.

Si Pythone in agro AI elaboras, PyTorch unus ex veteribus amicis tuis esse debet. Anno 2017, Meta AI emisit hunc fontem apertum bibliothecae in campo machinae discendi et profundae eruditionis, quae nunc est in anno septimo.

Secundum conventum AI 2021 statisticum, summum 30 exempla popularia in HuggingFace omnes currunt in PyTorch, et 92% exemplorum proprietatis sunt PyTorch.

Sub die X Iulii PyTorch machinarum machinarum publici instrumenti cursorii sui primum emisit, progressus directionem in medium 2024 exponens.

Soumith Chintala, co-conditor Metae et PyTorch turmam ducens, nuntium publice in Twitter nuntiavit.

Sperat se rationes et proposita publicas investigationes facere fabrum.

"Cum omnis progressio PyTorch in GitHub publicata sit, ipsa ratio et documenta roadmap scripta a iugis in variis PyTorch affiliatibus publicata non sunt, ideo placuit mutationes ad diaphaneitatem augendam".

Gott Brath, procurator technicae societatis PyTorch, etiam in foro similem sententiam fecit.

Cogitabamus quomodo sociare viam tabulae operis bigae quae in PyTorch agebat. Biannually agimus consilium, ideo hae sunt nonnullae versiones publicae nostrae 2024 H2 OSS consilia plurium arearum clavis in PyTorch.

Hae tabulae basically documenta interna et consilia machinae PyTorch operantur. Postquam deleta aliqua contenta, quasi roadmap editae sunt, quae sequentes aspectus PyTorch implicat.

- Core bibliothecis et core perficientur

- Distributed

- torchune、Torchrec、TorchVision

- PyTorch Edge

- Data loading (DataLoading)

- Compiler core et instruere

- Developer infrastructure

Unumquodque documentum tres saltem partes continet, in ideis OKR innixum;

- background

- Top5 focus areas et metas: metas, clavium proventus, notae vel ignotae periculorum et mensurarum diminutionum respondentium (maximam unam paginam)

- Top 3~5 aspectus ad amplio ipsum gradum: BE Columna classificationis, proposita, indices/status/specialis proposita, nota vel ignota periculorum ac diminutionis mensuras, impulsum/cost, prioritas/fiduciam gradus (maximam unam paginam)

Inter eos, in BE Columna haberi potest "quinque sententiarum" scripta a Meta ad equos evolutionis.

Melior Codex, Melior Doc, Empowering Partes, Codicis Moderni, Melior Architecture

Nescio an quis tincidunt longitudinem litterarum ob regulam "maximam unam paginam" vexaverit. Post omnia documenta cariora sunt quam longa documenta et probat scriptoris artes.

Praeterea nonnullae egregiae notiones Meta evolutionis etiam in instrumento videri possunt, ut collaborationem variarum iunctorum modulorum efferat, efferat API integrationem et iuncturam evolutionis cum sociis externis, ac commercium efferat cum aperto fonte communitatis et tincidunt.

Cum novum codicem basi tanquam ExecuTorch deducendum, vel influentiam PyTorch compilatoris augere volentem, bigas a duobus aspectibus incipit: unus est operam navare ad emendandum et directe scopum SOTA; penitus integrare Incipias pluribus foris ex thecis uti casibus.

Fortasse hae sunt claves successi Metae in aperto fonte in campo per annos.

Particula sequentis est excerptum et summarium contentorum singulorum documentorum.

Oratio originalis: https://dev-discuss.pytorch.org/t/meta-pytorch-team-2024-h2-roadmaps/2226

Core libraries et core effectus

Core bibliothecae in documento implicatae sunt: ​​TendorDict, Torchao, NN, TorchRL, etc.

In terminis faciendis, quadrigis PyTorch propositum assequendum SOTA perficiendi in exemplar disciplinae et consequentiae proposuit.

Praeteritum annum celerem progressum GenAI testatum est. Multae bibliothecae externae ad progressionem in campo investigationis sustinendam emerserunt, sed multae ex eis non directe innituntur PyTorch, quod dominationi PyTorch imminebit in campo investigationis scientificae.

Ut cum pace iterum prosequantur, PyTorch subsidia technologiarum communium evolutionis praebebit ut quantitatis, sparsificationis, moE, ac demissae exquisitae disciplinae, inter cuneos aedificiorum et APIs (in torchao maxime integratis) ad exempla variarum architecturarum Transformerorum adiuvet. meliorem facere.

Torchao bibliotheca indagatores adiuvat ut summus perficientur dtypus, layout et optimization technicae intra PyTorch compagem sustineant, scopum usum ad varias missiones extendens, sicut disciplina, consequentia, ac tuning.

Praeterea renovationes ad nucleum bibliothecae sequentes complectentur:

- Optimization automatariae immissae bibliothecam torchao interrumpens successus consecutus est. Proximus gradus est ut eius codicem ordinationem emendare et operationes numerales a core bibliothecae separare possit.

- Allocutiones TendorDict nucleum modularitum, serialization sarcinarum/stormarum sustinet, ac 2x velociorem modum cupienti currendum facit.

- Successu memoriae proviso onere in primo dimidium anni continuando, perge ad meliorem faciendam et securitatem exemplarium loading/repono

- TorchRL caput reducere per L%

- Added core subsidium NoGIL

- Quaestionem posuit, quod variabilis TORCH_env ab usoribus nuntiata non operatur

Documentum etiam deprecationem nn.transformantis moduli commemorat, dicens seriem tutorialorum et casuum usui dimittendam esse ostendens quomodo utatur torch.compile, sdpa, NJT, FlexAttention, custom_op, torchao et aliorum modulorum ad Transformem aedificandum.

distributum

LLM prae-paratio fere dozens vel mille GPUs palmos aequat, et cum scala moduli exemplaris paulatim augetur, consequentia et obtrectatio difficilis est ad unum GPU complendum.

Ideo PyTorch proximus "distributus" extensionem comprehendens tres nexus disciplinae, consequentiae et lepide comprehendit, et instituit ut ultra-magnarum distributarum disciplinarum, summae memoriae efficientis subtiliter hians, multique exercitus ratiocinationem distribuat. .

agmine

Modi paralleli, qui a PyTorch nativo fulti sunt, maxime includuntur:

- plena data parallel sharded (FSDP)

-Hybrid sharding data parallela (HSDP)

-Tensor parallelus (TP)

- Pipeline parallela (PP)

- Sequentiae parallelae (SP)

-Context parallela (CP)

PyTorch sperat ulterius varias rationes parallelas in TorchTitan modulari, tincidunt libere componendi et perficiendi N dimensiva parallelismum prout opus est.

Documentum nominatim admonet necessitatem augendi duas architecturas emergentes, MoE et multimodialitatem, sicut parallelismus peritus et optimizatio algorithmarum excitandi.

Praeter ipsam TorchTitan renovationem, manipulus distributus etiam in arctius elaborare debet cum quadriga compilatoris ut melius cum lampade componatur. Compile moduli additis faciendis melioramentis ad missiones magnas distribuendas.

Pulchre-tuning et consequentia

Pulchre-tuning: cum face deducta, FSDP2 LoRA/QLoRA solutionem in usum pone, et NF4 quantitatem dictionarii status exemplaris sustenta.

Ratio: PP et DP nucleus distributi APIs facti sunt. Deinde operam dare debemus ratiocinationi torchtitanae distributae, quae magnas PP + asynchronas TP rationes adiuvat.

Documentum etiam commemorat consequentiam API HuggingFace a PiPPy ad PyTorch migrandum esse (per HuggingFace completum).

torchtune、TorchRec、TorchVision

lampas

Lorem torchtune intendit adiuvare utentes subtilia canta LLM commodius.

"Taxum" quod a tochtuna definitum est, longe late patet, quod in tria genera missionum compendiari potest;

- Model aptatio ad domain Utilia notitia occidere vel amni tasks

- Praemium et potius sculpturarum, ut RLHF, DPO, etc.

- Disciplina processus comprehendo distillationis et quantitatis

Renovationes in secundo dimidium anni ad operas agentis bene-tunas adiuvabunt, cum in melioramentis in bene operando versantur.

Manipulus cooperabitur cum compilato, core, distributo et aliis modulis ut praebent efficientes bene-tuning et constituent repraesentativum perficiendi subsellia intra PyTorch ecosystem.

Cum fax etiam recentior bibliothecae fons aperta est, commercium cum aperto fonte communitatis etiam essentiale est.

Documentum proponit edendis articulis diarii et tutoriales, technicas lectiones tenentes, etc. ad meliorem user intellegentiam; etiam quantitatis indices definiet ut collationem facem in LLM oecosystematis communicent.

Praeter fontem apertum communitatis, torchune cum uno saltem socio integrabit et in communitate participabit ad usum torchune promovendum.

TorchVision

Ut absoluta dominans ludio ludius in agro CV, ars technicae TorchVision est relative matura, ita perpaucae notae in cursorio viae propositae sunt.

Manipulus laborare perget in directione antecedens, sustine plura formatorum (ut WebP, HEIC) et suggestuum (ut CUDA) in imagine spatii descriptum/decondationis, et in modum translitationis jpeg formatae in meliorem formam decoctionis GPU.

TorchRec

TorchRec intendit dare sparsitatem et parallelismum primitivis communibus in systematibus magnarum commendationum.

Acies

In statu, fons apertus bibliotheca Executorch versionem alpha fecit, quae maxime nititur in torch.compile et torch.exporto ad exemplar analysis, debugging et consequentia de machinis mobilibus et ore machinis (qualia sunt AR/VR, machinas gestabiles).

In secundo dimidio anni, Turma Edge Beta versionem xecuTorch deducet et solutiones in PyTorch ecosystem pro meta's Llama exemplorum seriei et alia aperta exempla monstrabit.

Praecipua proposita clavis duas directiones maxime tegunt. Primum est praecipuas functiones praebere et certas infrastructuras pro fabrica AI, inter quas:

- Perficite API stabilitatem C++ et Pythonis

- Exsequere seriem nuclei functionum: exemplar compressionis subsidium, proxy locus administratione, notitia et programma separationis

Secundum est basim nascentis huius codicis, influentiam colere in aperto fonte communitatis, et bonas necessitudines cooperativas cum societatibus, uti Brachium, Apple et Qualcomm conservare.

Finis communitatis influentiae etiam quantitatus est, codicem requirens ut 3k stellas in GitHub acciperet et quingentos (furca) octingeret. Lectores studiosi pergere possunt attendere et vide si turma haec OKR complere potest a fine anni.

Data loading

Datasets bibliothecae HuggingFace in forma Apache Sagittae innixa his annis subito emersit cum summa celeritate loading/repono sine limitationibus memoriae, et limes PyTorch actis functionibus surripuisse videtur.

Documentum de notitia loading incipit ab ambitione TorchData bibliothecam magnam denuo faciendi et dominatum PyTorch restituturum in notitia oneratione.

Ad hunc finem assequendum, necesse est ut ad functiones pertinentes flexibiles, scalabiles, altae operationes et memoriae efficientes efficere possint, dum stultam similem operationem assequuntur ac multimodis variarum squarum disciplinarum sustinent.

Imprimis update metas sequentes aspectus includunt:

- Progressio functionis et instrumenti DataLoader efficiet principium GitHub primi, et DataPipes et DataLoader v2 paulatim deprecabuntur et delebuntur.

- Perficite limites claros et interoperabilitatem bonam inter TorchTune, TorchTitan, HuggingFace et TorchData, et auxilium datorum multi- plicium et multimodis notitiarum loading

- HuggingFace utitur API of StatefulDataLoader ut convenientiae ac opportune innovandi exempla et casus experiendi adhibeat.

Compiler core et instruere

Corae functiones compilatoris PyTorch post annos evolutionis magis ac magis perfectae factae sunt. Quae nunc compleri debent profundius integratio et melioratio subsidii in campis LLM et GenAI.

Viamap proposuit munus torch.compile() afferre ad omnes partes usus cycli LLM et GenAI (consecutio, bene-tuning, prae-praeparatio), ut magna exempla cum emissi PyTorch indigena componi possint.

Ad hoc propositum assequendum, documentum multas mensuras specificas proponit, ut operando cum torchtune et TorchTitan iunctiones ad compilationem perficiendam meliorem, et patria PyTorch solvens versiones elaboravit saltem duo exempla summus profile in secundo dimidium anni.

Praeterea compilator addere potest facultatem visualizationis ad generandum exemplar graphs exprimens processum antecedens computationis/repraesentationis in modo non studiosa disciplina.

Multa etiam sunt consilia subsidii usoris, sicut vigilantia et observabilitas systematis emendans et problemata compilation debug utentes adiuvant per se. Clavis proposita etiam in usoris subsidii equos constituentes ad quaestiones electronicas excitandas per tincidunt in tabulatis, sicut GitHub in pluribus locis clavis (notitia classes, administrationem contextus etc.).

Notae:

https://dev-discuss.pytorch.org/t/meta-pytorch-team-2024-h2-roadmaps/2226

https://x.com/soumithchintala/status/1811060935211049046

https://www.assemblyai.com/blog/pytorch-vs-tensorflow-in-2023/