nuntium

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Apparatus Cordis Report

Editor: Panda

Praeteritis paucis annis, architectura Transformer magnum successum consecutus est, et etiam magnum numerum variantium peperisse, ut Visio Transformer (ViT), quod bonum est ad operas visuales dispensandas. Corpus Transformer (BoT) in hoc articulo introductum est Transformer variantium, quod ad discendum consiliorum roboti aptissimum est.

Scimus quod cum agens physicum agit correctionem et stabilizationem actionum, saepe dat responsionem localem in loco stimuli exterioris quod sentit. Exempli causa, responsio humana ad has stimulos stimulos positi sunt in ambitu ambitus neuralis spinalis, qui nominatim responsales sunt responsionis unius actus. Executio localis emendatrix maior est factor in motibus efficientibus, quae praesertim robots quoque praestant.

Antea tamen architecturae discendi plerumque non localem rationem inter sensores et actuatores constituerunt. Cum machinationes roboticae rationes utantur architecturae quae late excultae ad naturalem linguam et ad visionem computatrum, saepe non ut structura robot corporis efficaciter abutuntur.

Nihilominus, Transformator adhuc hac in re potentialem habet, et investigatio ostendit Transformer longam dependentiam longam posse efficaciter tractare et magnas notitiarum copias facile haurire posse. Architectura Transformator primum ad processum linguae naturalis informis (NLP) elaboratum est. In his operibus (ut translatione linguarum) initus seriei plerumque praescribitur ad seriem output.

Ex hac observatione, turma ductus a Professore Pieter Abbeel Universitatis Californiae, Berkeley, Corpus Transformer (BoT) proposuit, quae operam addit positioni locali sensoriis et actuatoribus in corpore roboti.

• Paper title: Corpus Transformer: Leveraging Robot Embodiment pro Policy Doctrinae
• Charta inscriptio: https://arxiv.org/pdf/2408.06316v1
• Project website: https://sferrazza.cc/bot_site
• Codicis inscriptio: https://github.com/carlosferrazza/BodyTransformer

Speciatim Bot exemplar corpus roboti ut graphi, in quo nodi sunt eius sensores et actuatores. Tunc larva valde sparsa in strato attentionis utitur ad impediendam nodi singulas partes attendendas praeter proximos suos. Pluribus boT stratis cum eadem compage coniungendo, informationes ex toto grapho diffundi possunt sine ullo discrimine repraesentativae architecturae facultates. BOT bene facit in doctrina imitationis et ad supplementum discendi, et etiam a quibusdam censetur "Ludus Changer" disciplinae militaris esse.

Corpus Transformer

Si robot discendi militarium originalis Transformatoris architecturae ut spinarum utitur, utilissima notitia a structura corporis roboti neglecta esse solet. Re quidem vera, haec informatio fabricae transformatori vehementiori studio inductus praebere potest. Manipulus hanc informationem levabat, dum repraesentativas facultates architecturae originalis retentis.

Corpus Transformer (Bot) architectura in attentione palliata fundatur. In unaquaque tabula huius architecturae nodi solum informationes de se et proximis proximis videre possunt. Hoc modo notitia fluit secundum structuram graphi, cum stratis adverso flumine coniecturas peragentes in informationibus localibus et in stratis amni colligendis notitias magis globales e nodis remotioribus.

Ut in fig. 1, architectura BOT ex sequentibus constat;

1.tokenizer: Project sensorem initibus in nodi embeddingis respondentibus;

2. Transformer encoder: processus initus emblematis et outputa lineamenta eiusdem dimensionis generat;

3.detokenizer: Detokenisatio, id est lineamenta decoctionis in actionibus (seu valor ad supplementum criticae disciplinae discendae).

tokenizer

Bigas voluit scribere vectores observationes in graphas ex observationibus localibus compositos.

In praxi, quantitates globales tribuunt elementis radicibus corporis roboti et quantitates locales nodis membris respondentium repraesentantibus. Methodus haec destinatio GNN methodo priori similis est.

Dein iacuit linearis usus vectoris status localis in vectorem empendentem proicere. Status cujusvis nodi pascitur in projectione nodi speciali discibilis linearis, consequens in serie n involucrum, ubi n numerus nodi (seu longitudinis seriei) repraesentat. Hoc differt a operibus praecedentibus, quae plerumque una tantum proiectione lineari discenda communi utuntur ad varios numeros nodos in multi- dinis supplementi doctrina tractandis.

BoT encoder

Retis narum per turmas usus est vexillum multi-strati Transformer encoder, et duae sunt variantes architecturae huius:

• BoT-Hard: larva singulae tabulae utens larva binaria quae structuram graphi refert. Speciatim modus construendi larva est M = I_n + A, ubi I_n est identitas n dimensiva matrix et A adiacentia matrix graphi respondens. Figura 2 exemplum ostendit. Hoc unumquodque nodi permittit videre solum se suosque proximos vicinos, et sparsim in problema magnum inducere potest - quod speciatim amabile est ex prospectu computationale sumptus.

• BoT-Mix: stratis texunt operam palliatam (sicut Bot-Hard) laminis cum attentione nudata.

detokenizer

Features output a Transformer encoder pascuntur ad iacum linearem, qui tunc in actiones cum membro nodi coniungitur; hae actiones assignantur secundum propinquitatem actuoris membri respondentis. Iterum, hae stratae discibiles lineares proiecturas singulis nodi separatis sunt. Si BoT ut critica architectura adhibetur in supplemento studiorum occasum, outputationes detokenizer non actiones sed valores, quae tunc in partibus corporis Curabitur sunt.

experimentum

Manipulus aestimavit executionem Bot in imitatione discendi et supplementi discendi occasus. Eandem structuram ac figuram 1 ponebant, solum BoT encoder cum variis architecturae basi collocare ad effectum encoder determinandum.

Horum experimentorum finis est respondere sequentibus quaestionibus;

• Possuntne palliata attentio emendare ad perficiendum et generalem facultatem discendi imitationis?
• Cum architectura originali Transformatori comparata, Bot potest ostendere trenda positiva scalare?
• Estne Bot compatible cum supplemento discendi compages, et quaenam sunt electiones quaedam sensibiles ad perficiendum maximizandum?
• Possuntne consilia boT applicari ad munera robotica real-mundi?
• Quae sunt commoda computationum obtentui attentionis?

doctrina imitationis experimentum

Manipulus aestimavit imitationem discendi perficiendi architecturae BoT in corpore operis tracking, quod per MoCapAct dataset definitum est.

Eventus in Figura 3a monstrantur, et videri potest BOT semper melius quam MLP et Transformer baselines facere. Notatu dignum est commoda Bot super has architecturas amplius augeri in invisis verificationis video clips, quae probat quod corporis conscii studium inductivum ad meliores facultates generales ducere possunt.

Figura 3b ostendit scalam BoT-Hardi esse valde bonam apta disciplina notitiae, quae fit per formam praeiudicii. Plura exempla infra monstrantur experimenta, vide chartam originalem ad singula.

Cognitionis experimentum supplementum

Manipulus aestimatus BoT supplementum discendi obeundo contra baseline utens PPO in 4 munerum roboti munerum in Isaac Gym. Quattuor opera sunt: ​​Humanoid-Mod, Humanoid-Board, Humanoid-Hill et A1-Ambula.

Figura 5 demonstrat mediocris argumenti redit aestimationem rollout in exercitatione pro MLP, Transformatore et Boti (Hard et Mix). ubi linea solida mediocri et opaca regio correspondet mensurae errori quinque seminum.

Eventus ostendunt BoT-Mix constanter MLP et primigenii Transformatoris bases formare in terminis efficientiae et asymptoticae operationis specimen. Hoc illustratur utilitas biesis integrandi a corpore robot in architectura retiaculati consiliorum.

Interim BoT-Hard originalem Transformatorem in simplicioribus operibus (A1-Walk et Humanoid-Mod), sed graviora opera explorationis difficiliora (Humanoid-Board et Humanoid-Hill) efficit. Cum obtentui operam obstant, propagationem informationum partium longinquarum partium, validas limitationes in communicationis informationis Bot-Hard impedire potest efficaciam supplementi eruditionis explorationis.

verum experimentum mundi

Isaac Gym ambitus exercitationis simulatae saepe adhibentur ad supplementum doctrinarum consilia transferre ab virtualis ad reales ambitus, non requisitis adaequationibus realibus mundi. Ut cognosceretur num architectura nuper proposita apta ad applicationes reales mundi, turma boT militarium supra ad robot A1 Unite instructum direxit. Ut videre potes e infrascriptis, nova architectura fideliter adhiberi potest in inceptis realibus mundi.

computational analysis

Manipulus etiam computationale sumptus novae architecturae resolvit, ut in Figura VI ostenditur. Proventus escendentes novi propositi palliatae attentionis et attentionis conventionalis in diversis seriebus (numerum nodi) hic traduntur.

Perspici potest quod cum 128 nodi sint (aequivalent robot humanoideo cum armis dexteris), novam attentionem celeritatis augere 206% posse.

Super, hoc ostendit corpus-deductum bipatium in architectura Botti non solum altiorem actionem corporis agentis emendare, sed etiam ex natura sparsa larva architecturae prodesse. Haec methodus insigniter potest reducere algorithmos per sufficientem parallelizationem disciplinae tempus.