nuntium

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Nova Sapientia Report

Editor: Editorial Department

[Introductio ad Sapientiam Novam].Investigatores apud MIT CSAIL invenerunt LLM simulationem enucleasse rei "altae in corde suo", et exemplar intellectus linguae et mundi multo plus quam simplex "psittacus". Aliis verbis, in futuro, LLM linguam profundius intelleget quam hodie.

Quam longe est LLM a mundo exemplar?

Anno praeterito, articulus MIT miram conclusionem invenit: intra LLM, exemplar mundi est.

LLM non solum superficiem statisticam discit, sed etiam exemplar mundi discit inter latitudinum fundamentalium ut spatium et tempus.

Non solum quod, MIT nuper repertum est penitus in LLM, rei simulatio elaborata est, eorumque intellegentiae linguae imitationem simplicem longe processit!

Charta inscriptio: https://arxiv.org/abs/2305.11169

Speciatim duo scholares de MIT's Computer Scientia et Intelligentia Artificialis Laboratorium (CSAIL) perspexerunt —

Etiamsi LLM ad discendum linguam programmandi utens solum propositum "predicandi signum proximum", quod solum probabilitatem statisticam includere videtur, exemplum tamen formalem semanticam progressionis discere potest.

Hoc suggerit linguarum exempla ut propriam rerum cognitionem excolere possint ad eorum generativas facultates emendandas.

Propterea LLM aliquando linguam profundiorem intellegere potest quam hodie.

Articulus hic ab ICML 2024 acceptus est, et codice usus in experimento GitHub editus est.

CELLA inscriptio: https://github.com/charlesjin/emergent-semantics

Sine oculis LLM videre non posset?

Roga GPT-4 ut campsitum pluvia madefactum olfaciat et blande recuset.

Attamen tibi poéticum dabit. Est recens terrenus odor, et pluviae refrigerium, Pini vel udis foliis.

GPT-4 numquam pluviam vidit nec nasum habet, sed textum imitari potest qui in magna copia notitiae disciplinae est.

Par oculorum inopiam significat quod exemplar linguae numquam intellegi potest "leo maior est quam domus cattus"?

Potestne LLM intelligere realem mundum et varias notiones abstractas? An tu tantum "parroting" et pure in statistica probabilitate fretus proximum indicium praedicis?

Opus principium LLM mysterium insolutam adhuc est. Magnae latinae in AI circulo disceptationem de hac re subinde incipiet.

LeCun firmiter credit intelligentiam LLM certo plus aequo aestimari! Praeclarissima eius assertio est "magna lingua exemplar non tam bonum quam felem domi".

" Feles meminisse possunt, mundum physicum intelligere possunt, actiones complexas excogitare possunt, et quodammodo ratiocinari possunt. Hoc est actu melius quam maxima exemplaria sicut machinis animalia.

Multi id exponunt ut phaenomenon mere statisticum. LLM iustus est "parroting" et textum imitans, qui in magna corporis institutione exstat.

Nunc autem, MIT investigatio probat hanc causam non esse!

Intra LLM, certus est rerum cognitio.

LLM formidat Karel puzzle, quid est?

Ut hoc mysterium explorarent, investigatores in MIT CSAIL statutum parvae Karel Puzzles excogitaverunt.

Breviter inducere quod Karel est aenigma

Hoc includit exemplum instructionis usum ad actiones roboti in ambitu simulato moderari.

Karel Grammatica Specification

Tunc LLM instituunt ut certam solutionem discant sine demonstratione quomodo operatur.

Demum auctor proponit machinam discendi ars dicta "perscrutandi" ad altiorem intelligentiam "processus cogitandi" cum exemplar novas solutiones generat.

Indagator exempla formandi formando facit ut temere referat propositum, deinde exempla 5 incertis initibus et propositum perficit ut 5 outputs respondeat. LM instruitur ad proximam coniecturam in corpus exemplorum, quod in putibus et outputs consistit, sequitur relatio procedendi. In tempore experimento, investigatores praebere LM cum invisibilibus inputatione et output specificationibus et usu avari decoding ad rationem praedicendi.

Post exercitationem plus quam 1 decies centena millia temere sollicitat, investigatores invenerunt exemplar sua sponte conceptum ambitus simulatae subjectae formasse! Tametsi haec in exercitatione indicia non sunt obnoxia.

Effectus hic non solum nostram inhaerentem impressionem LLM provocat, sed etiam quaestionem nostram de natura processui cogitandi — .

Quibus generibus informationes necessariae sunt in discendo semantica?

Ineunte experimento, instructiones temere ab exemplari editae paene impossibiles erant currere;

Jin, primus auctor chartae dixit, "Hoc momentum valde excitandum est quod censemus, si exemplar linguae latinae negotium cum hac accuratione perficere possit, etiam exspectamus ut sensus linguae possit intellegere."

"Hoc initium nobis dedit explorandi num LLM textum quidem intelligere posse, et nunc videmus exemplar multo plus posse quam temere verba inter se implicare".

Open LLM cerebrum est

Per hoc experimentum, Jin hoc progressum testatus est.

Cur LLM haec mandata sibi vult?

LLM invenit simulationem domus suae in- evolutam quomodo robot respondendo moveret ad unumquemque mandatum.

Cum exemplaris facultas solvendi difficultates difficultates solvendi altior altiorque fit, notiones istae magis ac veriores fiunt, quae docet LM instructiones intellegere incipit.

Ante longam, LLM constanter frustula recte in instructiones operis conglutinata erat.

Semantic content metiri a diversis specillo classifiers (viridis)

cogitandi probe

Praecipua collatio ad supradictas inventiones est "specimen cogitans".

Hoc instrumentum efficax est ut processus cogitandi interveniendi in LLM.

Speciatim status LM continet tabulas mere syntacticas programmatum initus et genera- tarum, sed specillum videtur discere posse interpretationes abstractas intelligere.

In ipso experimento, auctor primum LLM status notitiarum vestimentorum construxit, et deinde normas methodos discendi invigilavit ad parvum exemplar ut specillum instituendi, ut linearis classificans vel 2-circuli MLP.

Semanticum contentum currentis et proximorum duorum civitatum abstractarum in media parte disciplinae (I-strati MLP)

Sed magni momenti quaestio est, quod specillum separandum est ab actu cogitationis processu exemplarium vel instructionum generatarum.

Tametsi solum speciminis propositum est "cerebrum LLM ingredi", quid si etiam ad exemplar aliquid cogitet?

Inquisitores quid efficere debent ut LLM instructiones sine specillo intelligere possint, quam speclum habentes actiones robotae in LLM syntaxis fundatae.

Finge fasciculum esse notae modum descriptam cogitationis LLM, ubi partes speciminis est sicut analysta forensis.

Hunc acervum notitiarum analyticum dedimus et ei dixerunt: "Hic est motus roboti. Experiamur quomodo robot moveatur in hoc acervo notitiarum." .

Sed quid si hic acervus notitiarum rudium instructionum modo encodes, et analystae aliquatenus callide excerpendi praecepta et actum in illis excogitarunt?

In hoc casu, LLM sensum horum praeceptorum omnino non intellegit.

Ad hoc, investigatores ingeniosum consilium fecerunt: "novum mundum" creaverunt ad exemplar.

In hoc mundo, imperium significatio speciminis invertitur, ut "sursum" revera significat "descendere".

Exempli gratia, exec(turnRight,·) in semanticis originalibus robot ad 90 gradus horologiorum gyrari faciet, dum exec adversaria (turnRight,·) robot in spatium ventilabit.

Hoc efficit ut specillum "opportunisticum" non sit et directe discit et intellegit quomodo instructiones LLM encodes.

Unus auctor Jin hoc modo induxit.

Si specillum ad instructiones transferendas in locum roboti, aeque capax erit instructiones transferendi cum sensu insolito.

Sed si specillum reapse quaereret delatam archetypi motus roboti in lingua cogitationis exemplar, tunc arduum tempus debet extrahendi infandum roboti motus ex processibus cogitationis originalis.

Inventum est specillum errores translationis habuisse et exempla linguarum interpretari non potuisse diversis significationibus instructionis.

Hoc significat originale semantica in exemplar linguae infixae, significans LLM intellegere posse instructiones debitas independenter deprehensio classificantis originalis.

Prima medietas describit quomodo duae condiciones in summa contentum semanticum mensurarum ante interventum consecutae sunt. Pars inferior ostendit cur duae hypotheses sint separatae: si repraesentatio LM tantum grammaticam (inferiorem sinistram continet), tunc specillum alt instituere debebit ut tabulas interpretandas in terminis alterius status prog (audax rubra resultat) attamen, si repraesentatio LM continet statum originalem abstractum descriptam (imo rectum), tunc alt detectionem requirit extrahendi alterius status 'prog' ex prog statu originali, in inferiore contento semantico resultans (proventus griseus audax)

LLM linguam intelligit, sicut puer

Interestingly, Jin invenit intelligentiam linguae LLM in gradibus proficere, sicut pueri linguam discunt multiplicibus gradibus.

Primo, sicut infans garriet, et verba eius repetita erunt et pleraque difficilia intellectu.

LLM deinde incipit regulas grammaticae vel linguae colligere ut praecepta generare possit quae tamquam solutiones reales spectant, sed adhuc non laborant.

Sed LLM instructiones paulatim emendant.

Cum exemplar significationem acquirit, incipit generare instructiones ad rectam exsecutionem specificationis requisitae, multum sicut puer sententias construens.

Eventus in Figura monstrantur 2. Videri potest intelligentiam linguae LLM in tres gradus fere divisam esse, sicut pueri linguam discendi.

• Garrula (pars cinerea): circiter 50% totius processus disciplinae occupat, programmata valde repetita generat, et accuratio stabilis circa 10%

• Syntaxis acquisitionis (pars orange): 50% ad 75% processus disciplinae, diversitas proventuum generatorum auget acrius, attributorum syntacticorum mutationem signanter, et exemplar incipit exemplar exemplar progressionis, sed subtilitas generationis est The. melius non est manifesta

• Acquisitio Semantica (pars lutea): 75% disciplinae processus fines, diversitas paene immutata est, generatio vero accuratio signanter auget, significat cessum intellectus semantici.

Experimentum adhibitum est tres architectonicas ad comparationem diversarum scrutantium, scilicet classificantis linearis, unius iacuit MLP et 2-circuli MLP.

Cum praedicens 2 gradus antecedens, absolutus valor praedictionis MLP 2 iacuit accuratior altior est quam exemplar baseline praeditum cum statu praesenti. Fieri potest ut coniecturari possit quod antequam LLM instructiones generat, eius processum cogitandi et "intentio" instructionum generandi intra exemplar repositae sint.

LLM = mundi exemplar?

Hoc studium explicat quomodo LLM cogitat de significatione cuiusque instructionis in notitia institutionis et responsionem roboti praeceptis in suo interno statu simulat.

Haec omnia ad nucleum quaestionis currentis AI investigationis designant - mirae sunt facultates LLMs simpliciter propter magnas statisticas correlationes, an eveniunt in significativa earum realitate intellegenda?

Investigatio ostendit LLM internum exemplar edidisse quod veritas simulata, quamvis numquam ad exemplar illud explicandum institutus fuerit.

Exempla autem linguae latinae altius penetrare possunt intellectum linguae.

Sed una charta sola non potest huic quaestioni plene respondere.

Auctor Jin etiam admisit hanc investigationem aliquas limitationes habere: solum simplicissima programmandi lingua Karel usus est et exemplar architecturae simplicissimae explorationis.

Opus futurum in experimentalibus fundis magis generalibus incumbet, ac etiam perspicientias in "cogitationis processu" LLM plenae adhibebit ad methodos instituendos emendandos.

Rinardus, alius auctor huius articuli, dixit, "An interesting aperta quaestio est, cum robot problemata navigationis solvenda, LLM interna realitatis exemplar ad ratiocinandum de re utitur?"

Quamvis eventus qui in charta propositii hanc conclusionem sustineant, experimentum ad hanc quaestionem solvendam non fuit.

Ellie Pavlick, professor adiutor in Department of Computer Scientia et Linguistica in Universitate Brown, investigationem valde laudavit.

Dixit intelligere quomodo LLM opera sinit nos plus habere exspectationes rationabiles de insitis possibilitatibus et limitationibus huius technologiae. Hoc studium prorsus hanc quaestionem explorat in ambitu moderato.

Codicis computatorii, sicut lingua naturalis, tam syntaxin quam semanticam habet;

"Consilium experimentum elegans est et eorum inventiones pollicentur, suggerentes fortasse LLM profundiorem intelligentiam linguae "significationis" praebere posse.

Auctoris introductio

Primus auctor huius articuli, Charles Jin, est candidatus PhD in Department EECS et CSAIL Laboratorium MIT. Praefectum suum Martin Rinard, alius auctor huius articuli.

Jin lectus a Universitate Yalensi cum gradu baccalaurei et gradus magistri in scientia computatrum et mathematica.

Notae:

https://the-decoder.com/training-language-models-on-synthetic-programs-hints-at-emergent-world-understanding/

https://news.mit.edu/2024/llms-develop-own-understanding-of-reality-as-language-abilities-improve-0814