nuntium

machina cordis compilation

author: omar khattab

editor: egg condimentum, zenan .

scribere chartam? id est unum parvum gradum.

in schola graduati, multi saepe confunduntur quomodo investigationem suam fabricant. quomodo investigationes peragere debemus ut differentiam habeant in campo iam conferto intelligentiae artificialis?

nimis multi credunt incepta diuturna, codicem proprium solvo, et bene cogitati-e benchestas non satis motivum esse - interdum potest esse aliquid quod cito et culpabiliter facis, et postea ad inquisitionem "realem" faciens revertitur.

nuper, omar khattab, discipulus phd in circulo nlp apud stanford university, emisit blog post disputantem de cogitationibus summorum ai scholarum de investigationibus impactibus facientibus.

videamus quid dixit;

investigationis impulsum in multas formas venit, et tantum focus in metior investigationis impulsum in ai per apertum fontem laboris (exempli gratia, systemata, compages vel benchmarks). quia pars propositi mei est ideas excolere meas, certas suggestiones recordare, et opiniones colligere, sententiam pressius faciam. si alias notiones habes, eas in area commentarii discutias.

et primo hic sunt principia gubernativa;

• focus in inceptis, non tabellis.

• potes "fodere foramen" eligendo aptam quaestionem quae plus habet evolutioni locus.

• duos gradus antecedere et cito iterari cogita.

• operam tuam publicam fac et ideas tuas promove.

• invenies vias ut te ipsum promoveas: hic apicibus sunt ad fontem apertum tuum crescendi investigandi.

• perge circumsede in tuo consilio cum novis tabellis.

• quintum punctum, "apicibus apertas fons investigationis explicandi", longiori sui articulo meretur. de illo in proximo poste scribam.

focus in projects

quam chartam

magna est haec cogitatio super quam reliqua omnia innituntur.

alumni exordium magni momenti ponet in primis paucis libellis edendis. sensus hoc facit: suus est quomodo investigationem facere discas, directiones initiales explorare ac mature progressum demonstra. sed haec scaena est quam tandem relinquere debes: detegere, res gestae et incrementa minora a numero chartarum pendent et plus a momento tuo et altiore contextu investigationis quam importas.

infeliciter, multi etiam phd discipuli considerant potissime mores impactful ut "unmotivating." hoc me confudit donec percepi quid significarent, ut actiones hae facultatem tuam retardarent ad tuam proximam chartam evulgandam. sed facultas tua proximam chartam tam cito edendi minoris momenti est.

moneo te non cogitare de opere tuo ut series chartarum separatarum, sed potius te ipsum interroga: quaenam visiones majores ducturus es, et quaenam sunt subagros vel paradigmata intus? quid interest, cum labore tuo vis facere? singulas igitur tabulas edes ad exploranda et probanda signa, dum maior visio debet esse quod studiose iterabis. oportet multo ampliorem quam chartam fert, et certe quaestio est quae nondum plene solvitur.

uno modo hoc facere est elaborare quasdam tabulas investigationum circa artificialia cohaerentia (ut exempla, systemata, compages, seu benches notas) quas in aperto fonte dominico conservas. hoc consilium est carius quam "aliquot experimenta currere et promptarium fugacem dimittere", sed problema te compellit cum realibus ictum et auxiliis invenire ut novae investigationes quae agis actu cohaerens et utilis: conatus non es. in parvam plumam vel cautelam inducendam quae supervacua est ad artificia quae enucleanda sunt et conservanda.

elige oportet quaestiones ad maiorem locus ad emendationem

potest "fodere"

non omnis charta quae scribis valet in infinitum collocare. multae chartae sunt unum-off ephemerides exploratoriae. directiones invenire quae in maiora incepta vertere possunt, sequentibus indiciis utere.

primo, dubitatio debet esse acies. multis modis definire potes, sed inaiefficax consilium in campo est invenire problema spatii quod "calidum" in 2-3 annis sed nondum amet factus est.

secundo, quaestio magna potentia fodiendi foramina habere debet, id est, multis amni quaestionibus ictum potentia. plerumque, eventus harum quaestionum prosunt vel commodae satis hominibus. investigatores et homines curant quid adiuvat ut fines suos assequantur, ut interrogatio tua sit aliquid sicut adiuvans alios res aedificandi vel investigationis vel productionis metas consequi. hunc spargum applica potes ad fundamenta theoretica, systema infrastructura, nova scamna, nova exemplaria, multaque alia.

tertio, quaestio maior margine relinquenda est. si narras populum suum systema esse 1.5 temporibus velocius vel 5% efficacius, quod fortasse non interest. mihi videtur quod problemata invenire debes ubi, saltem post annos laboris, spem non-nullam habes aliquid velocius faciendi, dic 20x citius vel 30% efficacius. profecto, non habes ibi omnem viam bene prosperandi, et non expecta donec ibi perfecte perveneris ad primam tuam chartam evulgandam vel primam operis partem emittere.

nolo nimis esse abstractum, utamur colbertt ad illustrandum. in fine mmxix, investigatio de applicando bert pro retrieval valde populare erat, sed hae methodi valde pretiosae sunt. quaerit natura, numne signanter emendare possumus huius accessus efficientiam? quid haec bona quaestio facit?

primum ipsum praefatum est. recte praedicere possumus quod ab 2021 (1.5 annis post), multi investigatores quaerunt architecturae retrievales efficientes innixa bert. secundo, multum spatii habet. nova ml paradigmata hoc modo tendunt quod maxime eiusmodi conatus efficientiam initio ignorent. re vera, accessus originalis 30 secundis respondere potest ad interrogationi respondere, nunc autem potest perficere superiores qualitates retrievalium 30 millium secundorum, quod est velocius 1,000. tertio, habet magnum fanout. retrievitas scalabilis problema est bonum "fundationis": quisque indiget aliquid aedificare super retrievers, sed pauci ea aedificare volunt.

puto duos gradus praemisit

et iterate cito

nunc problema quod bene habes, ne ruis ut deprimentem fructum ante te adventum tuum delectes! aliquando, saltem multum homines tandem "obvium" considerant aditum.

sed duos saltem gradus antecedens cogita. identidem iter plerique capiendi sunt, cum opportune haec quaestio tandem amet fit. deinde limites ipsius semitae cognosce et operare ad illas limitationes cognoscendas et compellans.

quid hoc simile in usu? colbert causam revisamus. patet modus aedificandi efficientem retriever utens bert est documenta encode in vectores. interestingly, per finem mmxix, solum ir opus hoc assecutus est limitatum. exempli gratia, opus citatissimum in hoc genere (dpr) solum primum impressum mense aprili 2020 dimisit.

hoc dato, putes rem in anno 2019 facere posse magnum exemplar unius vectoris ir per bert construere. e contra, ratus duos tantum gradus antecedens quaestionem petit: citius aut serius omnes unum-vectorem aditum aedificat, unde ergo hic unus-vector accedens fundamentaliter haerere potest? re vera, haec quaestio postea paradigmata commercii adducitur et exempla late adhibita.

ut exemplo, dspy uti possumus. mense februario anni 2022, sicut innuit plus ac potentior factus, claruit homines innuit uti fiduciae qualitatibus retrievalentibus, quam subtiliter ut ante. ad hoc autem naturaliter modum instituendi oportet. duobus adhuc gradibus euntes, quaerimus: unde talis aditus haerere? ultimo, accessus "recipe tunc generare" (vel rag) verisimiliter est simplicissima accessus quae lm implicat.

eisdem de causis homines in ea quaerunt, manifesto magis magisque studeant: (i) complexiones modulorum magis exprimentes; invigilare vel optimize inde universa pipeline. hoc est dspy.

secunda medietas huius regulae est cito iterate. hoc fortasse prima pars inquisitionis consilium consiliarium meum matei zaharia (sloan praemium victorem et conditorem apache spark) mihi in prima septimana meae phd dedit: cognoscendo locum ubi cito iterari potes et opiniones (sicut mora vel comproba. score) versionem problematis, quae casus tuos aenigma solvendi vehementer emendare potest. hoc maxime interest, si duos gradus antecedere cogitas, quod satis est difficile et incertum.

fac opus tuum publicum

ideas tua descendat in

hic bonam quaestionem repperisti et iterando servasti donec aliquid frigidum invenisti et articulum prudentissimum scripsi. ad proximam chartam ne transgrediaris. pro, intendunt eventus laboris tui in mundum exire et quaere veras habere interactiones cum hominibus, non solum de una charta emissione tua, sed de pictura magna quam strenue investigas. vel melius, sciant homines de instrumento aperto utili fonte quod aedificas et tuendo quod clavium notiones capiat.

communis primus gradus est preprints chartarum tuarum in arxiv evulgare et deinde "post" evulgare annuncians editionem chartarum tuarum. quod cum facis, fac ut stationem tuam incipias cum speciali, substantiali et intelligibili petitione. propositum non est dicere hominibus te chartam edidisse, quae nullius pretii est. (ita, scio difficile, sed necesse est).

forsitan potius, cum primo processu non terminatur "lorem," suus 'principium'. cum nunc in inceptis, non chartis tantum, notiones et communicatio scientifica per annum manebit, usque ultra chartas publicas separatas.

cum studentes studentes tween de labore suo adiuvant, non raro pro initialibus suis curam sperabant recipere. discipuli hoc saepe vident ut timorem suum investigationes publicandi confirment ac sumunt illud pro alio signo quod in proximam chartam se moverent. patet haec opinio falsa.

experientia personalis est, experientiae secundae, et observatio quae ostendit multum sensum ad perseverandum in hac re (quod obiter non multi faciunt). hoc est, cum raris exceptionibus, bonae notionis tractus postulat ut referas homines clavis rerum multiplicium temporum in diversis contextibus, et continue tuam ideam et tuam deliberationem excolendo, donec communitas has ideas in tempore crescere possit, vel usque ad . campus ad ius evolutionis gradum pervenit, ubi hae notiones facilius comprehenduntur.

motus collige

tips for publishing source open research

investigationi tuae homines concitari bona res est, sed rationes tuas tradere ad applicationes amni pertinentes per edendi, adiuvandi, et aperiendi instrumenta fons aperta saepe maiorem ictum habere possunt.

hoc facere non facile est: tantum fasciculos cum readme ad github imposuisti satis non est. repositorium bonum erit "domus" propositi tui, magis quam aliqua charta quam evulgaris.

bonum apertum fontem investigatio duas propemodum independentes qualitates requirit. primum, oportet esse investigationem bonam, novam, opportunam, bene consideratam, et accurate. secundo, oportet habere utilitatem claram et humilem frictionem.

haec est potissima pars: homines saepe vitabunt (et alii saepe utentur) tuum oss laborem pro omnibus causis "iniuria". exempli gratia, investigatio tua obiective potest esse "status artis", sed in omnibus verisimiliter homines condiciones minuente frictione prioritabit. ex altera parte, alumni alumni punctum saepe fallunt cur homines tuo instrumento utantur, exempli gratia, quia non plene utantur partibus creatricis tuis. hoc non est renitendum aliquid dignum, sed aliquid valet ad intelligendum et ad emendandum.

ex hoc, vellem pauca miliaria recensere ut operam darem cum ad exitum investigationis transmissionis patefacio.

fabella 0: fac editis content available

nullum punctum est in codice solvendo quod nemo currere possit. in tuo campo investigationis hi homines eventus tuos replicare volunt. forsitan ultra opus tuum transcendent et eventus investigationis tuae citant. hi patientiores sunt quam alia genera utentium. adhuc, invenias ingentes differentias in academicis ictum secundum quam facile est codicem repeciare.

fabella i: fac contentus editis utilis

praeter homines in tuo iussisti, fac remissionem tuam utilem audientibus, qui re uti volunt ad alia aedificanda. in investigationibus artificialibus intelligentia, hic lapis miliarius raro naturaliter venit. multum temporis ad cogitandum de quaestionibus collocandis homines solvere conantur (investigationis, productionis, etc.) et ubi opera tua ai adiuvare possunt. si recte hoc facere potes, multa beneficia habebit, ex consilio propositi ad api expositos et documenta/exempla proposita.

fabella ii: intelligibile fac solvo

hoc durum est pro inquisitoribus ai, sed scire debemus versionem utilem, ubi omnia technice praesto sunt et aliquantum explicabile, non significat plures utentium potentiarum tuarum hanc reperire versionem facile est ad intellegendum et ad eas conservandas. discendo vel experiundo.

nota ai scolaris andrej karpathy scripsit articulum de hac re: "aliquid aedificas, et aggeres condere debes ut ad eam". ben clavie etiam latius de hoc scripsit, et fuit magna pars operis, quod in colbert fecit, et magis appropinquavit.

fabella iii: figure ex causa manifesta modo defecit et patientes estote

nos coepimus loqui de duobus gradibus ante cogitare. hoc pendet in mea sententia, sed etiam significat quod plerique non intellegunt cur solutione quaestionis indigeant nondum clare observare possunt. puto partem officium tuum super tempus causam aedificare. argumenta collige et viam facili ad intellegendum explica cur alterna (puto unum gradum ad tempus) deficiant.

fabella 4: intellige genus users et pressionibus hoc ad incrementum

cum colbert et dspy coepi, investigatores et professionales ml fabrum primus auditorium meorum fuit. subinde didici me dimittere, et ad maiorem audientiam pervenire posse intellexi, sed diversa volunt. antequam aliquid agendo, non indirecte vel etiam directe intercludunt diversa genera potentiarum utentium. haec res multo frequentior est quam homines existimant.

secundo, cum quaerimus utentes, necesse est invenire stateram inter utentium genera. ex altera parte, artifices periti cum casibus adhibitis provectis postulare possunt ut multam pecuniam investiunt, sed certos casus usus in investigationis sensu impellere solent, qui reddere possunt. constructores publici, contra, de more non ml periti sunt, sed saepe suas literas in publico aedificant et communicant, ob maiorem partem magnarum incrementi, et plus de hypothesi tua cogitabis. utroque eget.

fabella v: turn interest in civitatem accrescens

vera successus laboris oss in praesentia communitatis consistit eiusque continua incrementa sine tuo labore. communitas bona organica esse debet generaliter, sed strenue laborare debes ad adiuvandum formandum, ut acceptis contributionibus et disputationibus, et quaerunt occasiones ad usuram vertere in contributiones vel aliquod forum (ut discordia vel github).

fabella 6: studium converte in opera activa, collaborativa et modularis in amni inceptis

casus sunt, consilium tuum oss in primis temporibus difficultates omnes in visione originali tuo non solvit. consilium bene designatum saepe plures habebit partes modulares, quae te permittunt ut investigationis cooperationes (vel alios conatus) incipiant et nova membra iunctos non solum ad inceptum promoveant, sed etiam suas significantes partes incepti efficiant, ut celerius vel maius influentiam reddant. suas ideas dum obturbat emendare documentum. exempli gratia, dspy currently has turmas separatas ducens conatus r&d in modo in tempore optimiizationis, abstractionis programmandi, ac discendi subsidia. partes colbert, ut applicationes externae programmationis interfaces, subiacentes infrastructuram retrievalium, et nuclei exemplares principaliter a diversis hominibus in diversis inceptis impelluntur.

age, epitome. adoptio fontis aperti investigationis bonum investigationis requirit ac bonum fontem apertum consequitur. haec aequilibrium difficile est ad feriendum, sed cum recte accipis, potest esse maxima remuneratio. personaliter, hoc me diu comprehendere et internescere cepit. hoc iteratae opiniones a meis doctoralibus praefectis, chris potts et matei zaharia, necnon magni pretii initus ab heather miller et jeremy howard.

criterium aestimandi investigationis est "incrementum" cum praecedenti cognitioni comparatum, sed antequam significanter "incrementum" abutitur, ipse software efficax esse debet. ut software ut efficax, eius documentum etiam efficax esse debet: homines omnes vias amni quas putantur non vident nisi programmate uti demonstras. hoc est, donec haec munia a communitate independentis explicari possunt.

his dictis omnia, quae praecipua in hac sectione solertia est "evulgare", re vera divulgare, saepe evulgare et inde discere.

novam chartam divulgare

permanere inchoare tua consilia

cum quintam regulam legeris, naturale est quaerere: ubi alumni tantum tempus habent in aperto fonte programmatis? quando investigatio realis fieri potest?

practica responsio est frequentissimum tempus in aperto fonte consumptum adhiberi posse ad novas et excitandas investigationes peragendas. duo non sunt distincti ut videntur. cur id dicis?

primum, cum in fronte huiusmodi operis programmatis opens fons permittat, ut novas difficultates valde mane in intuendo cognoscas. rem magis natura cognosces quam vis aliter. praeterea communitas quam aedificas saepe rectas opiniones in tua methodo prototypa praebet et tibi aditum praebet ad fautores ingeniosos qui momentum problematis intelligunt. etiam accessum ad "canales distributionis utiles" comparabis ut omnes chartas novas quas in hac provincia divulgas ad audientiam tuam perveniat ac tribunal tuum confirmet.

exempli gratia "colbert" charta ineunte 2020 non modo est. nunc probabiliter habet decem vel chartas cognatas sequentes, in meliore disciplina collocando, vestigium memoriae inferioris, infrastructuram retrieval citius, melius aptabilitatem dominii, et melius congruens cum amni nlp operibus. item, dspy charta non est, sed collectio chartarum in abstractione programmandi, admonitus optimiizationis et programmatum amni. multae harum chartarum a variis auctoribus praestantissimis scriptae sunt, eorumque opus ingens ictum habuit, partim magno auditorio creando per canales programmatum apertum.

bonum igitur instrumentum apertum fons opera modularia creare potest, quae a novis inquisitoribus et contributoribus explorari, possideri et evolvi possunt.

relatio originalis textus: https://github.com/okhat/blog/blob/main/2024.09.impact.md