2024-09-27
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
contentum huius articuli est"quae collocandae in agix"de " 6 capitula.coniunctio est ex 40 "altis ai munditiae" societatibus delectis mille societatibus technologicis circum orbem terrarum recensitis. agix index coordinatus est ad processum agi collocandum, et etiam instrumentum pretiosum praebet pro obsidibus ad ai-alpha capiendum. in sectione "quae in agix collocare", in profundissima analysi portfolio turmas agix index agemus et pro mercatura obsidionem comprehensivam ai praebebimus.
tesla unus e summis 10 societatibus in agix index librarium tenensnuper, tesla inauguravit in secundo fluctu stipitatis pretium ortum anno 2024, non solum ad summum gradum in duobus praeteritis mensibus attingens, sed etiam omnes declinationes hoc anno delens et sursum vertens .
tesla die x mensis octobris publice robotaxi liberabit. exspectatur ab 2029, prope 90% incepti teslae valor et quaestus taxi negotii sui tribui.hac septimana, tesla etiam pretium optionum fsd deposuit ut novas venditionesque carrum augeret. eodem tempore, auctum optionis fsd, adiuvabit tesla plura colligere notitia ad meliorem fsd effectum. quamvis optimi roboti mercaturae magnae adhuc abest, si optimus operariorum officinas tesla reponere et efficientiam humanam emendare solebat, fructus magnopere emendari possunt proximis quinque annis instruere potest salvum facere usque ad us$ 3-4 sescenti in gratuita.
01.
incessus sui iuris est simillimus agi
sarah guo:quid censes progressionem incessus sui iuris hodie? quousque dum videmus sui iuris incessus invalescere?
andrej karpathy: laboravi in agro pulsis sui iuris per 5 annos et hunc campum valde interesting invenio. iudicans ex progressu huius campi, sui iuris incessus et agi simillima sunt. fieri etiam potest quia familiarior sum cum agro incessus sui iuris, sed sentio nos esse prope agi in agro incessus sui iuris exempli gratia, iam producti formati ab usoribus pro mercede adhiberi possunt. waymo exemplum bonum est. waymo nunc frequentissimum in san francisco est et multi homines experti sunt.
prima mea experientia cum waymo ante annos prope x fuit. amicus pro waymo tempore laboravit et me in waymo equitare circa totum scandalum suscepit iam ipsum bonum estsed processus e demo ad efficiendum opus magnum in urbibus scalae 10 annos explicavit.
elad gil:accepit a demo ad x annos productum feliciter solvit. cum putatis sui iuris incessus technologiam paratam fore?
andrej karpathy:cogito autonomiam incessus iam ante 10 annos satis maturam pervenisse, sed demom 30-minutam non possunt plene demonstrare omnes provocationes quae in praeteritum 10 annos versantur cursus, erunt aliquae regulatoriae rationes.
sed agi puto perventum esse in campo sui iuris, aliquatenus incessus. eodem tempore magnum intervallum est inter demoing et globaliter promoveri.etsi waymo iam in san francisco currit, nondum valde substantialis ictum habuit et consequitur prospectum popularis in mercatu globali. hoc est ubi cogito agi et incessus sui iuris sunt similes.
retro ad campum sui iuris incessus;multi putant waymo technologice antecedere teslam, sed ego personaliter existimo teslam actu praecedere quam waymo.
tesla quaestiones software-gradu facit, dum provocationes waymo ex hardware veniunt. tesla vehicula in magna magnitudine circum orbem explicavit, cum waymo adhuc illam scalam nondum attigit. ideo credo olim systema teslae magna magnitudine perfici posse et efficaciter currere, eventus mirabilis erit. ego iustus test recentem versionem fsd heri expuli et experientia pulsis valde levis erat. series operationum systematis gubernationis teslae autonomae fac me sentire tesla satis bonos eventus in activitate sui iuris hodie consecutus esse.
overall, maximam puto provocationem pro incessus teslae sui iuris esse ex prospectu programmatis, dum provocationes waymo magis ex ferramentis veniunt. ex hodierno prospectu, waymo fortis esse videtur, sed credo, si per x annorum tempus spectes, tesla ulteriorem praeveniet secundum exemplar scalae et reditus.
elad gil:quamdiu putas problema programmatum solvere? vehicula quae modo dixisti waymo habere multos lidars et sensores pretiosas habent. haec ferramenta subsidia programmatis rationi praebent. si, sicut tesla, ratio camerae solum nititur, non solum signanter sumptus minuere, sed etiam multiplicitatem minuere potest. ratio. quando haec mutatio verisimile erit?
andrej karpathy: ipse intra paucos annos spero fore. revera, tesla multum etiam sensoriis pretiosae in periodo disciplinae usus est, et multas etiam technologias fecit quae magno pretio promoveri non possunt, sicut wireless.lineae sensoris fidunt exemplar inquisitionis et tabula destinata, etc.per tempus probationis, tesla hanc notam in sarcinam testam collocavit quae solum in systemate visionis nitebatur eamque in vehiculis productionibus explicavit. multi homines non animadverterunt hanc esse valde callidissimam "arbitragium" inter sensores et gratuita. quia camera satis informationes capere potest, network neural ad hanc informationem expediendas etiam capax est. in disciplina temporis, hi sensores valde utiles sunt, sed in probatione temporis, eorum munus non est magni momenti. ita satis credo camera freti.
elad gil: recens inclinatio in campo sui iuris incessus est ut ab algorithms heuristica paulatim derivare constituto in extremis casibus ad finem usque ad altam doctrinam.
andrej karpathy: finis est actu quod ab initio facere voluimus. cum primum tesla coniunxi, reticulas neurals demum tractavimus totum acervum technologiae reponere. multum c++ in ratio tunc temporis erat, sed hodie perexiguum est c++ codicem currens in testam suite. neural retia paulatim ea restituerunt. primo, retiacula neural ad imaginum processus recognitionem tantum adhibita sunt, et postea ad multiplices imaginum imagines divulgandas et praenuntiationem generat subinde, c++ codes paulatim substituti sunt. ultimo, ratio tantum necessitates ad instructiones impellendas, ac neural retis eventus outputare potest.
itaque quod tesla agit, finis ai pulsis est ad finem, sed waymo probabiliter hanc viam technicam non elegit. etsi probatum est, eventus non satisfacit.
ego personaliter credo viam finis-ad finem rectam esse et ineluctabilem directionem futurae evolutionis.si hoc prospectu spectes, systema tesla decem annos in retis neurali fine ad finem evolvere verisimile est, ubi amnis video initus est et instructiones incessus protinus output sunt. utique hic processus requirit gradatim emendationem cuiusque moduli rationum. non puto omnes praedictiones hodiernas intermedias in processu evolutionis fallaces esse; contra, magna pars systematis sunt. quia cum formatio retis neuralis omnino finis-ad-finis, moderatio signa fingendi humanos incessus valde limitata sunt, nec sustinent institutionem tantae retis. praedictiones mediae notiones et detectores augere possunt, et finem ad finem quaestionis magis possibilitatem efficiunt. coniicio itaque me multum prae- struendi se facere, ut permittas fine-ad-finem fine-tuning in futurum.
altiore, puto processum reticulorum neuralis reponens totam acervus technologiam necessarius est, sed processus paulatim esse debet. teslae hodierni conatus initiales eventus ostenderunt, homines plenos exspectationum in futurum.
💡
praedictiones mediae:effectus non finales seu output generantur per exemplar disciplinae vel consequentiae. hae praedictiones intermedias gradus in multi- gradatim processu calculi debent, exemplum adiuvans paulatim ad exitum adeundi. utilia sunt in implicatis operibus, ut in deliberatione hierarchica, in translatione machinae, vel in multi- tudine discendi, ubi hi intermedii eventus aestimari possunt ad exemplar perficiendum, ad rectam biames, vel ad exemplar institutionis emendandum. accedit quod intermedia praedictiones adiuvant ad interiora exemplaris opera explicandas et ad exemplar hitur referendum praebere possunt.
02.
tesla est etiam societas robotics
sarah guo: priusquam tesla discedas, etiam in teslae roboti instrumenti humanoidei participasti. ex autonomia incessus ad robotas, quaenam technologiae transferri possunt?
andrej karpathy: plerumque omnes technologiae migrari possunt. sed puto homines hoc nondum percipere posse.non multum interest inter robots et currus. cogito simpliciter teslam intelligere sicut societas carra actu erroris eius.
tesla revera magna est societas robotica quae non solum cars producit, sed etiam machinas automated fabricat. productio missa longe diversus est campus, et puto tesla societatem esse quae roboticis permagnis specialibus praebet.
migrans ab technologia autocineta ad robotica humanoida non multum requirit actu extra opus. re quidem vera, primus optimus robot etiam currus esse putabat quia isdem computatris ac cameras ut currus utebatur. interestingly currebamus retis neuralis carros in robot destinatis, et cum robot circum officium ambulabat, "spatium agens" idem actu factus est "spatium ambulabile". dum aliquid bene hitur quaeritur, haec mobilitas technicae artis demonstrat.
sarah guo: ex quodam prospectu tesla haberi quidem potest ut societas robotica, et multae nuclei technologiae trans suggesta migrare possunt. pars praecipua, quae robotarum productionis carent, est revera mechanismus exsecutio et actio data coniunctim.
andrej karpathy: ita, licet nonnulla loca nondum perfecta sint, illustrare cupimus multas technologias directe migrare posse. exempli gratia, optimum consilium celerrime incepit. postquam elon musk consilium denuntiavit, iunctiones et instrumenta talium cito posita sunt. cad exempla, copia vincula, cetera celeriter parata sunt. illo tempore sensi tesla actu iam satis copiosas copias robotis faciendis interne habuisse, quae omnes e carris tesla desumptae sunt. sensus hic aliquantum simile est iis quod "transformatores" demonstrant. postquam autocinetum in robot mutat, omnia eadem sunt, sed aliquae res leviter accommodandae et conformatae sunt. praeter hardware, tota sententia, iugis annotationis, coordinatio inter varias sectiones componentium, etc mutabitur. sed generatim aliquae experientiae et facultates transferri possunt.
elad gil:quid censes primam applicationem missionis robotarum humanoidum fore?
andrej karpathy: multi homines putent robots adiuvari posse ad opera quotidiana sicut lauandi facere. sed longum tempus has technologias ad effectum adducendum puto. non puto directum ut-consumentis bonum principium esse robotarum humanoidearum, quia adhuc salutem robotorum plene curare non possumus, cum inter se occurrunt cum hominibus sicut senibus, sicut accidentia vitantia sicut "tunditur". anicula", hoc genus condicionis ingentes periculorum iuris dabit, ideo hanc partem non idoneam puto. etiam in multis missionibus simplicibus commercium, robots solent homines directe evertere.
sed hodiernae technologiae satis maturescere non est ac ulteriore emendatione indigere. ideo censeo pro robot tincidunt, optimum emptorem in primo stadio ipsum robotam esse. si robot tincidunt id percipere possunt, primum faciendum est ut his technologiae interne pro incubatione utantur, deinde applicari potest in officinis. , ut materia tractatio (tractatio materialis) et cetera, ita ut non oporteat contractum cum tertia parte subscribere, vitando gravia processus advocatorum et contractuum.
post internam incubationem et successum, ad forum b ingredi potes et cum aliquibus manipulis cooperari cum magnis negotiis horreis ad operas praestandas ut materiales pertractatio. in his cooperationibus, societates roboticae mercaturam securitatis construere possunt, et, postquam multiplicatis societatibus exsequuntur, paulatim transire possunt ad applicationes consumpturas ordinandas. credo nos multos robots evolutas usores in futurum futurum.
cum robots populares in variis missionibus fient, oecosystematio completa erit, hoc est, omnes varias robotarum rationes, quae in suggestu robot fundantur. sed e libra prospectu, gradatim progressionis iter aequissimum esse puto.
incipere potest tractando aliquas materias tractationes (tractatio materialis) ad opus cognatum, et paulatim dilatatur ad angulum magis et altum exigendi areas. unum item quod ego praecipue quaero personaliter is "folium ceraula". exempli gratia, una die videre possumus optimos robots in plateis ambulantes et omne folium delapsum sensim legere, ita ut non iam opus sit ut cornicines folium. puto hoc magnum consilium esse et spero hoc fieri posse ut prima application missionis missio.
sarah guo: secundum formam robotam, aliqui putant robots humanoidorum melioris electionis fore, quia multae cogitationes in mundo naturali hodie fundantur in moribus hominum habitibus, ideo forma evolutionis unificatae ferrariae evolutionis quae ex robots humanoideis magis magisque munia complere potest. . quid de hac re cogitas?
andrej karpathy: puto plures homines actu minoris multiplicitatem fixarum sumptuum diversarum suggestuum robotarum. quisque suggestum robot magnum certum pretium requirit, ideo via robot universalis magis rationabilis erit attentare.
ita censeo robots humanoidales magnas potentias actu habere, et homines facile eas continent remotius ad colligendas notitias adiuvandas. eodem tempore, sicut unus e prospectibus, quos modo dixi, totus mundus circum mores et habitus hominum versatur, quae alia causa est cur robots humanoides magni momenti sunt.
nimirum variae mutationes in futurum robots humanoidales possunt, sed pro quolibet suggestu robot novo, fixum sumptus, magna quaestio est quae considerari debet.
illud etiam confirmare volumus quod magis communicantes informationes et discentes inter se lucrabuntur inter opera diversa.
in agro ai, reticulum neurale volumus aedificare, quod multa negotia tractare possit atque ab invicem discamus per multiplices labores altiorem gradum intelligentiae emendare. res iucunda de exemplaribus linguae latinae est quod multi-negoti exempla praebent ad textum processus expediendum, multas difficultates genera tractare potest, cum informationes etiam communicantes inter haec opera. sed haec omnia opera per unum reticulum neurale actu peraguntur.
item speramus fore ut notitia collecta per folium legendi opera alia opera perficiat, sed si systema specie ad certum munus evolvatur, marginem lucrum tuum coarctari potest.
sarah guo: robots sicut unitreum g1 sunt currently precii circa us$300,000., summus munus flatdifficillimum est ad stateram, sed si structuram rotatam adoptamus et brachium roboticum ad specifica munia complendum adiiciamus, annon melioris casus est ut robot generalis propositum magis cost-efectivum cognoscendi habeamus?
unitree g1 robot
andrej karpathy:sensum facit ex prospectu ferramentorum ad pulpita quaeramus vilis consilii generalis. in quibusdam adiunctis, utilior potest esse optio ut rotae et aliae structurae loco pedum ad opera perficienda utantur, sed puto hanc solutionem meliorem localem sequi posse. dum detegere, probabiliter puto sapientiorem esse unam formam decerpere et eam ad perfectionem expolire. et ex hominum psychologica prospectu, commoda robotorum humanoideorum manifestiora erunt.
utique, considerans effectum insolitum vallis, fortasse formae abstractae gratiores erunt cum usoribus. quia revera non sum certus quomodo homines agere possunt ad varias robotarum formas. si finem cum monstro rotato octingentos ut perficias opus, non sum certus populus vel magis timebit.
elad gil: canes mechanici sunt etiam formae meatus, et canes sunt etiam formae familiares hominibus.
andrej karpathy:ita, sed multi, qui "speculum nigrum" observaverunt, canes mechanicos cum quibusdam horroribus scaenae coniungere possunt, ideo omnium acceptio psychologica erit alia ejus munera et mores.
elad gil:si humanoidem formam assequi velimus, quid cardo progressionis opus est ut ex prospectu technico?
andrej karpathy: non puto adhuc huic quaestioni clare respondere. una plus interesting disputationum hic est quod in consilio robots humanoideorum, corpus inferius ad doctrinam imitandam non convenit. haec pars magis inversa pendulum continet imperium , notitia collectio et finis doctrinalis. quodammodo rationes roboticae multiplices technologias colligere necesse est, sed non satis certum habeo quomodo hae systemata inter se laborent.
💡
pendulum inversa:pendulum in instabili recta positione involvens, quaestio est classica temperantiae latis applicationibus in roboticis, aerospace aliisque campis. institutio inversa penduli moderandi modos includunt pid imperium, regulator quadraticus linearis (lqr), modus devolvens imperium, etc.
cum ai evolutione, subsidia methodi discendi paulatim in ditionem pendulorum inversae introducuntur. sub rl semita, multam attentionem advertit propter facultatem ad novas rationes discendi sine exemplaribus accuratis. penduli inversa moderatio temperamenti algorithmus in supplemento doctrinae fundata est technologia valde practica et late adhibita in roboticis, automationibus et aliis campis.
elad gil: cum communicare cum quibusdam hominibus in campo robotico, inveni eas de rebus valde sollicitus esse ut potentiam coegi, imperium, et digitales manipulationes.
andrej karpathy: ita, opinor, in primis temporibus, multi quidem erunt missiones remotae potestate, ut robots immittere res ex terra homines imitari, donec systema 95% temporis autonome currere possit. paulatim deinde proportionem operis roboti auget, homines ab operariis ad fabris mutationem permittens.
re vera nullas praecipuas technicas impedimenta puto.iam habemus instrumenta et facultates proprias, sicut architecturae transformer. haec technica est ut praeclarus "coordinator". quamvis processus multiplex sit, revera non sunt multae essentiales technicae bottlenecks.
03.
synthetica notitia, exempla parva, societates llms
sarah guo: ubi censes nos in verbis investigationis magnae blobs esse?
💡
magnae investigationis blobsplerumque refertur ad directionem investigationis vel technologiae in campis altae doctrinae et visionis computatricis. blob est "binarii magna object, quod significat "binarii large object", magna est contigua regio in imagine vel in tabula pluma quae magnas informationes visuales continere vel speciale obiectum vel scaenam repraesentare potest. has regiones magnas pervestigans adiuvare potest exemplar emendare facultas intelligendi et domicilii magna-scala visual features.
andrej karpathy: sentio sicut nos in tempore celeritatis nunc sumus. lorem ipsum non justo neural, sed potenti et vulputate neural network.
exempli gratia, cum quisque legem de scalis disputat, saepe ad characteres transformer architecturae refertur. ante transformatorem, homines lstm maxime reclinati ad aliquod opus faciendum usi sunt, sed nulla manifesta scala inventa est. transformator est primum exemplar quod hoc clarum facit et efficaciter squamae.
💡
reclinati lstm refert ad structuram retis neural altam formatam positis multiplicibus lstm (memoria brevi-term long) strata simul.
transformator est sicut computatorium generale, specialius computatrum neural differentiabile (dnc). hoc facere possumus input et output permagna facere, et hoc computatorium per methodum backpropagationis instituendi;tandem ratio missionis-completionis sui fiet.
💡
neural computer differentialis (dnc);genus retis neuralis speciale capax informationis recondendi et retractandi, similis rationi memoriae in computatorio. est "differentiabilis", cuius parametri significatio optimized per backpropagationem potest ut melius perficiat ad solvenda opera complexa.
etsi transformer miraculum est quod in agro algorithmorum casu deteximus, multae quidem sunt novae innovationes post eam, sicut nexus residua, iacuit ordinationes, caudices et attentio. dissimiles methodis traditae, transformer functionibus nonlinearibus utitur, quae gradientes evanescant.
sarah guo:hoc tempore, de notitia parietis disceptatum est, et sumptus ascendendi in posteros exemplum altissimum erit. quid cogitas de notitia exitibus?
andrej karpathy: haec ab initio tractavimus. sentio architecturam reticulorum neuralis ipsam hodie iam non bottleneck. etsi ante partum transformer, quaestiones architecturae quidem impedimentum fuerunt.ideo multae societates et investigatores mutationes in architectura transformatoris iam non intendunt. sola magna mutatio potest esse "descriptiones positionales rotationis" (rope encodings positionales).transformator ipse non multum in praeteritum quinque annos mutavit. quisque iustus in innovatione disciplinae, notitia ponit et detrimentum functionum in fundamento existente fundatae.
💡
"rotarium positionale encodings" (rope, rotarium positionum encodings);positionem delatam technicam transformatoris exemplorum. repraesentat positiones informationes in input sequentia per vectores circumagendo. cum translaticia positione modum translitterandi, rope exemplum plura commoda dare potest cum longa sequentia dispensando. eius pluma clavis est encode situm cuiusque elementi in ordine per angulum vectoris circumagendo, servato notitiae distantiae relativae. aditus hoc exemplar concedit ut flexibilitatem et scalibilitatem in diversis locis melius habeant, et maxime apta opera quae longi temporis intervalla dependentia tractant.
sarah guo:quando satis notitia in interreti non est, incipiemus uti synthetica notitia, vel similes modi pretiosiores notitiarum collectione?
andrej karpathy: multum investigationis hodie in exempla linguarum versatur. etsi interretialis notitia non est optimae notitiae fons in transformer, adhiberi possunt ut instrumentum ad exemplar facultatum semper emendare. interretialis notitia iustus collectionis paginarum interretialium est, sed quid vere pretiosum est quid in cerebro nostro estinteriorem monologue" - illae complexae et profundae cogitandi trajectoriae.
si billiones notitiarum similis "cogitationis vestigiis" habere possumus, tunc aliquatenus prope agi erimus. sed haec notitia nunc non exsistit, ergo investigationes hodiernae maxime feruntur ad reorganizandas notitias existentes in forma similem cum "monologo interiore (monologo interiore)". exempla hodiernae exempla sequentes exemplorum generare possunt.
elad gil：quam utilis est synthetica notitia? ut dixisti, unumquodque exemplar adiuvare nos potest proximum exemplar instituere, vel saltem instrumenta ad operas praebere ut annotationem datam, quorum pars synthetica notitia esse potest.
andrej karpathy: puto data synthetica essentialia ad meliorem exemplar facultatem.sed vide cum usura synthetica notitiaquoniam exemplar "ruit" inscius quando. exempli gratia, cum petimus chatgpt ut nobis iocos indicet, si plura tempora conamur, sciemus quod tantum 3 iocos scire licet. concidere" ", hoc est, non est dubium cum uno output, sed si in hac specifica directione, diversitas et flexibilitas exemplaris valde diminuuntur, haec quaestio est cum notitia generativa, praesertim cum synthetica notitia generans; facile est "concidere" propterea quod actu indigemus diversitate et ubertate notitiarum, id est "entropy", ad vitandas difficultates per nimium singulas notitias positas.
💡
modus collapse:hoc est phaenomenon in networks generativo adversaria (gans) ubi exemplar generativum incipit generare exempla simillima vel repetita loco exemplarium diversorum. hoc saepe videtur problema, quia indicat exemplar diversitatem notitiarum locupletem discere non posse.
exempli gratia, aliquis dimisit characterem actis notae appositae continentem 1 miliardorum locorum poetica characterum, ut "magister sum" vel "artifex sum, hic habito, hoc officium facio" et sic porro.cum synthetica notitia generans, actu cogitet processum inter se cum certa persona.ideo necesse est entropy diligenter injicere, servata stabilitate datae distributionis, quae maxima est provocatio in generando synthetica notitia.
sarah guo:quid de cognitione humana ex hac investigatione scire posse censes? puta, quidam putant quod intellectus processus cogitandi trajectorias adiuvabit nos intelligere quomodo cerebrum operatur.
andrej karpathy:investigationis exempla et cognitio humana duo omnino diversa sunt, sed in quibusdam comparari possunt. exempli gratia, cerebro humano in aliquibus rebus fortius puto transformator, et exemplar est efficacior ratio quam cerebrum humanum, sed propter limitationes data, non est bonum sicut cerebri currentis effectus. sed haec sola est expositio prava.
exempli gratia, in terminis memoriae facultates, transformatores melius faciunt quam cerebrum humanum, cum longas series processus. si sequentiam dederis et petas ut rationem antrorsum et retrorsum petas, recordari potest ante et retro partes sequentiae et perficere negotium, quod difficile est ad memoriam humanam facere. in nonnullis igitur aspectibus, ut opinor, methodus disciplinae in gradiente optimizatione fundata efficacior quidem est quam humanum cerebrum, et etiam in posterum exemplum revera homines in aliquibus gradibus cognitivis superare potest.
elad gil:facultas memoria una est vis computatorum.
andrej karpathy: ita, ut opinor, cerebrum humanum multas habet limitationes. verbi gratia, capacitas memoriae operandi valde limitata est, dum transformium operantium memoria multo maior est in comparatione, et adhuc spatium inter ea dilatatur. praeterea transformatores efficacius discunt. cerebri humani operatio multis factoribus occultis circumscribitur, ut background, responsalitatem, ambitum, etc., quae systema cerebri humani magis temere ac limitatur. sentio igitur nonnullis aspectibus exempla haec iam fortiora esse quam cerebrum humanum, sed nondum ad plenam suam potentiam pervenit.
elad gil:ad relationem inter homines et ai unum argumentum est quod eo utimur ut instrumento externo, alii dicunt altiorem integrationem hominum et ai exemplorum fore. quid de hac re cogitas?
andrej karpathy: instrumenta technica technica semper fuisse puto in hominum integratione et ai quodam ingenio derivata. sicut problema est cum hodiernis exemplaribus in bottleneck in informatione initus et output processus iacet, sic integratio hominum et ai adhuc continua conamina requirit. sed cum exempla perfecta sint, his utens exemplaribus valde simplex est et cum paucis simplicibus effici potest movet. itaque, licet aliqua impedimenta sint, hodierna technologia hanc integrationem facili ac tubili reddidit.
elad gil:nonnulli in ai agro credunt quodsi conflictus inter nos et ai in futurum est, bene est
solvitur aliqua forma fusionis hominum, ai.
andrej karpathy: imo, hoc est philosophiae neuralink simillimum. dum non sum certus prorsus qualis haec fusione spectet, id quod perspicuum est, input et output latency inter homines et instrumenta reducere volumus. cogitare potes ut novum cortex cortex cerebri nostro adiecerit. hic novus cortex nubilo substructus est et essentialiter proximus iacuit cerebri.
elad gil: exist accelerando similem praemissam liber habet, ubi omnia cerebro per vitreas graciles dolorosas liberantur. si haec specula perdas, simile est partem amittere personalitatis vel memoriae tuae.
andrej karpathy: hoc puto futurum esse. telephonae mobiles hodie paene pars vitae nostrae factae sunt, sicut machinae externae cum cerebro. quotienscumque telephonicas nostras ponimus, ad pristinum statum revertamur sicut sentimus.
exempli causa, si "universalis translator" habetur et diu innititur, tum cum repente id non habemus, facultatem amittere possumus directe communicandi cum hominibus qui diversas linguas loquuntur. sicut in video ostenditur, puer commentariolum tenet et digito labi conatur. nescit quid sit naturale et quid per technologiam fit. cogitare me facit ut technologia magis ac magis ubiquitous fit, homines ab his instrumentis dependentes crescere, solum scire se nescire quid sit technologia et quid non sit donec evanescant. praesertim cogitationes sicut interpretes, qui semper operas praestas adiuvant, sensum hominum ad fines inter technologiam et naturam magnopere reducent.
sarah guo: "exocortex" sonat rem magni ponderis et ad omnes refert. hodie, llm investigatio a paucis ai labs ducitur, et tantum facultates habent ad exemplar formationis proximae generationis progressum promovendum. quid censes hodie investigationem hanc structuram in llm? quid momenti habebit in favore ai technicae in futurum?
andrej karpathy: ecosystem of llm quidem a compluribus suggestis clausis hodie monopolitur, cum meta llama, quae in fundo est, relative aperta est. cum de llm "tegumen" externum cogitamus, implicantur quaestiones notitiarum et secretorum notitiarum. dictum est in encryption agro quod est "non tua claves, non signa tua". si ai est novum cortex cerebri pro omnibus in posterum, et si cortex iste a quodam comitatu regitur, sentient homines "conducere" cerebrum pro actu possidendi.
sarah guo: visne cerebro dominium ac dominium emittere ut potentiorem conducere?
andrej karpathy: puto hoc commercium criticum longe esse. futura inclinatio potest esse ut plerique potentium fontem claudentium exemplar utantur sicut optionis defectus, sed in quibusdam casibus specificis, systemata aperta principium fiet alterum. sicut nunc, cum quidam exemplar fons clausus aliquas quaestiones habent cum suis apis, homines ad fontem ecosystem apertum convertunt et ideo plus in potestate sentiunt.
hoc quoque esse potest directio technologiae technologiae cerebri futurae: cum quaestiones oriuntur, flectere possumus ad aperta principia systemata, cum in pluribus systematibus clausis adhuc confidimus. magni interest ut aperta principia promoventia systemata servent, sed hodie fortasse non omnes huius rei conscii sunt.
elad gil:quid de minimis cogitas? quem gradum perficiendi exempla parva hodie consequi possunt?
andrej karpathy: exemplar puto vel minora escendere posse. propter problematum cum notitia certa, sentimus exemplar hodiernum multum vastat capacitatis in reponenda aliqua notitia nullius momenti. magis placet modus cogitandi.
in parametris terminis c decies parametris tantum opus esse censeo ut propositum consequamur. compressio efficax technologia exemplum exiguum facere potest. principium compressionis simplex est: amplissimo exemplo utere vel multum facultatibus computandi ut exemplum minorem invigilet.
essentia huius rei est quod hodie magna exempla tractant cum notitia interretiali copia, et solum circa 0.001% contentorum ad cognitionem refertur, et reliqui 99,99% sunt actu aliqua notitia nullius momenti, ut exemplar rectum textum. pleraque informationes non agit partes substantiales in exemplaria cogitandi emendandi.
elad gil:potestne hic processus explicari a mathematicis vel theoria aliqua informatica? possuntne relatio inter exemplar magnitudinis et potentiae cognitivae quantitatis esse? exempli gratia, in futurum, tantum 1 miliardis parametri exemplar opus est ad bonam intelligentiam consequendam.
andrej karpathy: potest etiam minus quam 1 miliardis constare, et exemplar hoc genus facultatis cognoscitivae habere potest, ratione habita sumptus exemplaris, instrumenti finis lateris, etc. et quod dicturi sumus, licet non sit unum exemplar cognoscitivum. est sicut societas, multum laboris in parallelis fieri potest, sed structura hierarchica opus est etiam ad meliores processus informationes. quapropter exemplar "turmarum llms" in futuro esse posse puto: varia exempla in suos quisque agros intendunt, ut unum est exemplar programmator et aliud exemplar est propositum procurator, et omnes multum laboris tractant. in parallel, inter se collaborare etiam possunt ut "coetus cerebrum" ex llms compositum formet.
elad gil:botrus llms est similis oecosystematis, cuius unaquaeque pars suam singularem peritiam ac situm habet.
andrej karpathy: existimo futurum certum progressum in hac parte. quod exemplar nubis est prudentissimum et pro ceo haberi potest. officia automatice escalata sunt et aliis partibus globi assignata.
04.
educationis in ai era
sarah guo:tu in tua educatione project opus incepit postquam openai relinquens.
andrej karpathy: semper amavi educationem industriam, doctrinam et doctrinam amo, et valde vehemens sum de hoc campo.
💡
karpathy condita eureka labs, quod est suggestum educationis cum ai ut nucleum, studens vertere modos discendi per technicas intelligentias artificiales. eureka labs primi cursus llm101n alumni ducentur ut magna exempla linguae propriae aedificent, eo consilio ut ai educationem magis interactivam et popularem reddant. hoc suggestum consilia augere discendi experientiam integrando ai docendi adiutores et cursum humanum designando, cogitando visionem ai et educationem per annos integrandi.
gravis causa quae me impulit ut hunc campum ingrediar, est quod sentio multos ais homines reponere conari, causando multos homines opera sua amittere, sed magis quaero technologiarum quae facultatem humanae augere possunt. super humanitate et spe consisto ai posse adiuvare humanitatem potentiorem fieri quam segregem.
praeterea satis utilem esse puto habere "perfectum tutorem", qui in omnibus rebus munire potest.
elad gil: cum ab annis 1980, litterae diserte declaraverunt unum in uno tutore posse emendare singula opera per 2 deviationes vexillum.
andrej karpathy: multum ab his exemplis accipio. nunc totum cursum struo, ut eam primam electionem pro hominibus ad discendum ai. provocatio nunc est quomodo hoc genus curriculum ad 8 miliarda hominum per orbem terrarum conscendat.
ergo clavis est uti ai ad ampliandum munus doctorum bonorum. praesens munus magistrorum debet esse curriculum consiliorum et materiarum scribendorum, dum ai penitus cum studentibus in fine anteriori et contenta docere potest. praesens ai non potest creare cursus completos independenter, sed sufficit ad cognitionem explicandam et transferendam. praeceptores hoc modo in finem propositum intendere possunt, dum ai multiplicibus linguis in fine anteriori utitur ut cum studentibus penitus se conferat et adiuvet ad suam doctrinam perficiendam.
sarah guo:possuntne ai conferri adiutori doctrinali?
andrej karpathy: assistentis docendi una est e praescriptionibus quas considero. illud video ut ante-finem qui cum studentibus directe correspondet, eosque ad cursum perficiendum ducit in foro, ut puto in hac provincia multum potentiae, et sicut technologiae progressiones varias adaptationes ad eam facere possumus. sentio multas turmas hodie non satis intuitivam habere intelligentiam exemplarium facultatum, et consequenter, producta quae evolvunt nimis provectus vel non satis accurate. ita censeo ager iste magnam potentiam habet.
sarah guo: cum instrumentis bonis, ad quem finem facultates humanae attingi possunt? exempli gratia, si ad olympia comparemus, propter promotiones disciplinae et technologiae in praeteritis x annis, cursores summorum perficientur melior est quam fuit in 10 annis.
andrej karpathy: sentio amo nos nondum hodie attingere plenissimam potentialem. hanc quaestionem duobus prospectibus cogitare possumus. prima est globalizationis. omnes, ut spero, altam gradum educationis possunt accipere, secunda est finis singularium facultatum. utriusque prospectus pretiosus est.
elad gil: plerumque cum tractamus 1-in-1 magisterium discentium, memorabimus personalizationem et adaptationem, id est, debitam discendi provocationem officiorum secundum cuiusque personae gradum.
andrej karpathy: putamus "fructum humilem" in hodierno agro ai educationis esse applicationes translationis. hodierna exemplaria sunt valde bona in talibus operibus, et quae facere possunt, adhuc sunt opera fundamentalia.
difficile est consequi personalizationem quae cuique personae accommodatur, sed id fieri non potest. sed hoc potest involvere novas regiones. simplicius exemplar perfici potest per promptum consilium, sed puto vere utilem esse, ut exemplar ipsum habeat talem facultatem, ut sicut magister operari possit.
hoc puto attingere aliquas areas quae nunc inexplicabiles sunt. cum versiones simplices non longe abesse possunt, ut exemplum aliquod auxilium praebendo, de solutionibus dico quae actu laborant, non solum bonum in demo. quod de me loquimur, facultas est operandi tam efficaciter quam verus magister, ad intellegendum cuiusque contextum et personale moderamen providendum, quod ulteriorem progressionem requirit.
elad gil: hanc adaptationem consequi possumus aliis exemplis inducendis?
andrej karpathy: hoc quoque proprium ai puto. multa munera puto uno tantum prompto actu impleri posse. saepe ergo videmus multum demos, sed tandem rem productam liberare possumus? itaque non difficile est aliquos demos facere, sed adhuc longum est iter praecedere, quod in aliquo productum potest augeri, quod in magna magnitudine adhiberi potest.
sarah guo:paucis abhinc hebdomadibus commemorastis discendi et oblectamenti rationem esse diversam. quatenus putas stimulum systematis hominum ad discendum mutare posse? plusne solliciti estis de facultatibus providendis ut homines in quantum possunt in suis facultatibus vadant? an vis mutare numerum hominum qui discunt et ducunt plures ad discendum incipere?
andrej karpathy:spero me paulo facilius discere, cum aliqui discendi natura non sint studiosi. multi homines student extra necessitates practicas, ut officium inveniatur, quod est valde rationabile. educationis munus in nostra societate magnum habet quod non solum scientiam praebet, sed etiam statum hominis oeconomicum melioris facit, quam ob rem homines educatione permoveri volunt.
sarah guo:quid futurum ut in societate post-agi videbimus?
andrej karpathy:in post-agi era puto educationem magis amo delectationis fiet. prospera educatio non solum in cognitionis translatione, sed etiam in profunditate cognitionis et applicationis huius cognitionis consistit.
sarah guo:quis primus auditorio eurekae fuit?
andrej karpathy:primarius auditorium huius primi curriculi studiosis adipiscing est, praesertim gradus sequentes in campis technicis. si studium adipiscing cursus technologiae relatae, tu es specimen scopo coetus huius curriculi.
andrej karpathy:puto notionem hodiernam nostram educationis aliquantum iam evasisse. vetus via ad scholam eundi, gradandi et operandi totum tempus frangetur sub hodiernis vicissitudinibus. quamvis enim quaelibet cursus, late audientiam habet. praesertim pro iis cum technicis curriculis, qui altiorem cognitionem cognitionis pertinentes assequi volunt, aliquid acquirendi erunt.
propositum est hoc anno cursum offerre, primo proximo anno tempus opportunum esse, sed ante tempus laborabo ut qualis cursus sit usque ad regulam expectatam.
elad gil:si liberos haberes, quam scientiam et artes discere vis?
andrej karpathy:responsum darem est mathematica, physica, computatrum scientia, et alia subiecta. utique, haec prospectus meo curriculo commovetur, sed has regiones credo multum utiles ad artes solvendas problemati. etiam futurum tempus agi appropinquat, hae artes adhuc magni momenti erunt. in hoc discrimine temporis, cum multum temporis et attentionis homines habent, puto nos praecipue in negotiis versari debere quae simplicia sunt ad operandum potius quam opera quae multum memoriae requirunt. dum praeterea momentum discendi ceteras res agnosco, credo 80% temporis in his locis nucleis versari debere, quia utiliores sunt et valorem diuturnum habent.
condimentum: fia
colligunt et ordinant notitias recentissimas nuntios et liberam fac omnibus reprimendam.
