nuntium

Oxbridge non fuit "venenum" AI, et in involucro Naturae 9 temporum apparuit, in circulis academicis disputatio calefacta micans.

2024-07-27

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina


  Nova Sapientia Report

Editor: Aeneas tam dormitat
[Introductio ad Novam Sapientiam]. Bibliotheca Oxoniensis et Cantabrigiensis in novem veneficiis quae exemplum in ruinam receperat multum reprehendit: Num hoc quoque in Natura comprehendi potest? Hoc amplius in academicis circulis disputatum est, et omnibus eadem sententia est: synthetica notitia a multis pro panacea habetur, sed prandium gratis in mundo non est.

In AI era, data est oleum novum. In an aetate, cum notitia globalis humanae paulatim percellit, estne synthetica notitia nostra futura?
Recens controversia per chartam in tegumento Naturae efficit ut nos intellegamus: id quod interest, non est "notitia synthetica", sed "recta synthetica notitia usus."
Die Iovis, charta Oxoniensis, Cantabrigiae, Collegii Imperialis, Universitas Torontoensis et aliae institutiones in rerum natura apparuerunt.
Quod tamen populus non expectavit quod semel in charta publicata erat, multum disceptationis Urguet in communi AI AI.
Nonnulli putant nucleum problematis non "data synthetica" sed "data qualitate" esse.
Etiam si omnes notitiae artificiales adhibentur, si qualitas pauperior est, fiet "coenum in, purgamentum".
Nonnulli etiam putant investigatores methodos consulto adoptatos quae actui operationi non congruit, ac revera "granding."
Hac de re, Professor Ma Yi dixit nunc tempus intravisse quae notionibus et methodis scientificis caret -.
Multis studiis nihil aliud sunt quam sensus communis scientificus quie- tus.

Quomodo ruina exemplum vitare?


Quaeritur ergo, quomodo possumus ruinam exemplarium vitare, cum AI utentes ad notitias componendas?

Hybrid data est in posterum

Alexandr Wang, CEO Scalae AI, cum hoc articulo in tegumento Naturae penitus consentit.
Dixit se per synthetica notitia mere data ad exempla instituendi non lucrum notitiarum afferre.
Solet, cum aestimatio metrica ob distillationem sui ascendit, verisimile est propter aliquas negotiationes subtiliores:
  • Synthetica notitia in brevi termino aestimatio emendare potest, sed pretium exemplar pro ruina redde

  • Debitum invisibile cumulatis in processu formationis vel bene-volutionis exemplar, quod difficile erit reddere

In specie, in generationibus syntheticae disciplinae, errores principaliter proveniunt ex tribus:
  • actuariorum proxime errorum
  • eget expressio erroris

  • eget approximatio errore

Hoc est, quotienscumque novum exemplar utens notitia ex exemplo priore genita exerces, aliqua indicia et subtiliter amittis, causando exemplum ut magis magisque cavas ac tandem apte laborare desinas.
Etsi haec experimenta in exemplari parvo (100M parametros) fiebant, elementa fundamentalia observata etiam in exemplis amplioribus plusquam tempus apparebunt.
Exempli gratia, exempla pleraque hodie generare nequeunt Slate Star Codex-style blog nuntia, iterum ob exemplaribus ruinis. Dum exempla continue instituunt, paulatim facultatem praedicendi late distribuendi amittunt.
In intuitu Wang, Data Hybrid directio futurae progressionis est, quae omnes difficultates spinosas ad ruinam exemplar relatas vitare potest.
Id est, in processu notitiae synthesisndae, per novum aliquod principium informationis generari debet;

(I) usus realis-mundi notitia ut seminibus

(2) Homines periti participant

(3) Logica formalis engine
E contra, tincidunt qui exempla sua in synthetica notitia casualiter exercent sine lucro informationis tandem reperient eorum exempla in dies magis fatum ac stupidum fieri.

Cognitionis supplementum omne opus est

Investigatores a Meta, Universitate Novi Eboraci, et Peking University methodum "ormanda-putationis" proposuerunt per exempla humana vel debiliora, quae restituere vel etiam superare possunt ad exemplar pristinum faciendum.
De hac investigatione LeCun etiam eam adiuvit ut suum auxilium exprimat.
Ut omnes novimus, multo facilius est hominibus et machinis inter exempla bona et mala discernere quam nobilissima exempla ex integro generare.
Ex hoc fundato, auctor novam methodum proponit ne exemplum ruinae per syntheticas notitias feedback.

Ad hanc quaestionem investigandam, auctores eventus analyticos in theoretica occasu primo praebent.
Auctores hic proponunt mixturam Gaussianam exempla et exempla lineares in summo dimensiva limite ut classificantes et verificantem (exempli gratia, humanum vel oraculum) generatam datam eligere vel amputare.
Eventus ostendunt cum puncta notitiae syntheticae numerus infinitum appropinquat, exempla in notitia selectorum exercitata consequi posse meliores proventus comparabiles illis qui in notitia rudis exercitati sunt.
Simulationes in notitia synthetica ostendunt oraculum moderamen constanter producere eventus prope meliores comparatos ad crudas annotationes utendas.
Praeterea, cum notitiarum qualitates distinguens per visum humanum simplicius et vilius sit quam directam annotationem humanam, hoc validum argumentum praebet efficaciam vigilantiae humanae.
Exemplar mixtionis Gaussianae cum generante lineari et falcato lineari: putator perficiendi per selectively confirmat synthetica notitia.
Deinde auctores duo experimenta magna perduxerunt;
1. Transformer instituere de munere arithmetico (praedictione matricis eigenvalue) et distantiam a valore reali ad magnas syntheticas notitias putandas utere.
2. Rerum novarum summatim utens magnae linguae exemplar (Llama 2) et synthetica notitia limitata
Eventus demonstrant in utroque casu, unice geniti notitiae freti, ad degradationem perficiendam et exemplar inruisse etiam quantum ad quantitatem notitiae augetur.
Praeterea eligens optimam solutionem a generatione in piscinam innixam perplexitatem sola perficiendi non emendavit, hoc est, exemplar ipsum facultatem caret ut optimam praedictionem ex perplexitate sumat.
E contra, sub oraculo vigilantia, synthetica notitiasulae feedback auctae obtineri potest, cuius effectus excederet quod copia notitiarum archetypi originalis excederet.

Humanum et exemplar augmentatio effectus melioris facit ac ruinas exemplar prohibet;
Cum igitur novum exemplar cum synthetica notitia exerceas, non solum qualitatem generantis intendere debes, sed etiam debes verificantis GENERALIS GENERALIS eligere data.
In una sententia, supplementum omne opus est!

Verus notitia + synthetica notitia

Querelas circa lectores de hac Natura in charta operimentum, Rylan Schaeffer, discipulus doctoralis in Stanford University, intellectum suum expressit.
Exemplar ruinae saepe notavit accidere cum investigatores methodos consulto adoptant quae usui actuali non congruit.
Cumulus data vel non delabi potest, totum pendet a singularibus operationibus specialibus.
你们故意把它弄崩溃，它当然就会崩溃了。😂
In charta, co-auctoribus Stanford, Maryland et MIT, Schaeffer examinat quomodo cumulus notitiae ruinae exemplar afficit.
Post experimenta confirmaverunt notitias reales originalis reponendas cum notitia synthetica in unaquaque aetatibus, exemplum quidem ruinae causare.
Exemplar autem ruinae vitari potest si successiones generationis syntheticae notitiae cumulatae sunt in notitia reali originali.

Charta inscriptio: https://arxiv.org/abs/2404.01413
In praxi, generationes LLM in augendo copia notitiarum super tempus exercebuntur. Exempli gratia, Llama 1 signa 1.4 trillionum requirit, Llama 2 signa 2 trillion requirit, et Llama 3 15 trillion signa requirit.
Hoc sensu, haec notitia cumulus occasus est maxime pessimistic--
In hoc hypothetico futuro, synthetica notitia in interrete inpotens proicitur ut adhibeatur ad exemplar sequentem iterationem instituendi.

Sicut patet in dextera parte figurae, notitia congesta non potest vitare exemplar ruinae
Investigatores in tres uncinos experimentales usi sunt: ​​Transformer causalis, diffusio exemplaris et encoder autovariationale, et in textu reali, conformatio hypothetica et notitia imaginis inducta.
Repositorum notitiarum exemplar pro omnibus exemplaribus collapsum repererunt et pro omnibus datastae sunt, cum notitia congesta collapsum exemplar impediret.
Forma linguae causalis secundum Transformer
Primum, Transformatorem causalem in textibus data exercuerunt.
Speciatim, 9M parametri GPT-2 unius epochae et Llama 2 exemplarium linguae 12M, 42M et 125M parametri in TinyS-toriis praeexcitabantur.
Primum exemplum est 470M fabulae notae brevis a GPT-3.5/4 in genere lectionis kindergarten.
Pro unoquoque exemplari iteratio n ≥ 2 congruens, specimen novae dataseae eiusdem quantitatis ac TinvStoriae e typos linguae iterationis prioris, ac deinde repone vel concatenare dataset priora cum recentibus genitis dataset.
In unoquoque exemplari iteratione congruente, novum exemplar initialized praescribunt in reposito vel notitia concatenata ex iteratione praecedenti posita.
Proventus demonstrant, omnibus architecturae, comitibus parametris, et temperaturis sampling, notitiis transpositis ad incrementum experimentorum crucis-entropy inducit, sicut numerus exemplarium iterationum congruens augetur (Figura 2 supersunt).
Inventi sunt etiam, omnibus architecturae, comitibus modulis et temperaturis sampling, ut numerus exemplarium congruentium iterationum augetur, cumulatas notitias eventus in experimentis crucis-entropy esse aequalem vel inferiorem (Figura 2, recti).
Figura 3 est curva discendi ad unumquemque exemplar iteratio apta, cum saepe reponens data (top) et cumulatio notitiarum (imo).
Proventus monstrant cumulus notitias vitare exemplar ruinae in exemplorum linguarum.
Ambo 125M Llama2 et 9M GPT-2 degradationem qualitatem demonstraverunt cum reposuit data (R), sed servavit summus qualitas textus generationis cum notitia congesta (A).
Diffusion exemplum datae conformationalis hypotheticae
Deinde sequentem diffusionis exemplorum in notitia conformatione hypothetica instituerunt.
Speciatim investigatores erudierunt GeoDiff, exemplar diffusionis geometricae ad generationis hypotheticae conformationis, in GEOMDrugs dataset.
Disciplinam geom-medicarum ad 40,000 conformationes hypotheticae conformationes demonstraverunt, ea pro institutione initiali adhibita, et 50 gradus diffusionis pro singulis vaticiniis perfecerunt.
Proventus Post 8 exemplar congruens iterationes, inquisitores invenerunt experimentum damnum augeri cum repositoque notitiarum, quae experimentis exemplar linguae nostrae aequaverunt, et experimentum damnum relative constans cum notitia cumulanda manebat (Figura 4).
Dissimiles linguae exempla, invenerunt quod cum reponat notitias, effectus signanter in primo exemplari congruens iteratio institutionis in synthetica data, et in subsequentibus iterationibus ulterius non omittit.
Autovariational encoder ad imaginem data
In fine experimenti investigatores sequentem variam encoder (VAE) in CelebA exercuerunt. Data copia 200.000 imagines vultuum continet et dividitur in formationem et in test statuto.
Haec optio aequilibrium ferit inter datastas realesticas cum multis exemplaribus, imaginibus coloratis et resolutionibus, ac facundia computativa formandi exemplar multis iterationibus in notitia congesta.
Quam ob rem invenerunt illam reponentes notitias in unaquaque iteratione iterum exemplar ruinae monstrasse -
Error test celeriter cum unaquaque iteratione adiectis oritur, et unaquaeque iteratio inferiorem qualitatem et facies minus diversas efficit, donec omnis generatio exemplar unum exemplar repraesentat.
E contra, cumulantes notitias ad singulas iterationes signanter retardat exemplar collapse-.
Error probatus signanter tardius auget cum singulis adiectis iterationibus.
Cum genera- tionum diversitas decrescit ad tabulas medias et rectas figurae VI, adhuc axes principales variationis in dataset, ut genus, repraesentat, sed exemplar non amplius aliis per breviores notitiarum axes generare videtur. multiplex.
Aliud interest phaenomenon quod, dissimilis exemplaris linguae, experimentum errorum in notitia congesta auget numerum iterationum (quamvis multo tardius quam in reposito notitiarum).
Quare hoc interest? Haec directio investigationis futurae relinquitur.
Notae:
https://arxiv.org/abs/2406.07515

Introductio

Colligere et ordinare notitias novissimas nuntiorum et liberam facere omnibus reprimendis.

mihi contactus notitia

Mail