nuntium

Jia Yangqing: Magnum exemplar magnitudinum redeunt ad veterem rhoncus viam;

2024-08-01

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Ab Aofei domus templi
Qubits |

Transformator magnae magnitudinis exemplar mutat, et ad veterem rhoncus viam revertitur!

Cum omnes capiantur ab LLaMA 3.1,Jia YangqingTalis sententia.



Progressionem magnarum magnitudinum cum evolutione rhoncus comparentes, apertam trend et phaenomenon invenire possumus:

In aeram ImageNet, investigatores et medici technici testaverunt incrementum celeritatis in parametris magnitudinibus ac deinde ad exempla minora, efficaciora movere coeperunt.

Num idem sonat ac GPT scalas parametri exemplaris? Industria plerumque cum Scaling Legi convenit, ac deinde GPT-4o mini, Apple DCLM-7B, et Google Gemma 2B apparent?

Jia Yangqing subridens dixit, "Hoc est a pre-magnis exemplar temporibus, et multi non bene memini :)".



Porro Jia Yangqing non est solus qui hoc percipit.AI dominus Kapasi etiam cogitat

  • Certamen in magnis exemplaribus magnitudinum augetur…sed rotulae in contrariam partem veniunt!
  • Exemplar prius "maior" sequi debet quam "minor" sequens, quia hoc opus est ut nos adiuvet ad informationem conformandam in forma ideali, synthetica.

Etiam in sponsionibus exempla videbimus quae bona et certa sunt ad cogitandum.

Et scala modulus minimus est.



Etiam Musk saepe dixit in area commenti Kapasi:



Probabiliter potest haec superior dici "magni guys idem videre."

Expand ac Disputatio

Jia Yangqing motus incipit cum LLaMA 3.1, quod solum in fortissimo throno ad breve tempus mansit.

Primum erat quod "fortissimum exemplar fons apertus = fortissimum exemplar" intellexit.

Autem, Jia Yangqing propone punctum ad hoc tempus:

"At ego cogito;Industria vere vigemusque in parvis verticalibus exemplaribus。”

Qualia parvae verticalis exempla sunt, etiam Jia Yangqing clarissimum fecit, ut exempla magna parva et media, quae a Patrouns AI' Iynx repraesentata sunt (deprehensio societatis hallucinationis exemplar, quod GPT-4o in operibus hallucinationis superat).



Jia Yangqing dixit secundum personalis preference, ipse C miliardis parametri exemplar valde amat.

Re quidem vera observavit magna exempla in ambitu parametri inter 7B et 70B faciliores esse omnibus utendi;

  • Faciliora sunt hospitio, et ingentis mercaturae utiles esse non indigent;
  • Quamdiu quaestiones manifestas requiris, honestam qualitatem output obtinere potes - contra quasdam opiniones superiores.

Eodem tempore audivit recentissima OpenAI exempla velociores etiam initium fieri quam exempla maiora "status-of-the-ar" fieri.



"Si intellectus recte, tum industriae trends certo indicat."

Ex quo, Jia Yangqing breviter digestus est historia rhoncus tincidunt.

Primum tempus rhoncus tincidunt ipsum.

Accepto AlexNet (2012) ut initium, spatium trium fere annorum incrementum exemplorum scalae incepit.

VGGNet, quod anno 2014 apparuit, exemplar est praepotentibus agendi et scalae.

Secundo est tempus deminutionis.

In 2015, GoogleNet exemplar magnitudinis ab "GB" ad "MB" gradum redegit, quae centum temporum deminutio est; exemplar tamen effectus non acriter ob hanc causam cecidit, sed bonum effectum servavit.

Sequentes similes trends sunt exemplar SqueezeNet anno MMXV deductae.

Nam tempus, dolor eget consequat accumsan.

Studia subsequentia, ut ResNet (2015), ResNeXT (2016), etc., modicam magnitudinem servaverunt.

Notatu dignum est quod moderatio exemplaris magnitudinis minutionem non efficere secundum quantitatem calculi - etenim unusquisque vult plus computandi opes collocare et quaerere statum "eorumdem ambitum sed efficaciorem".

Quod secutum est tempus rhoncus pede in latere.

Exempli gratia, MobileNet interesting conatus a Google in 2017 immissa est.

Quid interest, quod paucissimas facultates suscipit sed optimum effectum habet.

Praeterita septimana, Jia Yangqing quidam commemoravit: "Wow~ mobileNet adhuc utendo, quod in technica currere potest et generalitatis notae excellens pluma est".

Denique, Jia Yangqing picturam mutuatus est ab "A Survey de efficiente Networks Convolutionis Neural et Hardware Acceleratio" a Ghimire et al.



Et iterum interrogabat eum:

Velit magna velit consectetuer ipsum consectetur trend ut rhoncus temporibus?

Quid retia cogitas?

Re vera multa exempla GPT-4o mini inferunt progressionis viam exemplorum magnorum, "non magni sed parvi".

Quod cum memorati homines hoc sentiebant, statim aliqui adnuerunt, et cum aliis similibus exemplis ad probandum eandem inclinationem viderunt.

Aliquis statim secutus est;

  • Novum exemplum positivum hic habeo! Gemma-2 distillat exemplar cognitionis cum magnitudine parametri 27B in versione minore.



Nonnulli reticulati dixerunt exempla maiora evolvere significare "intendere" disciplinam posterorum exemplorum minorum et magis verticalium.

Hic processus iterativas tandem producit id quod appellatur "perfecta institutio".

Hoc modo, minora exempla magna esse possunt sicut captiosus vel etiam smarter quam hodie magna exempla cum magnis ambitum in campis specificis.

In nuce,Exemplar prius debet fieri maius antequam minui possit.



Plerique, qui hanc sententiam tractaverunt, adhuc huic tenoris conveniunt. Nonnulli obtuse dixerunt, "Hoc bonum est et utiliorque est quam "maior est exemplar meum quam exemplar tuum" parametri certaminis."

Sed utique!

Pasco per sectiones commentarium online,Alii varios strepitus fecerunt.

Exempli gratia, hic amicus nuntium sub tweet Jia Yangqing reliquit:

  • Mistral Large (societas post eam, Mistral AI), LLaMA 3.1 (societas post eam, Meta) et OpenAI, societates cum exemplaribus maxime competitive, possunt omnes exempla maiora nunc exercere.
  • Declinationem "perfractionis technologicae cum exemplis minoribus non video".



Adversus hanc quaestionem, Jia Yangqing prompte respondit.

Hoc est quod dixit: "Ius est! Cum dico magnas magnitudines exemplar vetustum rhoncus viam sequi posse, certum non est unumquemvis appellare ut exempla maiora exercere desinam."

Exposuit porro intentionem primam dicendi hoc esse quod sicut technicae artis (inclusa jos et magna exemplaria) magis ac latius efficiuntur, quisque magis ac magis operam in exemplaribus sumptibus efficacioribus reddere coepit. "



Ideo fortasse exempla minora et magna efficaciora possunt "intellectum" AI reducere et suppositionem "maior melior" esse.

Placetne tibi cum hac sententia?

Relationes nexus:
[1] https://x.com/jiayq/status/1818703217263624385
[2] https://x.com/fun000001/status/1818791560697594310
[3] https://www.patronus.ai/
[4] https://twitter.com/karpathy/status/1814038096218083497