Post minores et validiores GPT-4o mini, futura AI exemplaria, non iam maior est melior
2024-07-27
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Ultima septimana OpenAI Dimitte multam noctem,GPT-4o Mini calce GPT-3.5 Turbo e secessu, et etiam GPT-4 in magno exemplari arena LMSYS superatus est.Hoc septimana Meta dimisit Ad magna exemplaria, si 405B magnitudo prioris echelonis adhuc exspectatur, 8B et 70B magnitudines novae versiones plus admirationis afferunt.Et hoc non potest esse finis certaminis parvi exemplaris, sed magis verisimile novum principium.Non est quod magna exempla immodica sunt, sed parva exempla plus efficaces suntIn vasto mundo AI circulos, parva exemplaria suas fabulas semper habuisse.Extra, proximi anni blockbuster Mistral 7B salutatus est "optimum 7B exemplar" quam primum emissum est. Is 13B parametri exemplar Llama 2 in multiplici aestimatione benchmarks movit, eumque in ratiocinando, mathematico et codice generationis superavit .Hoc anno Microsoft etiam in promptu orta est maxima parametri parvae magnae exemplar phi-3-mini. Etsi numerus parametri tantum 3.8B est, effectus aestimationis effectus longe eandem scalam parametri excedit et cum exemplis maioribus comparantur sicut GPT-. 3.5 and Claude-3 Sonnet.Intus intuens, Wall Intelligentia deducta est MiniCPM, exemplar linguae lateralis cum 2B parametris in primo Februario. Parva Steel". gun".Non pridem, MiniCPM-Llama3-V2.5, quae tantum 8B magnitudinem parametri habet, etiam exempla maiora superavit sicut GPT-4V et Gemini Pro secundum multiplices effectus comprehensivae et OCR facultates Stanford University AI team.Usque ad ultimam hebdomadem, OpenAI, quae sero nocte emissa erat, emisit quod "exemplari parametri maximi - potentissimi et effectivi minoris" - GPT-4o mini, quod omnium attentum ad exemplar parvum reduxit.Cum OpenAI mundum in imaginationem generativae AI traxit, ex longis contextibus, ad parametri volvendos, ad agentium, nunc ad bella pretia, domi et foris progressus semper circa unam logicam volvitur - ut in campo manendo ad mercaturam movendo. .Itaque, in opinione agri, maxime oculorum apprehensa res est, quod OpenAI, quae pretia concidit, pretium belli inire videtur. Multi homines claram notionem de pretio GPT-4o mini habere possunt. GPT-4o mini per I decies inputsindicium Pretium est 15 centorum, et pretium in 1 decies centena millia signa sunt 60 cents, quod plus quam 60% vilius est quam GPT-3.5 Turbo.Aliis verbis, GPT-4o mini librum 2500-paginam generat pro 60 cents tantum.OpenAI CEO Sam Altman in X etiam lamentatus est quod cum GPT-4o mini comparatum exemplar potentissimum ante biennium non solum magnum hiatum perficiendi habuit, sed etiam sumptus usus qui plus quam nunc 100 fuit.Cum pretium belli pro magnis exemplaribus magis magisque atrox fit, nonnullae causae efficientes et oeconomicae apertae fontis parvae exempla magis ad mercaturam attentionem alliciendi sunt .Ex altera parte, cum GPUs circum orbem terrarum venditus vel etiam ex stirpe, parva principia aperta exempla cum inferiore institutione et sumptibus instruere satis sunt ut superiores paulatim acquirant.Exempli gratia, MiniCPM a Mianbi immissa Intelligentia consequi potest guttam scopulosam in consequenti sumptibus suis parametris minoribus, et etiam CPU consequentiam consequi potest sunt etiam continuae emendationes.Si elit perfectus es, etiam verticalem exemplar in agro legali instituere potes ut parvum exemplar te constituas, et consequentia gratuita potest esse tantum millesimus illius permagni artificii exemplar. Exsecutio aliquarum applicationum terminalium "parvorum exemplorum" multis artificibus permisit ut lucellum lucri viderent. Exempli gratia, Facewall Intelligentia adiuvit Shenzhen Curiae Populi mediae intelligentiam artificialem-asistentem systema iudicii deducunt, probans valorem technologiae ad mercatum.Utique verius est dicere mutationem incipiemus videre non esse mutationem e magnis ad exempla parva, sed derivationem ab uno exemplorum genere ad librarium exemplorum, electo exemplaris recti pendente. de peculiaribus necessitatibus regiminis, de multiplicitate officiorum ac de facultatibus promptis.Exemplaria parva, contra, faciliora sunt ad explicandas et integrandas in mobilibus machinis, in systematibus immersa, vel in ambitus potentiae ignobiles. Parameter scala parva exemplaris relative parva est. Cum magno exemplari comparata, postulatio pro facultatibus computandis (qualis est AI vim computandi, memoriam, etc.) inferior est, et in extrema parte machinis cum limitibus limitibus magis aequaliter currere potest. facultates. Praeterea instrumenta lateris extremitatis plerumque extremae requiruntur pro industria consummationis, caloris generationis et aliae quaestiones.Honor CEO Zhao Ming dixit debitum ad AI problematum potentiam computandi in parte clientis, parametri esse inter 1B et 10B, et exemplar retis amplumnubes computingFacultas attingere potest 10-100 sescenti, vel etiam superior. Telephonum admodum angustum est, vox? VII miliardis in pugna limitata, calore limitata dissipationis et ambitus repositionis limitatae. Si putas tot angustias esse, difficillima esse debet.
Etiam post-scenicas heroum responsalantium telephonicas calliditatis Apple operandi apud eos demonstravimus, exemplar minutum 3B munusculis dedicatum ut summatim et expolitio Gemma-7B est et apta ad currendum in telephono mobili terminali.Perspicimus igitur pristinum OpenAI guru Andrej Karpathy nuper iudicium fecisse certamen in magnitudine exemplaribus "reverse involutionem", non maiorem et maiorem esse, sed minorem et magis flexibilem esse.Cur parva exempla magnos cum parvis vincere possunt?Vaticinium Andrej Karpathy non vanum est.In hoc aevo data-centrica, exempla celerius fiunt maiora et magis implicata. Pleraque exempla amplissima (ut GPT-4) in magna notitia adhibita, reminiscantur actu permulta singularia singularia, id est, informationes memorare. by rote.Attamen exemplar pulcherrimum etiam "magnum cum parvis" in muneribus obicere potest, eiusque usbilitas cum multis "super magnis exemplaribus" comparatur.Amplexatio Faciei CEO Clem Delangue etiam suadet ut usque ad 99% casuum usui adhibitis parvis exemplaribus solvi possint, et praedictum est 2024 annum parvae linguae exemplorum futurum esse.Prius autem quam investigare causas oportet, primo oportet aliquam scientiam populariter cognoscere. Anno 2020, OpenAI legem claram proposuit in charta: Lex scandens, quae significat magnitudinem exemplaris auget, effectus etiam augebit. Introductio exemplorum ut GPT-4, commoda iuris canonici paulatim emerserunt. Investigatores et fabres in agro AI AI firmiter credunt augendo numerum parametri exemplaris, discendi facultatem et generalem facultatem exemplaris amplius emendari posse. Hoc modo exemplar scalae e billions parametri ad centum billions testati sumus, atque etiam ad exempla cum trillions parametris ascendimus.In AI mundo magnitudo exemplaris non est sola regula ad intelligentiam suam metiendam.E contra, exemplar parvum bene designatum, algorithmum optimizing, notitiarum qualitatem emendans, et technologiam pressionem provectam adoptans, saepe demonstrare potest effectum comparabile vel melius quam magnum exemplar in operibus specificis.Hoc consilium utendi parvis ad maiores eventus consequendos, fit nova inclinatio in agro AI AI.Apud eos, qualis notitia melioris modi est, una est modi parvis exemplis ad magnas conciliandas.Satish Jayanthi, CTO et Coalesce co-conditor, semel partes notitiarum in exemplaribus descriptae sunt;Si fuisset in 17th century LLM et quaesivimus ChatGPT utrum Terra esset rotunda vel plana, et respondimus quod Terra esset plana, hoc esset quia in notitia provisa confirmavimus quod ita esset. Notitia LLM praebemus et quomodo eam exercemus directe eius output tanget.
Ad GENEROSUS eventus producendos, magna exempla linguae latinae in GENERE instituendi sunt, notitias iaculis pro certis locis ac ditionibus exercendi. Sicut discipuli qualitatem egent tradendo ad discendum, LLMs etiam fontes egent qualitate notitia.Traditional violenta aesthetica relicta laborandi ad miracula consequenda, Liu Zhiyuan, professor permanens sociatus in Department of Computer Scientia in Universitate Tsinghua et praecipuus physicus muri-facientis intelligentiae, nuper proposuit legem parietariam in aetate magna exempla, id est, cognitio densitatis exemplaris augere pergit, duplicatis singulis octo mensibus in mediocris.Inter eos, cognitio densitatis = exemplar capacitatis/exemplari parametri in calculo implicati. Liu Zhiyuan graphice explicavit quod si dentur quaestiones 100 IQ test, score non solum pendet a quot quaestionibus recte respondes, sed etiam in numero neuronorum uteris ad has quaestiones perficiendas. Plura cum paucioribus neurons agis, eo IQ altior.Hoc est prorsus nucleum notionem quam densitas cognitionis importat; Duo elementa habet. Secundum elementum est numerus neuronorum ad hanc facultatem requisitus, vel consummatio potentiae computandi respondens.
Comparatus cum 175 miliardis parametri GPT-3 ab OpenAI anno 2020 dimissus, anno 2024 MiniCPM-2.4B eadem opera emisit, sed tantum 2.4 miliarda parametri cum GPT-3, quae cognitionem densitatis circiter 86 temporibus auxit.Investigatio de Universitate Toronto etiam ostendit non omnes notitias necessarias esse, identidem copiae qualitates ex magna notitiarum copiarum quae faciliores sunt ad processum et omnia indicia et diversitatem in notitia originali statuto retinent.Etiamsi usque ad 95% notitia disciplinae sublata est, exemplar praedictum effectum in certa distributione signanter affici non potest.Recentissimum exemplum haud dubie Meta Llama 3.1 magnum exemplar est.Cum Meta erudita Llama 3, 15T signa disciplinae datae pavit, sed Thomas Scialom, meta AI indagator author operis Llama2 et Llama3, dixit: Textus in Interreti plenus est notitiarum inutilium et disciplina innixa. Haec indicia superfluum est computandi facultates.Llama 3 responsa humana scripta non habuit in sua post-disciplina... Llama 2 modo synthetica notitia tantum leveraged.Praeterea scientia distillationis una etiam ex momentis modi "vincendi magnum cum parvis" est.Scientia distillationis significat usum magnum et multiplex "doctoris exemplar" ad regendam disciplinam parvae ac simplicis "studiosi exemplar", quae poten- tiam perficiendi et superiorem generalem capacitatem transferre potest magnae exemplaris ad leviora, minora computativa exemplaria, quae gratuita sunt. minus.Post emissionem Llama 3.1, Meta CEO Zuckerberg etiam momentum illustravit subtilis et distillationis exemplorum in longi articuli "Aperi Source AI iter Procumbens". Oportet nos instituere, modulamina, et nostra propria exempla stillare. Omnis ordo diversas necessitates habet quae maxime inserviunt adhibitis exemplaribus quae in diversis squamis et cum notitiis specificis instructae sunt vel subcinericiae.
Nunc potes exempla publica de arte Llama capere, ea in notitia tua exercere pergo, et deinde ad exemplar amplitudinis, quae maxime tuis necessitatibus conveniat, sine nobis vel quovis alio vidente data sunt.
Vulgo etiam creditur industria quod 8B et 70B versiones Meta Llama 3.1 distillantur ab ultra-magnis poculis.Vel optimization architecturae exemplar est etiam clavis. Significanter numerum parametri exemplaris redigit per convolutionem profundissime separabilem. Comparatus cum ResNet, MobileNetV1 numerum parametri minuit circiter 8-9 temporum. MobileNet computatione efficacior ob numerum parametri reductum. Hoc praesertim momenti est ad ambitus subsidiis constrictos, ut mobiles machinas, sicut signanter computare et repositiones exigentias minuere potest quin immoderate obeundo obeundo.Quamvis progressus in gradu technico factus sit, AI industria ipsa adhuc impugnationem longi temporis et gratuiti et magni pretii respicit, et reditus cyclus relative longus est.Secundum statisticam incompletam ex "Quotidie conomico Nuntio", sicut in fine mensis Aprilis huius anni, summa fere 305 magna exempla in Sinis emissa sunt, sed sicut die 16 mensis Maii, adhuc circa 165 magna exempla adhuc nondum erant. adnotatione perficitur.Baidu conditor Robin Li publice reprehendit exsistentiam plurium fundamentalium exemplorum esse vastitatem opum, et suggessit facultates magis adhibendas esse ad explorandum possibilitatem coniungendi cum industriarum, et altera potentia super applicatione evolvere.Hoc etiam praecipuum est propositum in industria AI currenti, repugnantia incomparabilis inter auctum numero exemplorum et exsecutionem applicationum usuum.Adversus hanc provocationem, focus industriae paulatim conversus est ad applicationem AI technologiae accelerandam, et exempla parva cum humilibus instituti sumptibus et efficacia altioris punctum rupturae aptius facti sunt. Aliquot exempla parva in certis agris positis emergere etiam coeperunt, ut magna exempla coctionis et magna exempla ad vivam effusionem. Haec nomina, licet parum effuse videantur, prorsus in recta via sunt. Denique AI in futuro non amplius erit unum, ingens existentia, sed magis diversa et personalia. Ortus exemplorum minorum est repercussio huius tenoris. Earum praestantissima in certis muneribus obeundis probat "parvum sed pulchrum" etiam observantiam et recognitionem obtinere posse.Exemplar si in antecessum currere vis in iPhone, aeque experiri potes iOS App vocatum "Hugging Chat" a Hugging Face deductae.Applicando detrahendo App Store cum Ratione Magica et Externa Zona, utentes accessere et uti possunt exempla fontium aperti, inclusis sed non limitatis ad Phi 3, Mixtral, Mandatum R+ et alia exempla.Calidum admonitio, ad meliorem experientiam et effectum, commendatur uti novissimae generationis Pro versione iPhone.
