nuntium

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Zuckerberg vota ad finem fontem apertum prosequendi.

Author｜Sukhoi

Editor｜Zhao Jian

Llama 3.1 tandem hic est.

Die XXIII mensis Iulii, loci in Civitatibus Foederatis Americae, Meta publice Llama 3.1 dimisit. Habet tres magnitudines: 8B, 70B et 405B, et contextus maximus ad 128k augetur. Llama nunc est una e magnarum seriei exemplarium cum maxime usoribus et effectibus potentissimis in aperto fonte agro.

Praecipua huius Llama 3.1 sunt:

1. Sunt tres versiones: 8B, 70B et 405B, e quibus versio 405B nunc est una ex maximis exemplaribus apertis; 2. Exemplar habet 405 miliarda parametri, superans summas AI exemplorum effectus; Fenestrae contextus longior (usque ad 128K signa), magis implicata negotia et colloquia tractare potest; 4. Sustinet multi-lingua initus et output, amplificatio versatilitatis et applicabilitatis exemplaris; complexus problematum mathematicarum et generans in musca contentus.

Meta scripsit in suo blog officiali: "Hodie, adhuc normale est ad exempla aperiendi fontis apertae magnae linguae, ut exemplo clausa careant fonte. Nunc autem in novam aetatem aperto fonte ducti sumus. Publica emissio Metae. Llama 3.1 405B est primus mundi maximus et potentissimus fons aperta basis exemplar interretiale, cum super CCC miliones cumulativorum downloads omnium Llama versionum ad modernum, hoc est initium."

Disceptatio inter fontem apertum et fontem clausa semper in campo technologiae calidissimus fuit.

Software fons apertus magis perspicuus et flexibilis est, permittens tincidunt circa mundum coniunctim codicem recensere, mutare et emendare, innovationem et progressum in technologia celeri promovere. Exemplaria fonti clausa plerumque explicari et conservari solent una societas vel organizatio, quae professionalem sustentationem et officia praebere potest ad securitatem et stabilitatem programmatis curandam. Sed hoc exemplar etiam limitat facultates usoris et css.

Donec nunc, exemplar fons clausus leviter melior semper fuit. Usque ad emissionem Llama 3.1, ferox fons apertus et fons clausus perennem disputatio designata est: exemplar aperti-fontis tandem cum exemplari fonte clauso contendere potest.

Iuxta Probatio notitiis Meta, versio popularis 405B iam comparabilis est cum GPT-4 et Claude 3 cum effectu. Apud eos, Humanum Aestimatio maxime adhibita est ad exemplar facultatem intelligendi et codicem generandi aestimandi et solvendi problemata logica abstracta. Cum aliis magnis exemplaribus certantibus, Llama 3.1 405B paulo melius esse videtur.

Llama 3.1 par est cum GPT-4 et Claude 3.5.

Andrew Ng, professor sociatus scientiae computatricis et machinalis electricae et director Intelligentiae Artificialis Laboratorii in Universitate Stanford, laudavit "Metam et Llama iunctos propter ingentem contributionem ad fontem apertum" in instrumentis socialibus. "Llama 3.1 donum fantasticum omnibus est", "Llama 3.1 omnibus "inepta ordinationes sicut propositas SB1047" innovationem sicut in California proposita non sperabat sperabat."

Ng Enda socialis media, fons: X

Yann LeCun, Turing Award victor et dux Intelligentiae Artificialis Scientist at Meta, citavit Verge's Llama 3.1—Meta descrip- tionem amplissimam et optimam apertam emisit exemplar intelligentiae artificialis ad date: Llama 3.1 bene facit in quibusdam benchmarks In experiendo, superavit. OpenAI et alii competitores.

Yang Likun media socialis est, fons: X

Interestingly, 405B versio Llama 3.1 suspecta est heri "furto" in HugginFace et GitHub.

Mark Zuckerberg, conditor et CEO Metae, ipse scripsit longum articulum cui titulus "Aperi Source AI Est Path Forward", utilitates explicans fontis aperti ad tincidunt et ad Metam et cur globally refert.

Praenuntiat ex fine huius anni, Meta AI superabit ChatGPT ut latissime assistens.

Item dixit;Votum peragendi fons apertus ad finem.

Articulus frustum "Fontis Open AI Via Progressio", fons Meta

1.Factio Llama 3.1

Secundum exemplar architecturae, quod maximum exemplar Metae ad modernum, Llama 3.1 in notitia plusquam quindecim trillionum signis eruditur, et praevia notitia praesto est usque ad mensem Decembrem 2023 .

Ut in tanta magnitudine in rationabili tempore opportuno exerceatur disciplina et optatos exitus consequantur, Meta totam acervam instituendi optimized, utens plus quam XVI 000 stipitibus H100. 405B primum est exemplar Llama hac forma instructum.

Transformator exemplar architecturae in Llama 3.1 processus generationis textus, principium: Meta

Ut stabilitatem et commoditatem disciplinae augeret, Meta vexillum decoder solum Transformer exemplar architecturae bene-tuning elegit, loco nunc architecturae periti mixtae popularis (MoE).

Hoc consilium Llama 3.1 permittit ut adhuc invigilet summus qualitas textus brevium, cum sustentans contextus longitudinum usque ad 128K, ut processus flexibilis textus longi et brevis, potius quam modo in textum longitudinis ponatur.

Eodem tempore, turma investigationis iterativam post-disciplinam methodum ad generandam syntheticam datam qualitatem generandam et varias functiones exemplaris per singulas circum studiosas optimas ac directas meliorizationis procurandas emendavit. Cum prioribus versionibus comparatus, Llama 3.1 quantitatem et qualitatem notitiarum praecomprehensivarum et post-praestruendi auget, accuratiorem processuum et administrationem processuum inducit, et qualitatem duriorem certitudinem et technologias eliquare.

Secundum exempla expansionis iuris linguarum, Llama 3.1 priora exempla parva superat utens eadem disciplina procedendi in effectu.

Ut currit exigentias magnarum 405B exemplorum obire, Meta quantitatem quantitatis exemplaris ex 16-bit (BF16) ad 8-bit (FP8) redegit, quae exigentiam computandi facultates valde redegit ac exemplar ad persequendum dedit. unum servo nodi.

Secundum mandatum et chat subtiliter de Llama 3.1 405B exemplar, manipulus evolutionis committitur ut docilitatis exemplar, prudentiam et qualitatem ad usorum mandata perficiat dum securitatis eminentia procurat.

In post-praeparatione phase turmae plures gyros congruis referendorum secundum prae-traditionem fecit. Singulae rotundi includuntur praefecti bysso (SFT), rejectio sampling (RS), et directa optionis optimiizationis (DPO).Accedit, turma synthetica notitia generationis adhibita ad generandum plurima exempla SFT, quae significationem non solum in notitia reali-mundi fidebant, sed in algorithmice notitia generatae ad exemplar instituendi.

Eodem tempore, manipulus etiam variis modis processus datorum utitur ad hanc datam eliquandam ut qualitatis summae curet et applicationis amplis notitiarum lepidissimarum amplitudine.

Meta est etiam novum consilium explorans, quod 405B exemplar utatur ut exemplar "magister" pro 70B et 8B exemplaribus, ita parva nativus exempla ex magnis exemplaribus extrahendis quae variarum industriarum necessitates conveniunt. Aditus hic incidit cum consilio mini GPT-4o.Hoc est, fac primum magnum, deinde fac parvum;。

Andrej Karpathy, unus e membris priorum OpenAI fundatorum, in GPT-4o Mini commentatus est: " Exemplar primum maius fieri debet antequam minui fieri possit. Quia opus est illis ut (automatice) auxilium ad informationem disciplinae reficiendam ut id specimen reddant; synthetica forma.» Ostendit hanc methodum efficaciter transferre profunditatem et latitudinem cognitionis magnarum exemplorum in minora exempla quae magis practica minusque pretiosa sunt.

Cum dux in aperto fonte exemplaris itineris, Meta etiam sinceritatem ostendit in adiuvandis facultatibus ad exemplar Llama.

Systema Llama designatum est ut compages comprehensiva, quae plures partes integrare potest, inter instrumenta externa vocatis. Propositum meta est latiorem rationem praebere quae tincidunt mollius excogitare sinit et productos nativus necessarios occurrentes creare.

Ad consciam evolvendam AI ultra exemplar tabulatum, turma investigationis integram systema referens cum multiplicibus applicationibus et novis componentibus dimisit, sicut exemplar securitatis multilinguae Llama Cohortis 3 et prompta iniectio filter Cohortis Promptus. Hae applicationes fons apertae sunt et ad ulteriorem progressionem communitatis praesto sunt.

Ut melius interfaces componentes definiant et eorum standardizationem in industria promoveant, investigatores cum industria, startups et communitate ampliori collaboraverunt et "Llama Stack" propositum de GitHub ediderunt. Hoc signum est interfaces normas factas quae simpliciorem faciunt constructionem instrumentorum instrumentorum instrumentorum (sicut byssus, synthetica notitia generationis) et applicationes agentis.

Secundum probationis probationis notitiis Meta, Llama 3.1 405B notatis 98.1 in probatione NIH/Multi-acus probationis, quae comparabilis est cum GPT-4 et Claude 3.5 cum ustulo faciendis. 405B versio optimam facultatem habet ad informationes textus ingentes integrandi ac notatos 95.2 in ZeroSCROLLS/Quality Probatio test.

Llama 3.1 cum fonte clauso exempla ut GPT4, source: Meta

Llama 3.1 cum fonte aperto exempla qualia sunt Mistral 7B Instruct, source: Meta

Llama 3.1 8B versio signanter melior est quam Gemma 2 9B 1T et Mistral 7B Instrue, eiusque effectus signanter emendavit ad priorem generationem Llama 3 8B. Eodem tempore, Llama 3.1 70B versio etiam GPT-3.5 Turbo superatur.

Secundum relationem officialem de Llama quadrigis, in profundis persecutionis aestimationem egerunt et manualem probationem amplam horum exemplorum in plus quam 150 multi-linguarum probationis notae collocavit. Eventus ostendunt exemplar summum Llama comparandum esse cum exemplaribus fundamentalibus in foro sicut GPT-4, GPT-4o, et Claude 3.5 Sonnet in variis operibus. Eodem tempore, collata cum fonte clauso et aperto exemplorum similium squamarum parametri, parva versio Llama etiam aemulationem validam ostendit.

2.Disceptatio inter fontem apertum et fontem clausa exempla

Potestne fons aperto fonte exemplar clausum superare exemplar?

Haec quaestio ab anno priore disputata est. In progressione viae duorum exemplorum varias philosophias technicas repraesentant, quarum unaquaeque habet sua merita in provehendo technologico progressu ac negotiis necessariis occurrens.

Exempli gratia, Llama 3.1 exemplum amplum apertum est, quod investigatores et tincidunt accessuri ad suum principium codicem permittunt, et homines libere studere, mutare ac etiam exemplar emendare possunt. Haec apertio fovet cooperationem et innovationem latam, tincidunt diversis in locis ad solvendas difficultates concurrit.

E contra, ChatGPT exemplar occlusum ab OpenAI explicatum est. Etsi API accessum praebet, nucleus algorithmus et notitia disciplinae plene non aperiuntur. Clausa fons natura GPT-3 robustiorem in via mercaturae efficit. Eodem tempore, eius moderabilitas firmitatem et securitatem operis efficit, eamque locupletiorem facit in inceptis sensitivarum informationibus tractandis. Sed haec clausura etiam investigatores externos limitat facultatem ad exemplar plene cognoscendi et innovandi.

Mense Maio anno praeterito, instrumenta externa nuntiaverunt Google documentum cum argumento emanasse: "Nos fossam non habemus nec OpenAI sumus. Dum adhuc disputamus, fons apertus negotia nostra tacite surripuit". Post Meta emisit fontem apertum magnum exemplar Llama 2 eodem anno, Yang Likun dixit Llama 2 structuram fori magnarum linguae exemplorum mutare.

Homines exspectant fontem apertum communitatis ab Llama exemplorum serie ductum. Antea exemplar GPT-4-principium antecedens clausura semper paulo melius fuit, quamquam hiatus inter Llama 3 eo tempore iam valde exiguus erat.

Praecipuus index in agro magnarum exemplorum est magnum exemplar Arena (LLM Arena), quod ELO puncta systematis e latrunculis adoptavit. Eius regula fundamentalis est ut utentes quaestionem interrogent duobus exemplaribus anonymis (v.g. ChatGPT, Claude, Llama) et suffragium unum cum meliori responsione. Exempla cum melioribus responsionibus puncta accipient, et ordo finalis per puncta congesta determinatur. Areani ELO suffragia e notitia hominum 500,000 hominum collecta sunt.

Recognitio amplis exemplaribus rankings, source: LLM Arena

In LLM Arena rankings, OpenAI's GPT-4o nunc summum locum obtinet. In summo decem exemplorum fonte omnia clausa sunt. Etsi exemplar fons clausus adhuc longe antecedit in rankings, hiatus inter fontem apertum et fons clausa exempla non crescit, sicut Robin Li dixit ad 2024 Baidu AI Developer Conferentiae, sed sensim angustans est.

Per WAIC, Robin Li dixit: "Fontem apertum quoddam IQ tributum est".Source: Baidu

Cum emissione Llama 3.1 hodie, fons apertus exemplar tandem cum fonte clauso certare potest.

Pro quo fonte aperto vel fonte clauso melius exemplar "Jiazi Guangnian" tractavit cum multis AI industria medicorum. Industria vulgo creditur;Saepe pendet in persona propria et non est simplex causa nigra et alba.

Agitur de fonte aperto et fonte clauso, non est differentia mere technica, sed magis circa exemplar electionis negotii. In praesenti, utcumque sit fons apertus vel fons amplus clausus exemplar, exemplar negotii prorsus felicis nondum inventum est.

Quales igitur factores inducunt facultatem differentiae inter fontem apertum et exempla fontis clausa?

Zhang Junlin, caput novae technologiae technologiae Weibo et progressus, ostendit incrementum facultatum exemplarium esse praecipuum elementum. Si exemplar facultatis celeriter augetur, significat magnam vim computandi facultates brevi temporis spatio requiri. E contra, si facultatum exemplar lente crescunt, hiatus inter fontem apertum et fontem clausus decrescet et celeritas adprehensionis accelerabitur.

Credit in proximis paucis annis, differentiam facultatum inter aperta et clausa exempla fontium evolutionis "syntheticae notitiae" technologiarum pendere. Si "synthetica notitia" technologiam significantem progressionem in duobus annis proximis facit, intervallum inter utrumque crescere potest;

Super "data synthetica" clavis technicae artis fiet ad exempla magnarum linguarum evolutionis in futuro.

Fons apertum vel fons clausus perficiendi exemplaris ipse non determinat. Specimina fontis clausa non agunt, quia clauduntur fonte, et aperta fonti exempla non cadunt, quia aperta sunt principia. E contra, exemplar eligit fons clausus quia ducit, et habet eligere fontem apertum quia non sufficit ducens.

Si societas exemplar magni ponderis facit, fons aperta iam non est.

Exempli gratia, Gallica stella satus Mistral, eius poten- tissimum fontem 7B exemplar Mistral-7B apertum et primum fontem apertum MoE exemplar 8x7B (MMLU 70) unum sunt exempla maxime popularium in aperto fonte communitatis. Attamen Mistral-Medium (MMLU-75) et Mistral-Large (MMLU-81) postea a Mistral exercitati sunt exempla utriusque fontis clausa.

Nunc, exemplar optimorum clausorum fontium et exemplar optimum faciendo quod in magnis societatibus dominatur, et in magnis societatibus, Meta maximam habet determinationem apertam.Si OpenAI fons apertus non est propter reditus mercatorum, quid propositum Meta eligens esse fontem apertum et utentes gratis experiri permittens?

Ultima quarta renuntiatio nummaria, Zuckerberg ad hanc rem responsum fuit quod Meta's technologici sui AI technologiae fons apertus erat, ut technologicam innovationem, meliorem exemplar qualitatem promoveret, signa industriae constitueret, talenta traheret, diaphaneitatem augeret, consilia diuturna sustineret.

Hoc tempus Zuckerberg singillatim exposuit "cur fons apertus AI bonum tincidunt" in "Folle AI Via Fori" est:

In colloquiis cum tincidunt, CEOs, et moderatoribus regiminis e circum orbem terrarum, saepe audio eos efferre necessitatem instituendi, cantus, optimize sua exempla.

Omnis ordo singulares habet necessitates, et exempla diversarum quantitatum optimized pro iis necessitatibus, exercitata vel subtiliter cum notitiis specificis. Simplex in-machina munerum ac munerum classificationis exempla minora requirere potest, cum plura implicata munera maiora exempla requirant.

Nunc uti potes exemplaribus publicis ab arte Llama et pergere eas cum notitia tua instituere, postea optimizinger ad scalam idealem—sine nobis vel aliquo alio accessu ad notitias tuas.

Nostrae sortis opus est regere, venditori non videremur clauso fonte.

Multae institutiones exemplari niti nolunt quod se currere et regere non possunt. Sollicitant ut provisores exemplorum fontium clausorum exemplar, termini usus, vel etiam operas omnino intermittant. Etiam in unam suggestam nubem claudendam esse quae ad certum exemplar iura exclusiva non volunt. Fons apertus multas societates praebet catena instrumenti compatibili, quod facile inter varias systemata mutandum facit.

Data nobis praesidio opus est.

Multae institutiones notitias sensitivas tractant et indigent ad hanc notitiam defendendam ex APIs nubem in exemplum fontis clausae mittentes. Aliae consociationes simpliciter non confidunt de fonte clauso exemplorum provisorum accessus ad processus notitias. Fons apertus has difficultates solvit, permittens exempla curris ubicumque vis, et late tutior habetur propter perspicuitatem processus evolutionis.

Opus efficax et oeconomica via ad operandum.

Tincivi currere possunt Llama 3.1 405B exempla ad coniecturam suam infrastructuram circa medium sumptus utendi exemplorum fontium clausorum ut GPT-4o, apta utriusque usoris adversus et offline illationis officia.

sponsio sumus in ecosystematis quae promittit vexillum longum tempus fieri.

Multi vident exempla fontis aperti evolventes citius quam clausa exempla fontis, et sperant systema architecturae quam aedificant maximas longi temporis utilitates efficere.

(Cover image from Meta X account)