nuntium

Llama 3.1 publice dimisit: 405 billion parametri exemplar fons aperto Xiao Zha: aperi fontem usque ad finem

2024-07-24

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Text |

Editor|Su Jianxun

Thronus GPT-4o nondum calidus est, Xiao Zha aperto fonte exercitum duxit et illuc irruit —

Ut ante divulgabatur, Meta publice dimisit Llama 3.1 die 23 mensis Iulii, anno Pacifici temporis in Civitatibus Foederatis. Haec est late usus et summa operans magnam seriem exemplarium in aperto fonte hodierno.

Accidit, Pridie quam dimitteret, Llama 3.1 in communitate e elit erat.

De notitia publice dimissa Llama 3.1 congruere etiam potest cum nuntio: tres magnitudinum sunt: ​​8B, 70B et 405B, et contextus longitudo ad 128K aucta est.

Secundum probationis probationis notitiis Meta, popularis 405B (405 miliardis parametri) iam comparabilis est in actione cum GPT-4 et Claude 3.5.


Comparison with GPT-4 and Claude 3.5

Ante exempla capitis currentis Yishui, Llama 3.1 non timet;


Comparison cum fonte clausa exemplum


Comparison cum aperto fonte exemplar

Dici potest emissio Llama 3.1 miliarium scripsisse in recenti pugna acerrima inter fontem apertum et fontem viae clausae: exemplar apertum summo fonti vere coniunctas copias cum summo fonte clauso exemplorum habent.

"Hactenus, fons apertus magnarum linguarum exempla, plerumque pigris clausis exemplaribus in terminis functionality et agendis habent. Nunc novam aetatem aperto fonte ducti sumus".


△A picture quae in circulo AI nuper populari facta est, exemplar fontis aperti excipit exemplar fontis clausi.

Meta praeterea adnectitur 92-paginae chartae ad emissionem officialem suam, ad singulas formandas patefaciendas;

Llama 3.1 in notitia plusquam 15 trillion signis instructa est, utens 16000 H100 insulis. Prae-paratio data adhibita mensis Decembris anno MMXXIII est. Ut stabilitatem instituendam curaret, solum exemplar architecturae Transformatoris ad commensurationem adhibitum est, loco nunc popularis architecturae periti Mixtae (MoE).

Hoc etiam eo ducit quod Llama 3.1 potest ponere summam qualitatem e contextu fenestrarum brevium, etiamsi ad longitudinem 128K contextus ampliatur.

Nulla nunc tam ampla fons aperta exemplar in mundo est quod ad tantam disciplinarum scalam pervenit.

Ad plura singula, etiam illud in singulis dis ante aliquot horas introduximus.

Anno 2024, sicut scala exemplaris disciplinae maior et maior fit, tincidunt etiam mirantur: Num magnae societates quae ingentis disciplinae gratuita persolverunt ad fontem apertum pergunt?

Post omnes, OpenAI discitur ex praeterito - spiritui fontis aperti in primis diebus adhaeret, sed cum GPT3.5 vulgaris factus est et mercatura factus est, OpenAI fons non iam aperta est et quasi Clausa AI ridetur.

At momento, quo Llama 3.1 dimissus est, Zuckerberg iterum inculcavit:

aperi fontem usque ad finem!

Praeter exemplar solvendi, Xiao Zha etiam emisit promptum et idealisticum fontem apertum manifesto, explicans cur Meta fons patens sit et quare fons apertus tincidunt utiles sit.

Notatu dignum est eum existimare, quamvis Civitates Foederatae et Sinae contra AI certamen acerrimae sint, eligens iter apertum fontem tamen plus commoda quam incommoda habet.

Bene, Llama 3.1 iam hoc simile est, et iterum quaestionem quaerendum est: Quando venerit OpenAI et GPT-5?

Sequentia est Zuckerberg epistulam apertam, a "Intellectus Emergentiae" exaratam:

"Aperi Source AI via progredi"

Primis diebus magni operis computandi, maiores societates technologiae diei graviter collocaverunt in explicandis suis versionibus clausis fons Unix. In tempore, difficile erat putare aliquem alium modum explicandi huiusmodi programmatibus provectis.

Tamen, fons apertus Linux, tandem captus est-initio, quia permisit tincidunt suum codicem quoquomodo mutare voluisse et vilior fuit; . Hodie, Linux est fundamentum industriae ad nubem computandi et operandi ratio quae maxime mobiles machinis decurrit — et nos omnes utilitates eius praestant.

Artificiosum credo intelligentiam simili modo evolvere. Hodie plures societates technologiae elaborant ut exempla principii clausa fonti. Sed fons apertus cito claudit illam hiatum. Praeterito anno, Llama 2 solum exemplaribus generationis vetustioribus comparandum erat, quae post marginem incisae sunt. Hoc anno, Llama 3 certat cum antecedens exemplaribus et in nonnullis locis ducit. Proximo anno incipientes expectamus futurum Llama in industria antecedens esse. Sed ante id, Llama iam erat in aperto fonte, modifiabilitatis et efficientiae sumptus praeducens.

Hodie proximum gradum capimus ad fontem AI industriae vexillum faciendum. Llama 3.1 405B dimittemus, primum exemplar promptissimum ducens fontem AI, tum novum et emendatum Llama 3.1 70B et 8B exempla. Praeter exempla melioris sumptus/perficiendi ad fontem clausum habendum, eo quod 405B exemplar fons apertus sit, optimam electionem efficiet ad exempla bene-tunandi et extrahendi minora.

His exemplaribus sicut solvens, operam dabimus etiam cum societatibus amplis ut oecosystematis latius crescant. Amazon, Databricks, et Nvidia plenam officiorum sectam inducunt ut tincidunt bene-tuning et expolitio sua exempla praebeant. Societates innovativae ut Groq (an AI chip startup) humilem latentiam aedificaverunt, illatio gratuita officia pro omnibus novis exemplaribus aedificaverunt.

Exempla haec in omnibus nubibus maioribus praesto erunt, in iis AWS, Azure, Google, Oraculum, et plura. Scale.AI, Dell, Deloitte et alii parati sunt ut conatibus adiuvent Llama explicant et exempla consuetudinum instituendi utentes propria notitia. Cum communitas crescit et plures societates nova officia explicant, simul possumus Llama vexillum industriae facere et beneficia AI omnibus efficere.

Meta committitur ad apertum fontem AI. Proponam cur putem fontem apertum esse optimum progressionem acervum hominibus, quare fons apertus Llama bonum est Metae, quare fons apertus est bonum mundo AI, et ob hoc, fons apertus communitas hic est manere.

Cur fons apertus AI bonum developers

Cum loquor tincidunt, Cius, et magistratus gubernationis per orbem terrarum, fere pauca themata audio:

Opus est ut exempla nostra instituant, cantilena et excolant.

Omnis ordo diversas necessitates habet, quae maxime inserviunt exemplaribus magnitudinum diversarum quae ad usum notitiarum specificarum sunt instructae vel subtiliter modulatae. In fabrica et munerum classificationis opera exempla minora requirunt, dum magis implicata munera maiora exempla requirunt.

Nunc LLama exempla civitatis-of-artis capere poteris, ea uti notitia tua instituere, ac deinde in exemplum amplissimum tuum excoquare - sine nobis vel ab ullo alio notitias tuas videris.

Necesse est ut nostram fortunam regere neque ad clauso fonte venditoris alligari.

Multae institutiones exemplo niti nolunt quod currere et regere non possunt. Exemplar fontium clausus nolunt suggerere ut exempla sua mutare possint, termini usus mutare, vel etiam omnino servire desinunt. Etiam nolunt in unam nubem inclusam esse quae iura exclusiva ad quoddam exemplar habet. Fons apertus compatibles instrumenta multarum oecosystematum societatis praebet, et inter eas facile commutare potes.

Data nobis praesidio opus est.

Multae consociationes notitias sensitivas tractant quae protegendae sunt nec per nubem APIs ad exemplar clausum transferri possunt. Aliae consociationes simpliciter non confidunt de fonte clauso exemplaribus suggerentibus cum eorum notitia. Fons apertus has difficultates solvit, ut exemplar quo vis currere possis. Aperte accipitur ut software fons apertus tutior est quia luculentius evolvitur.

Exemplar efficientis et parabilis operandi opus est.

Tincivi coniecturam facere possunt in Llama 3.1 405B, sponte infrastructurae circa L% sumptus utendi exemplorum fontium clausorum sicut GPT-4o pro usuario-adversis et offline consequentiae operibus.

sponsio sumus in ecosystematis quae longi temporis vexillum fieri potest.

Multi homines vident fontem apertum moventem citius quam exempla fontis clausa, et architecturam cupiunt in qua systemata sua aedificantur ut illis maximum diuturnum commodum praebeat.

Cur fons apertus AI bonum Meta

Meta negotii exemplar est optimas experientias et operas hominibus aedificare. Ad hoc faciendum est, ut semper aditus ad optimam technologiam accedamus, potius quam in ecosystem clauso competitoris claudatur, qui quod aedificare possumus limitat.

Una ex experimentis formativis meis erat quod officia nostra limitata erant ex illis quae Apple nobis in suggestu aedificare licebat. Via tincidunt, regulas arbitrarias applicant, omnesque producti innovationem impediunt quominus solvantur, manifestum est, si optimas versiones productorum et competitorum nostrorum emendare possumus quod aedificare possumus, tum Meta ac multae aliae societates liberi erunt ut operas hominibus melioribus aedificent. In gradu philosophico, haec praecipua est ratio cur tam vehementer ad fontem ecosystem apertum in aedificando posteros computandi in AI et AR/VR.

Saepe a me rogant, si sollicitus sum qui commoda technica aperiat Llama tradet, sed hoc puto rationes aliquas magnas ignorare;

Primum, ut accessum ad optimas technologias habeamus et in ecosystem clauso fonte per longa temporis spatia non claudatur, Llama necesse est evolvere in oecosystematis completis inclusis instrumentis, amplificationibus efficientiae, optimae siliconis aliisque integrationibus. Si sola societas utens Llama essemus, oecosystematis non crescebat nec melius essemus quam variantes Unix clausus.

Secundo, competitions expecto augebit ut mens evolvatur, significans quod in illo loco, apertum aliquod exemplar transmigrans, homines non tradant in proximo exemplari quod maius habet commodum. Llama via ad vexillum industriae efficiendum est per exemplar constantis certationis, efficientiae et fons apertae generationis et generationis.

Tertio, clavis differentiae inter Metam et fontem exemplar provisoribus clausa est quod aditus ad AI exempla venditionis exemplar negotium nostrum non est. Hoc significat quod Llama publice solvens reditus nostros, sustentationem, facultatem non impedit nostros in investigationibus collocandi, sicut apud venditores clausos-fontis facit. (Haec una causa est cur plures provisores clausi-fontis lobbyingi imperia contra fontem apertum fuerint.)

Denique Meta longam historiam et res gestas in aperto fonte incepta habet. Billions dollariorum servavimus solvendo servo nostro, retis, et instrumentorum notitiarum mediarum per Open Source Project Project et normas, copiam catenam in consiliis nostris servavimus. Ex innovatione oecosystematis adiuvamus, fonte aperto instrumenta ducens sicut PyTorch, React et plura. Hic aditus semper nobis laboravit cum per longum tempus cum eo adhaesimus.

Cur fons apertus AI bonum mundi est

Fontem apertum pro positivo AI futuro necessarium esse credo. Intelligentia artificialis maiorem potentiam habet quam quaevis alia moderna technologia ad augendam hominum fructibus, creativity et qualitatem vitae, ac promovere investigationem medicam et scientificam dum incrementum oeconomicum accelerans.

Apertus fons efficiet ut plures circum terrarum homines accessum ad beneficia et opportunitates AI, potestas in paucas societates non conferatur, ac technologiae plus aequo ac securius per societatem explicari possint.

Diuturna disceptatio est de securitate fontis aperti AI exemplorum, et sententia mea est fontem apertum AI quam alterutro tutiorem fore. Gubernationes puto concludere eam rem suam fovere fontem apertum, quia mundum prosperiorem et securum faciet.

Intellectus salutis meus est quod opus est contra duas species iniuriae tueri: imprudentiae nocumenti et voluntariae detrimenti. Nocumentum imprudentiae est cum ratio AI nocumentum inferre potest, quamvis homo currens non habuit intentionem faciendi.

Exempli gratia, modernorum AI exempla ignari consilium valetudinis dare possunt. Vel, in missione futuristic magis, quaedam sollicitant exempla quae imprudenter se replicare potuerunt vel proposita cum damno hominum nimis optimizare. Nocumentum voluntarium est cum malus actor exemplar AI utitur cum meta nocendi.

Notatu dignum est quod inprudentia nocendi maxime curas hominum circa intelligentiam artificialium comprehendit - ab impulsu AI systemata in billions hominum habebunt, qui iis utentur ad missiones verissime catastrophicae scientiae commenti pro humanitate. Qua in re fons apertus multo tutior esse debet quia ratio perspicuior et late inspici potest.

Historice, fons apertus programmator hac de causa securior fuit. Similiter, Llama et eius systemata securitatis ut Llama Custodiae, tutiores esse possunt quam exemplar fons clausus. Quam ob rem plerique disputationes de fonte aperto AI salutem intendunt in nocumentum voluntarium.

Nostrae salutis processus includit severam probationem ac iunctiones rubras aestimandas num exemplaria nostra possint significare damnum inferre, cum propositum periculum minuendi antequam emissio. Cum exemplar fons apertus sit, quilibet potest ipsum probare.

Meminisse debemus exempla haec in informationibus quae iam in interrete praesto sunt educata sunt, itaque cum considerans initium laedendi initium esse debet, exemplar est velocius quam notitia quae ex Google vel ex aliis quaestionibus indagari potest verisimilius nocere.

Cum de nocumento voluntario ratiocinatur, iuvat discernere quid homo vel minimus histrio facere possit et quid actor talis permagna, qualis gens-res publica magnis opibus posset.

Aliquando in posterum, singuli actores mali intelligentiam AI exemplorum iungant ut omnino novas rationes nocendi ex informationibus in interrete in promptu efficiant. Hic, statera potestatis critica ad salutem AI erit.

Puto melius esse vivere in mundo ubi AI late explicatur ut magni scaenicorum potentiam minorum malorum guys conpensare possint. Ita securitatem in retiacula socialia administramus - potentiores AI systemata noscendas et obstruendas minas ab oppugnatoribus minus urbanis qui saepe minoribus AI systematibus utuntur.

Latius, magna instituta AI ad scalam explicandam conferent ad securitatem et stabilitatem totius societatis. Quamdiu quisque aditus ad similes exempla habet, faciliorem reddit fontem - gubernationes et institutiones cum opibus computandis, malos actores minore computatione cohibere poterunt.

Proxima quaestio est quomodo Civitates Foederatae et democratiae minis e nationibus magnis opibus similes Sinarum respondere debent. Utilitas Civitatum Foederatarum in decentralizatione et fonte aperto innovationis iacet.

Nonnulli putant nos impedire exempla nostra impedire ne Sinas ea obtineat, sed propositum est quod hoc non laborabit et tantum incommodo Iunctus Civitas et socios eius ponet. Adversarii nostri valde bona sunt inquisitio.

Mundus duntaxat fontium fontium exempla verisimilius videtur provenire in paucis magnis societatibus plus nostris adversariis geopoliticis accessus ad exempla principalia, dum incepta, universitates et negotia parva quae fallunt.

Praeterea US innovatio limitandi ad fontem evolutionis clausae auget verisimilitudinem quam nos simpliciter non ducamus. Sed consilium nostrum optimum puto esse fontem ecosystem apertum fortem aedificare et primarii nostri societates cum imperiis sociisque nostris arcte laborare, ut melius possint uti progressibus novis et sustineri in longo termino primi motoris utilitatem.

Ut futuras opportunitates spectes, memineris plerasque hodiernas turmas technologias et investigationes scientificas in aperto fonte programmate aedificatas esse. Si simul collocamus, societatum et investigationum generatio altera AI fonte aperto utetur. Haec implicat principia pullorum, et homines in universitatibus et nationibus quae facultates non habent ut suum statum-of-artis AI de integro evolvant.

Maxime, fons apertus AI repraesentat opportunitatem mundi optimam hanc technologiam levandi ad maximam opportunitatem oeconomicam et securitatem omnibus creandi.

aedificemus simul

Praeter exempla Llama, Meta eas sibi evolvit ac deinde eas dimisit quin nimis ecosystem in ampliore aedificatione positos.

Aliter accessum cum hac launch sumimus. Partes interne aedificamus ut Llama praesto sint quot tincidunt et socii quam maxime, et etiam societates actuose aedificamus ut plures societates in oecosystematis possunt etiam unicas facultates suis clientibus offerre.

Credo emissionem Llama 3.1 metae esse industriae, cum primis tincidunt incipientibus ad aperiendum fontem utendum, et spero accessum tantum hinc crescere. Spero te nobiscum in itinere coniungere ut bona intelligentiae artificialis omnibus in mundo afferas.

Nexum acquirendi Llama 3.1 est: https://llama.meta.com/

MZ (Mark Zuckerberg)

Gratam communicare

Gratam communicare