nuntium

Llama 3.1 quaeque in antecessum pulsans GPT-4o solio suo?Citius ac X temporibus cheaper

2024-07-24

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Text |

Editor|Anita Tang

Si fatum est magnum exemplar Llamae ut cameram fontis aperti exemplorum efficiat, tunc "tragoce emanasse" est clades quam Llama superare fecit.

Mense Martio 2023, Llama 2 in antecessum est emanasse, et Meta exemplar tamquam apertum principium dimittere debebat.

Hodie historia se iterum repetit.

Die 12 Iulii Pacifici, Meta operarius indicavit Metam consilia maxima parametri emittere versionem Llama ad diem: Llama 3.1 405B die 23 Iulii 2024 loci temporis. 405B revelavit primum exemplar multimodiale in Llama serie futurum esse.

Autem, die XXII mensis Iulii, Pacifico tempore, uno die ante remissionis horarium, exemplar et probatio proventus Llama 3.1 in communitatibus technicis divulgabantur sicut Reddit, et magnetem nexum Llama 3.1 (programma ad documentorum download usus) Habet Communitates peractae ut HuggingFace.

Ex quaeque evento iudicans;Exercitatio Llama 3.1 comparabilis est cum OpenAI's GPT-4o!

Aliqui AI bloggers laudaverunt emissionem Llama 3.1 alium diem futurum esse qui sortem AI mundi mutaverit:


Source: X

Probatio emissa proventus ostendunt Llama 3.1 tres magnitudines habere: 8B, 70B, 405B. 70B exemplar cum paucissimis parametris in multis aspectibus effectum habet ut GPT-4o.


△ Imagine supra demonstrat comparationem inter singulas versiones Llama 3.1 et OpenAI GPT-4o et Llama 3 8B/70B. Image source: X user @mattshumer_

Nonnulli reticulati demonstraverunt quod si in hoc Probatio fundatur, Llama 3.1 405B ≈ GPT-4o, Llama 3.1 70B primum exemplar leve fiet et GPT-4o mini quod OpenAI vincere potest.


△Picture source: X user @corbtt

Multi tamen retiarii qui exemplar "primi adoptatores" iecerunt, invenerunt emanatam versionem Llama 3.1 405B magnitudinem fasciculi circiter 820GB habere, memoriam Llama 2 fere ter requirentes (circiter 280GB) quae plenam accurationem retinet.

Hoc significat quod nisi meum domi habeas et satis GPUs praestare possit, difficile erit singulis tinctionibus ad Llama 3.1 in propriis computatoriis currere. Quidam reticulati putant Llama 3.1 non singulos esse, sed institutiones et incepta.

Llama 3.1, quae nondum publice nuntiata est, etiam aqua frigida infusa est. Multi retiarii conquesti sunt: ​​Llama 3.1 nimis alta requisita GPU pro GPU et non tam bona quam mini GPT-4o ab OpenAI proxima porta.


△Netizen comment in X. Imago fontis: X user @_Talesh


Munus iterationis, optimiizationis indicator, reductionis subsidii computandi

Secundum exemplar informationis emanasse, Llama 3.1 plus habet iterationes in functione quam Llama 3, quae die 19 Aprilis 2024 dimittetur, inclusis fenestris contextis, multi-linguarum input et output, et elit et tertia factionis instrumenta integratio possibilis.

Data formatio: Llama 3.1 instructa est utens 15T+ signa e fontibus publicis. Dialogus multilinguis: Llama 3.1 subsidia 8 linguarum: Anglica, Germanica, Gallica, Italica, Lusitana, Hindi, Hispanica et Thai. Etsi proh dolor in Sinica praesto non sunt, tincidunt Llama 3.1 exempla pro linguarum cantu praeter 8 linguas sustineri possunt. Contextus fenestra: Contextus longitudo cuiusque versionis ab 8k ad 128k dilatatur, quae fere aequipollet exemplarii cum meminisse, intelligere et processus 96,000 verborum ad tempus, paene integra originalis "Harry Potter".

Multi retiarii eam experiri cupiunt et Llama 3.1 contendunt cum "decessoribus" exemplaris.

Ex probatis a reticulis, cum Llama 3, capaces Llama 3.1 insigniter emendatae sunt. Inter eos, human_aevales et veridicae_mc1 significantes progressum fecerunt, quod significat facultatem codicem programmandi generandi validiorem esse et responsa quaestionibus veriores sunt.

Eodem tempore, cum basi exemplar, Llama 3 exemplar instructus signanter emendavit indices ut promptam doctrinam, contextualem doctrinam, efficacem parametri pulchre hians.

Rationabile est quod exemplar turpe plerumque ad munus specificum non bene modulatum est, cum exemplar instructum specialiter instituatur ad instructiones sequendas vel operas specificas complendas. In universum exemplar indices instructorum melius praestant.

Inde homines exspectant ad officialem Llama3.1 emissionem etiam magis. Llama3.1 exemplar proventuum testium currently emanasse tantum ad exemplar basin sunt, dum exemplum instructum melius praestare potest!


△Picture source: X user @thenameless7741


△Picture source: X user @thenameless7741

Mire, in probatione probationis eventus, Llama 3.1 70B exemplar ligatum vel etiam GPT-4o verberavit, dum Llama 3.1 8B exemplar prope Llama 3 70B ad exemplar erat faciendum. Nonnulli reticulati putaverunt hoc exemplar technologiae distillationis adhibitum esse, id est, exempla 8B et 70B ex maximis 405B exemplaribus faciliores, magna exempla "minor" faciens.

Exemplar distillationis technologiae considerari potest ut discipulus discendi a magistro. Magnum exemplum et potens (magistra exemplar) magister est, ac minor et simplicius exemplar (discipulus exemplar) discipulus est. Discipulus exemplar discit per "imitationem" magistri exemplar, quod output quam proxime ad exemplar magistri output discit, inde scientias et facultates similes discit.

Discipulus exemplar, quod distillationis institutum est, exemplar amplitudinis et subsidiorum computandi requisita reducere potest, servata alta observantia et satis accurate.


Source: Reddit


Quisque non cursus ipsum, sed pretium justo.

Num Llama 3.1 fons apertus erit sicut expectatur, adhuc ignotum est. Sed etsi fons apertus est, si Llama 3.1 uti voles, tamen meum domi habere debes.

Si vis currere Llama 3.1, tessera fundamentalis ingressu satis GPU est.

Documenta punctata ostendunt exercitationem Llama 3.1 405B in H100-80GB genus ferramentorum esse 30.84M horarum GPU. Hoc significat quod, si una tantum H100-80GB per horam adhibita sit, 30.84M horas ad Llama 3.1 405B currere capiet - 3500 annorum erit usque dum exemplar currit!


Source: Reddit

Si privatim explicari vis, si inceptum feliciter Llama 3.1 405B intra mensem currere vult, saltem 43,000 H100-80GB reservare debet. Ratione fundata in H100 unitatis pretium US $ 40,000,Usura Llama 3.1 405B computandi tesseras potentiae, pretium tam altum est quam 1.7 miliardis dollariorum, aequivalens 12.5 sescenti Yuan.

Sed bonum nuntium est quod illatio sumptus Llama 3.1 vilis esse potest.

Iuxta Analysin artificiosa, sumptus ad perput 1 decies centena signa requirendus, Llama 3.1 405B vilis et plus efficax erit quam incisurae exemplaribus similium qualitatis (GPT-4o et Claude 3.5 Sonnet).


△Picture source: X user @ArtificialAnlys

Praeterea quidam reticulati per codicem fontalem speculati sunt quod Llama 3.1 405B fieri potest ut producti membra, et utentes pendere necesse est cum eo utendo. Tamen adhuc exspectamus officialem remissionem quoad realem condicionem.


△Picture source: X user @testingcatalog

(36Kr Zhou Xinyu auctor etiam huic articulum contulit)

Gratam communicare

Gratam communicare