nuntium

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Apparatus Cordis Report

Machina Cordis Editorial Department

Ab anno 2024 Worldwide Developers Conferentiae, Apple Intelligentia Apple immissa, nova personalizata ratio intelligens quae operas intellegentias practicas praebere potest, iPhone, iPad et Mac incedit, et in iOS 18, iPadOS 18 et macOS Sequoia.

Coquus olim dixit Apple Intelligentiam novum caput esse in innovatione Apple et mutare modum utentes productos uti. Extulit singularem Apple accessum ad intelligentiam artificialem generativam coniungendam et utentium personalium informationes ad operas intellegentias vere utiles comparandas. Accedit, Apple Intelligentia praebet aditum ad informationes omnino privatas et securum, adiuvantes utentes efficiunt quod maxime ad rem pertinet. Hoc est AI unicum Apple experitur.

Iam plus quam mensis praeteriit ex quo officialis nuntius Apple Intelligentiae. Haec technica tandem effecta est in callidis machinis, et documenta technica quaelibet tandem dimissa sunt.

Praeterito die, utentes qui iPhone 15 Pro vel iPhone 15 Pro Max habent, iOS 18.1 progressionem beta excipere possunt et munera Apple Intelligentiae experiuntur.

Cum emissione huius paginae 47 technicae relationis, altius intellegere possumus telum occulti post Apple Intelligentiae intellectum.

Report inscriptio: https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf

Renuntiatio singula exemplorum duorum -AFM-in-machinam, AFM significat exemplar pro Apple Foundation, quod est exemplar linguarum circiter 3 miliarda parametri, ac exemplar linguae maioris servo-fundatur.AFM-servo, specialia officia efficaciter, accurate et responsabiliter praestare potest (Figura 1).

Haec duo exemplaria turpia exstant ut pars Apple maioris familiae exemplorum generativarum.

Structura et disciplina

Exemplar fundamentale AFM est exemplar decoder densum in Architectura Transformatore constructum et hoc consilium capit:

Communes input/output matrices embedding ad memoriam reducere usus parametri.

Usus RMSNorm pro praeordinatione ad meliorem institutionem stabiliendam.

Query/clavem ordinationem ad stabilitatem exercendam emendare.

Ordinatae Query Operam (GQA) cum 8 pretii capitis capitis ad KV cache memoriae vestigium redigendum.

SwiGLU reducitur ad augendam efficientiam.

RoPE positio infixa, basi frequentia (basi frequentia) 500k ad longum contextum sustinendum posita est.

Processus prae-traturae AFM munere funguntur praecipuo in elaborando exemplorum summus faciendorum ad formas intelligendi notas ex Apple Intelligentiae sustinendas. Investigatio quadrigis spectat ad efficientiam et datam qualitatem ad consequendam summus qualitas finis-ad-finem experientiae usoris.

In terminis post-disciplinae, turma investigationis invenit quod meliori generali post-praeparatio potest emendare ad omnia functiones Apple Intelligentiae, quia exemplar validiorem facultatem habebit ad instructionem, rationem, et scribendam.

Ut hae functiones exemplar consentaneae sint cum Apple officio ad intimitatem usoris tuendi ac principia Apple Responsibilis AI, opus post exercitium notitiarum collectio et generatio, instructionis commensurationem et noctis innovationem comprehendit. Processus post-praeparandi duos gradus consistit: praeerant bene-tuning (SFT) et supplementum doctrinae ab humanis opinionibus (RLHF). Investigatio quadrigis proposuit duas algorithms novas post-praeparandas: (1) recusatio sampling subtilis-tuning algorithmus cum magistro committee (iTeC), et (2) RLHF algorithmus ad supplementum discendi iterationes cum speculi descensu optimization consilium (speculi descensus consilium optimiization ) et estimator commoditatis (MDLOO), signanter meliorem exemplar qualitatem relinquet.

Apple intelligenti Features

Basis exemplar specialiter destinatur pro Apple Intelligentia, ratio intelligentia personalis quae iPhone, iPad et Mac sustinet.

Lacus detexit se perficiendis parvis exemplaribus emendare posse ad optimas in-classes, eas ad operas subtiliter applicandas. Praeterea architecturae in curriculo-swappables adaptores elaboraverunt ut unum exemplar basim efficere possint in justo talium operum. Figura 2 ostendit summus gradus Maecenas.

nibh architectura

Lacus LoRA adaptatores ad exempla modulationis subtilitatis utitur ad munia specifica. Inquisitores pro unoquoque negotio, omnes matrices proiecturas lineares in AFM attentionis propriae accommodant et in stratis plene connexis in retiaculis sapientibus edaces. Per simpliciter activum adaptatorem, primi parametri basium exemplar praeordinatum immutata manent, permittens generalem cognitionem exemplaris conservari, dum adaptor ad opera propria munienda sustinenda.

quantitare

Ad incorporandum AFM in crepidines machinas cum rationum memoria strictis et consequentia gratuita reducere, ars quantitatis technicae considerandae sunt. Investigatio prior invenit quod 4-bit exempla quantitatis minimam iacturam patiuntur cum puncto rudis 32/16-bit.

Ad optimam proportionem inter exemplar facultatis et consequentiae perficiendi consequendum, Lacus status quantitatis methodi et compages evolvit, qui adaptatores accurationis-recuperare studet. Hoc exemplar consequitur ut fere quantitatem imminutam consequatur, cum mediocris ponderis uniuscuiusque ponderis minus quam 4 frusta sit, et quantitatis flexibilis schema electionem praebet.

methodo

Post exercitium, exemplar comprimitur et quantum ad pondera infra 4 minutas obtinendas in mediocris. Exempla quantitatis typice exhibent qualitatem modicam amissionem. Propterea Apple exemplar quantitatis directe ad plumam evolutionis non utetur, sed pone modum adaptatores parametri efficientis LoRA pro recuperatione qualitatis.

Notatu dignum est disciplinam accuratam receptam esse exemplar efficacem et cogitari posse de mini versione institutionis exemplar turpe. In praeparatione adaptatoris tantum circiter 10 miliarda signa (circiter 0.15% e forma fundamentali disciplinae) necessaria sunt ut facultatem quantitatis exemplar plene restituat.

Quia applicatio adaptorum ab his adaptatores subtiliter-recuperationis subiuncta erit, nullum praeter memoriam usus vel consequentiae gratuita incurrant. De magnitudine adaptoris, Apple invenit gradum adaptatorem 16 optimam mercaturam inter exemplar facultatem et consequentiam perficiendi praebet.

Autem, ad flexibilitatem, Apple adaptatores accurationis-recupationis statutum praebet cum diversis ordinibus {8, 16, 32} pro applicatione iunctorum ad eligendum e.

mixta cura quantitas

Connexiones residuales sunt pro omni transformatore clausus et omne stratum in AFM. Ergo probabile est omnes ordines pares esse momenti. Post hanc intuitum, Apple ultra memoriam usus imminuit impellendo aliquas stratas ad quantitatem 2-bit (defectum 4-bit). In mediocris, AFM-in-machinam comprimere potest ad tantum circiter 3.5 minutas per pondus (bpw) sine notabili qualitate damni.

Censeo

Turma Investigationis utitur communi fonte aperto per instrumenta aestimationis et benchmarks ad aestimandas exemplar AFM praestructum. Tabula 2 eventus ostendit AFM in fabrica et AFM servo in HELM MMLU v1.5.0.

Hae benchmarks demonstrant exemplar praeexercitatum AFM linguam validam habere et facultates consequentiae, solidum fundamentum praebens ad institutionem et plumam bene-tuning.

Comparationis eventus AFM cum fonte aperto exemplorum (Phi-3, Gemma-1.1, Llama-3, Mistral, DBRX-Instrue) et exempla mercatorum (GPT3.5 et GPT-4) in Figura 3 infra monstrantur. AFM exempla praeferuntur ab hominibus aestimatoribus ad alia exempla comparata. Praesertim cum Phi-3-mini, AFM-in-fabricam lucrationis 47,7% consecutus est, quamvis 25% minoris exemplaris magnitudine, etiam meliore quam aperto fonte baselines fortis Gemma-7B et Mistral-7B.

Facultatem exemplaris ut metiaris responsiones generandi quae instructiones in promptu sequuntur, turma investigationis aestimanda AFM-in-machina et AFM-servator in IFEval Probatio eventus monstrantur.

Ut in Figura V, AFM-servulus accurationem altiorem optimam consequitur, melior est quam Gemini-1.5-Pro-Praevius-0514 et GPT-4.

Lacus AFM cum aliquibus optimis exemplaribus comparavit necnon exempla minora fontis aperti. Ut in Figura VI, AFM-in-fabricae, aequivalens vel melius effectus comparari potest cum Gemma-7B et Mistral-7B. Executio AFM-servatoris signanter melior est quam DBRX-Instrue et GPT3.5, et cum GPT4 comparandus est.

Figure 7 comparat effectum AFM post exercitatum in mathematicis benchmarks . Inventum est AFM-in-fabricam signanter melius quam Mistral-7B et Gemma-7B praestitum esse, quamvis minus quam dimidia pars eorum.

Figura infra raters humanas demonstrat quas adaptatores AFM-in-fabricae qualitatem aestimant, Phi-3-mini, Llama-3-8B et Gemma-7B in summario negotio. Figura 8 ostendit AFM-in-fabricae adaptatorem plerumque alia exempla formare.

Responsible AI

Apple Intelligentia enucleatur et ordinatur cum secreto usuario in mente.

Figura 9 compendiat rates violationes datas ab hominibus ratibus in diversis exemplaribus, inferiore meliore existente. Tam AFM-in-fabricae et AFM-servator robusti sunt ad suggestiones adversarias, cum signanter infra rates violationem quam aperta principia et exempla mercatorum.

Figura 10 ostendit exemplar AFM magis faveri ab hominibus ratibus comparatis ad alia exempla.