CumChatGPTPost explosionem, investigatio et progressus magnorum AI exemplorum unum post alterum emerserunt. Dum hoc "Prolium 100 Exemplar" in pleno adductius fuit, societas chip Americana NVIDIA multam pecuniam fecit cum suis praestantibus GPU operibus in magnis calculis exemplaribus.

Autem, recens motus ab Apple Nvidia studia leviter refriguit.

01

AI exemplar disciplinae, Apple TPU loco GPU eligit

NVIDIA dux in agro AI infrastructuram computans semper fuit. In foro ferramento AI AI, praesertim in disciplina AI agro, eius mercatus participes plus quam 80% fuerunt , MetaOpenAI Praeponitur solutionis potentiae computandae per multos gigantes technologias in agris AI et apparatus discendi.

Ideo Nvidia pergit varias provocationes in industria occurrere. Google TPU adversarius etiam potens factus est quod Nvidia propter singularia commoda ignorare non potest.

Die 30 Iulii Apple investigationis chartam dimisit. In charta, Apple duo exempla induxit quae subsidium praebere Apple Intelligentiae AFM-in-machinam (AFM est abbreviatio Apple Basic exemplar) et AFM-servo (magnum exemplar linguae servientis innititur). exemplar linguae C decies centena milia parametri, haec servo-substructio exemplar linguae latinae est.

Lacus in charta affirmavit quod ad exemplar suum AI instituendum, duobus processoribus (TPUs) ex Google usus est, et hae unitates in racemos magnos assilire ordinati sunt. Ad AFM-in-machinam aedificare, exemplar AI quod in iPhones et alias machinas currere potest, Apple 2048 TPUv5p astularum utitur. Pro servo AI exemplar AFM-servo, Apple 8192 TPUv4 processores direxit.

Pomi opportuna optio ad Nvidiam GPUs relinquendam et ad Google TPUs excussionem bomb in mundum technologiam misit.

Industriae insidentes dixerunt consilium Apple indicat aliquas societates magnas technologias quaerere posse ad alternativas unitates processus graphicae Nvidiae cum ad intellegentiam artificialem perveniat.

02

TPU VS GPU, quae aptior est ad exempla magna?

Priusquam discutiamus utrum TPU vel GPU maioribus exemplaribus aptior sit, necesse est ut duorum intellectuum praevia habeatur.

Comparatio inter TPU et GPU

TPU, nomen Tensoris Processi Uniti plenum, est speciale chip a Google destinatum ad machinam discendi laborem accelerandam. Notatu dignum est TPU etiam in categoriis ASIC chippis pertinere, et ASIC scalpellum proprie ad quasdam necessitates specificas natum esse.

Omnis notus est cum GPU. GPU processus est principio ad graphics reddendo destinatus et postea late in computatione et alta doctrina parallela adhibetur. Magnas habet processus parallelas facultates, optimized GPU etiam aptissimum est ad operas parallelas sicut alta doctrina et computatio scientifica.

Perspici potest has duas varias astulas habere in suo initiali consilio diversas fines.

Comparatus cum traditis CPUs, parallelae computandi facultates GPUs eas aptissimas faciunt ad notitias magnas magnas disponendas et multiplices opera computandi ai disciplina.

Attamen, continuum progressum magnarum AI exemplorum, opera computandi maiora et magis implicata fiunt exponentialiter, quae novas postulationes pro viribus computandi et facultates computandi proposuit. Princeps energiae efficientiae bottleneck energiae consummationis, tum princeps pretii et arta copia productorum NVIDIA GPU, magis attentionem advertit ad architecturae TPU, quae principio ad altam doctrinam et machinam discendi destinata erat. GPU dominatio in hoc campo incipit ad provocationes opponendas.

Ferunt Google interne astulas enucleando incepisse AI machinam discendi algorithmos primo 2013 dicatos, et non nisi usque ad MMXVI hoc auto-evolutam chip TPU nomine publice divulgatam fuisse. Victus Lee Sedol mense Martio MMXVI et Ke Jie in Maio MMXVII AlphaGoquae exercetur seriei abutentium Googles TPU.

Si dicitur TPU aptiorem esse ad AI magnae disciplinae exemplar, difficile erit omnibus persuadere quin singulas suas "artes" explicaverit.

Quomodo est TPU conveniens magnae disciplinae exemplar?

Primum, TPU computandi unitates multi-dimensionales habet ad efficientiam computandam meliorandam.Comparatus cum scalari computatione unitatis in CPU et vector unitatem computans in GPU, TPU utitur duabus dimensivis vel etiam superioribus dimensivis unitatibus computatis ad opera computanda complenda, et ansam operandi convolutionis amplificat ad maximam datam reusem et notitias reducendas. sumptibus tradenda et accelerationis augendae efficientia.

Secundo, TPU notitia transmissionis et efficientiae summae unitatis temporis plus habet temporis salutaris.Problema muri memoria a Neumann architectura maxime eminet in operibus altis discendi, et TPU consilium datorum transmissionis maioris ponderis radicalis, et imperium unitas minor est, plus spatii relinquens pro memoria et unitatibus computandis.

Denique TPU ordinatur ad AI/ML accelerandum et ad facultates computandas augendas.Cum accurata positione, architectonica simplici, simplici filo temperantiae et institutioni nativus instituto, architectura TPU perquam efficax est in operationibus doctrinarum profundis et facile ad amplificandum, aptiorem reddendo ad rationem institutionis AI ultra-magnarum.

Ferunt Google TPUv4 1.3-1.9 temporibus vim consummationem inferiorem quam NVIDIA A100 habere maiorem vim consummationis consequi potest quam TPUv4 cum TPUv4. Videri potest Google TPU productos plus habere commoda in sumptus et consumptio potentiae quam NVIDIA productorum.

Ad I/O 2024 colloquium elit in mense Maio hoc anno, Alphabetum CEO Sundar Pichai denuntiavit sextum-generationem datarum centri AI chip Tensor Processus Uniti (TPU)-Trillium, dicens productum quinquies fere velocius quam decessor eius et inquit traditiones serius hoc anno praesto fore.

Google dixit executionem computationis sextae generationis Trillium chip esse 4.7 temporibus altiorem quam spumae TPU v5e, et efficaciam vis 67% quam v5e altiorem esse. Chipum ordinatur ad technologiam potentiae quae textum generat et alia contenta ex magnis exemplaribus. Google praeterea dixit Trillium astularum sextum generationis suae nubilum teloneariorum fine anni praesto fore.

Google fabrum adicientes quaestus perficiendi consecuti sunt augendo facultatem memoriam et latitudinem altiore. AI exempla magnas memoriae provectae quantitates requirunt, quae bottleneck in perficiendo ulteriore meliori effectione fuit.

Notatu dignum est Google sua TPU assulas ut producta independens non vendet, sed TPU fundata officia computandi ad clientes externos per Google Cloud Platform (GCP).

Astutia Google etiam in hoc consilio videri potest: hardware venditionis directe involvit impensas altas et catenam administrandi copiam multiplex. Google providendo TPU per nubes officia, Google simpliciorem reddere potest institutionem, instruere et administrationem processus, dubitationem reducere et supra caput adiectis. Hoc exemplar etiam processus venditionesque simpliciorem reddit, removendo necessitatem additis ferramentis bigas venditarum constituendae. Accedit, Google in contentione magna cum OpenAI pro generativo AI

Hic in articulo, quaerat aliquis: Cum TPU tantas res habeat utilitates, GPU in proximo restituet?

03

Nunc de GPU loquitur? Maybe suus 'mature

Hoc problema non est simplex.

Modo loquitur de commoda TPU sine loquendo de commoda GPU est oculus caecitatis. Deinde etiam intelligendum est quomodo GPU apta sit ad current AI magnae disciplinae exemplar cum TPU comparato.

Videmus commoda TPU iacere in sua praestantia energiae efficientiae ratione et unitatis enormi indicibus vim computandi. Tamen, sicut chipas ASIC, eius incommodum magni iudicii et erroris sumptus est etiam relative clarum.

Etiam in terminis ecosystem maturitatis. Post annos evolutionis GPU magnum et perfectum habet instrumenta oecosystematis programmatis et evolutionis. Multae tincidunt et investigationis instituta elaboraverunt et optimizing GPU diu fundata sunt, et bibliothecarum, compagum et algorithmarum opes collegerunt. TPU ecosystematis respective novum est, et facultates et instrumenta praesto non tam divites esse possunt quam illae GPUs, quae accommodationem et optimam condicionem difficiliorem reddere possunt.

In tortor sem. GPUs principio ad graphics reddendo destinata sunt, sed eorum architectura valde flexibilis est et multis diversis generibus operum computandi, non modo alta doctrina, accommodare potest. Hoc GPU aptiorem facit cum diversam applicationem missionum respiciat. E contra, TPUs ad machinam discendi laborata sunt usu destinata et alia non-machina discendi tractari possunt ut opera computandi relata tam efficaciter quam GPUs.

Denique certatio in mercatu GPU ferox est. Varii artifices ad novationem technologicam et ad renovationem productam promovendam pergunt, ac novae architecturae et incrementa perficiendi crebriores sunt. Progressio TPU a Google maxime ducitur, eiusque renovatio et evolutionis gradus relative tardus esse potest.

Super, NVIDIA et Google variae rationes pro AI chippis habent: NVIDIA exempla perficiendi limites AI urget, dum potentem vim computandi et amplam elit sustentationem praebens; . Hae duae electiones diversae semitae efficiunt ut singulares utilitates in suis propriis applicationibus agrorum ostendant.

Causa quare Apple Google TPU elegit ob sequentia puncta potest: Primum, TPU bene facit cum magnas scalas distribuit in muneribus exercendis, efficientem, humilem latentiam computandi facultatem praebens; impensae et esse flexibiles. Praeterea ecosystem Google evolutionis AI ecosystematis opes etiam instrumentorum subsidiorumque praebet, Apple sino eius AI exempla efficacius explicandi et explicandi.

Exemplum Apple probat facultatem TPU in magna disciplina exemplar. Attamen cum NVIDIA comparata, TPU in agro magnarum exemplorum raro adhuc adhibetur. Plures sunt societates exemplorum magnarum post eam, inter gigantes sicut OpenAI, Tesla, et ByteDance.

Ergo nimis mature potest dicere quod Google TPU Nvidia GPU verberare potest, sed TPU ludio ludius valde difficilis esse debet.

04

Provocator GPU non est iustus TPU

Sina etiam societatem sponsio in TPU chippis habet—Zhonghao Xinying. Yang Gongyifan, fundator Zhonghao Xinying, olim tamquam cori chip R&D virgam membrum apud Google laboravit et in consilio et R&D Google TPU 2/3/4 penitus implicatus est .

In 2023, Zhonghao Xinying scriptor "Snap" chip publice natus est. Cum unica sua summa celeritate inter-connexionis facultatum 1,024 chippis, "Snap" magnum momentum botrum computandi sagax aedificavit, quod "Taize" vocatur est AIGC cum supra 100 miliardis parametri. Hoc factum non solum altam accumulationem Zhonghao Xinying demonstrat in agro AI technologiae potentiae computantis, sed etiam perutile locum astularum domesticarum in scaena internationali conciliat.

Nihilominus in hodiernae intelligentiae artificialis auri concursus est, sed NVIDIA H100 dos brevis copia et sumptuosa est, societates magnas et parvas quaerunt products reponere NVIDIA AI chipas res, in quibus societates GPU iter traditum capiunt, ac novas architecturas inceptis explorant.

Provocationes contra GPU sunt longe ultra TPU.

In GPU investigationis et progressus, aemulus maximus Nvidia estIntelMense Ianuario hoc anno, investigatores circa 8% GPUs in limite supercomputando botrum portaverunt ut exemplum magnum in gradu GPT 3.5 instituendi sint. Fines supercomputans botrum in ferramentis AMD omnino fundatur, constans ex 37,888 MI250X GPUs et 9,472 Epyc 7A53 CPUs verificatur facultas.

Eodem tempore, CUDA ecosystematis paulatim etiam perrumpit. Mense Iulio hoc anno, societas Britannica computatio Spectralis solutionem imposuit quae in principio codicis AMD GPUs cuDA compilare potest, quae convenientiam efficaciam AMD GPUs cum CUDA valde emendavit.

IntelGaudi 3 etiam Nvidia H100 directe benchmarked cum dimissus est. Mense Aprili hoc anno Intel emissae Gaudi 3 ad exempla alta discendi et magnarum generativarum AI. dixit quod cum generatione superiori comparatum est, Gaudi 3 quater fluitans formam BF16 AI vim computandi, latitudinem memoriam augendi per 1.5 potest. tempora, et servitium Retis band latitudo pro magnarum magnitudine systematis expansionis duplicatur. Comparatus cum spumae NVIDIA H100, si ad Meta Llama2 exemplar applicata cum 7B et 13B parametris et cum exemplaribus parametris OpenAI GPT-3 175B, Gaudi 3 expectatur ut horum exemplorum per medium % 50 tempus minuatur.

Praeterea applicatae ad Llama cum 7B et 70B parametris et fonte aperto Falconis exemplar cum parametris 180B, Gaudi 3 coniectura throughput expectatur 50% superior in mediocris quam H100 esse, et consequentia efficientiae 40% superior in mediocris. Praeterea, Gaudi 3 maiorem consecutionem consecutionis in amplioribus inputando et output sequentium commodorum habet.

Cum Llama applicata cum 7B et 70B parametris et Falconis exemplar cum parametris 180B, illatio celeritas Gaudi 3 augetur per 30% ad NVIDIA H200.

Intel dixit Gaudi 3 clientibus in tertia huius anni quarta parte praesto esse et OEMs in secunda parte Dell, HPE, Lenovo et Supermicro, sed pretium Gaudi 3 nuntiatum non est.

Novemb, Nov.MicrosoftIn Conferentia Technologia Ignite, primum suum elaboratum AI chip Azure Maia 100 dimisit, necnon azure Cobalt, qui chip in operas programmatum nubes adhibita. Duo astulae per TSMC fabricabuntur et usus 5nm processuum technologiarum.

Ferunt Nvidia summus finis productorum interdum pro 30,000 ad 40.000 dollarorum US posse vendere. Astulae pro ChatGPT adhibitae circiter 10,000 requirere putantur, quod ingens pretium pro AI societatibus est. Maiores technologiae societates cum magnis postulationibus pro AI chippis perdite quaerunt fontes copiarum alterutrum

Cobalt consilium generale est chip architecturae armatae cum 128 nucleis. Haec duo xxxiii in centrum data Microsoft Azure invehuntur et operas sustentant sicut OpenAI et Copilot.

Rani Borkar, praeses praesidentis chip de Azure, dixit Microsoft incepisse probare Maiam 100 chip cum Bing et Officio AI producta. Commentatores mercatus nonnulli putant consilium Microsoft AI chip inceptum coincidentale esse, sicut exempla magnarum linguarum quae Microsoft, OpenAI et aliis societatibus excoluntur, tollere coeperunt.

Microsoft autem non credit AI chippis eius productos Nvidia late reponere posse. Nonnulli coniectoribus putant si Microsoft nisus successerint, etiam adiuvari posse ut commoditatem in futuro negotio cum Nvidia consequantur.

Praeter chip gigantes, nulla etiam defectus impetus a societatibus satus-sursum. Exempli gratia, LPU a Groq, Wafer Scala Engine 3 immissae a Cerebras, Sohu ab Etched, etc.

In statu, Nvidia tenet circiter 80% intelligentiae artificiosae instrumenti instrumenti communicationis socialis, cum plerique reliquorum 20% a diversis Google TPU versionibus reguntur. Nunquid participes mercatus TPU in futuro manebunt? Quantum crescet? Nunquid erunt aliae architecturae AI chippis quae existentium structuram fori in tres divident? Hae suspensio exspectatur ut paucis proximis annis gradatim aperiatur.