2024-07-31
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Viimeisten kahden päivän aikana Apple Intelligencen julkaisusta on tullut yksi suurimmista teknologiauutisista.
Vaikka yli kuukausi sitten julkistettuun Apple Intelligencen täysversioon verrattuna Applen iOS 18.1 beta 1 -versiossa esitellyt Apple Intelligence -ominaisuudet eivät ole täydellisiä, Genmoji, prioriteettiilmoitukset, Siri, jossa on näyttötietoisuus ja ChatGPT-integraatio... nämä. Ei lainkaan.
Mutta yleensä Apple tuo edelleen kirjoitustyökalut (kirjoitustyökalut), puhelun tallennuksen (mukaan lukien transkriptio) ja äskettäin suunnitellun Sirin.
Näistä kirjoitustyökalut tukevat uudelleenkirjoittamista, erikoistumista, lyhennettä ja muita toimintoja, ja niitä voidaan käyttää sellaisissa tilanteissa, kuten chattailuun, Momentsiin lähettämiseen, Xiaohongshu-muistiinpanoihin, ja tekstin kirjoittaminen ei voi vain nauhoittaa puheluita, vaan myös kopioida ne automaattisesti tekstiä, joka on käyttäjien kannalta kätevä.
Lisäksi Siri on myös "päivitetty", mutta valitettavasti se on tällä hetkellä rajoitettu suunnitteluun, mukaan lukien uudet "teltta"-erikoistehosteet ja näppäimistön syöttötuki.
Mutta silmiinpistävää on se, että Apple paljasti "Apple Intelligence Foundation Language Models" -nimisessä paperissa tämänApple ei käyttänyt yleistä NVIDIA H100:ta ja muita GPU:ita, vaan valitsi "vanhan kilpailijansa" Googlen TPU:n kouluttamaan Apple Intelligencen perusmallia.
Kuva / Apple
Kuten me kaikki tiedämme, Apple Intelligence on jaettu kolmeen kerrokseen: yksi on laitteen tekoäly, joka toimii paikallisesti Applen laitteissa, ja toinen on Applen omissa datakeskuksissa toimiva pilviteäly, joka perustuu "yksityiseen pilvilaskentaan". Toimitusketjun uutisten mukaan Apple rakentaa oman datakeskuksensa M2 Ultran massavalmistuksen avulla.
Lisäksi on toinen kerros, joka yhdistää kolmannen osapuolen suuriin pilvimalleihin, kuten GPT-4o jne.
Mutta tämä on johtopäätös, miten Apple kouluttaa omaa tekoälymalliaan, on aina ollut yksi alan huomion kohteista. Applen virallisesta paperista päätellen Apple koulutti kaksi perusmallia TPUv4- ja TPUv5p-klustereiden laitteistosta:
Yksi on laitepuolen malli AFM-on-device, jonka parametriasteikko on 300 miljoonaa, joka on koulutettu käyttämällä 2048 TPU v5p -lohkoa ja toimii paikallisesti Applen laitteilla, toinen on palvelinpuolen malli AFM-palvelin, jossa on suurempi 8192 lohkoa käyttävä TPU v4 -sirun koulutus suoritetaan lopulta Applen omassa datakeskuksessa.
Kuva / Apple
Tämä on outoa, me kaikki tiedämme, että GPU:t, kuten Nvidia H100, ovat tällä hetkellä yleisin valinta tekoälyn harjoittamiseen.
Sen sijaan Googlen TPU näyttää hieman "tuntemattomalta".
Mutta itse asiassa Googlen TPU on erityisesti koneoppimiseen ja syvään oppimiseen suunniteltu kiihdytin, joka voi tarjota erinomaisia suorituskykyetuja. Tehokkaan laskentatehon ja matalan viiveen verkkoyhteyksien ansiosta Googlen TPU toimii hyvin suurten mallien koulutustehtävien hoidossa.
Esimerkiksi TPU v4 voi tarjota huippulaskentatehon jopa 275 TFLOPS:a per siru ja yhdistää 4096 TPUv4-sirua laajamittaiseen TPU-supertietokoneeseen erittäin nopeiden yhteenliitäntöjen avulla, mikä kaksinkertaistaa laskentatehon mittakaavan.
Eikä vain Apple, vaan myös muut suuret malliyritykset ovat ottaneet käyttöön Googlen TPU:n kouluttaakseen suuria mallejaan.Claude Anthropicista on tyypillinen esimerkki.
Chatbot Arena Rankings, valokuva/LMSYS
Clauden voidaan nyt sanoa olevan OpenAI GPT -mallin tehokkain kilpailija LMSYS-chat-robottiareenalla Claude 3.5 Sonnet ja GPT-4o ovat aina olleet "kiipeileviä lohikäärmeitä ja feeniksipoikia" (kiitoksia). Tietojen mukaan Anthropic ei ole koskaan ostanut Nvidia-grafiikkasuorittimia supertietokoneiden rakentamiseen, vaan käyttää sen sijaan Google Cloudin TPU-klustereita koulutukseen ja johtopäätöksiin.
Viime vuoden lopulla Anthropic ilmoitti virallisesti, että se käyttää ensimmäisenä TPU v5e -klustereita Google Cloudissa Clauden kouluttamiseen.
Anthropicin pitkäaikainen käyttö ja Clauden saavuttamat tulokset osoittavat täysin Google TPU:n tehokkuuden ja luotettavuuden tekoälykoulutuksessa.
Lisäksi Googlen Gemini luottaa harjoituksissa täysin itse kehitettyihin TPU-siruihin. Gemini-malli pyrkii edistämään luonnollisen kielen käsittely- ja generointiteknologian rajoja, ja sen harjoitteluprosessi vaatii suurten tekstidatamäärien käsittelyä ja monimutkaisten mallilaskutoimien suorittamista.
TPU:n tehokkaan laskentatehon ja tehokkaan hajautetun harjoitusarkkitehtuurin ansiosta Gemini voi suorittaa harjoittelun suhteellisen lyhyessä ajassa ja saavuttaa merkittäviä läpimurtoja suorituskyvyssä.
Mutta jos Gemini on ymmärrettävää, miksi ihmiset Anthropicista Appleen valitsevat Googlen TPU:n Nvidian GPU:n sijaan?
Maanantaina pidetyssä SIGGRAPH 2024:n huippukokouksessa tietokonegrafiikkakonferenssissa NVIDIAn perustaja ja toimitusjohtaja Jensen Huang paljasti, että NVIDIA lähettää tällä viikolla näytteitä Blackwell-arkkitehtuurista, joka on NVIDIAn uusimman sukupolven GPU-arkkitehtuuri.
18. maaliskuuta 2024 NVIDIA julkaisi GTC-konferenssissa uusimman sukupolven GPU-arkkitehtuurinsa - Blackwellin ja uusimman sukupolven B200 GPU:n. Suorituskyvyn suhteen B200 GPU voi saavuttaa 20 petaflopsin (kvadriljoona liukulukutoimintoa sekunnissa) laskentatehoa FP8:ssa ja uudessa FP6:ssa, mikä tekee siitä erinomaisen monimutkaisten tekoälymallien käsittelyssä.
Kaksi kuukautta Blackwellin julkaisun jälkeen Google julkaisi myös kuudennen sukupolven TPU:n (Trillium TPU), jokainen siru voi tarjota huippuluokan laskentatehon, joka on lähes 1 000 TFLOPS (biljoonaa sekunnissa) BF16:ssa, ja Google arvioi sen myös "tehokkaimmaksi ja energiaa säästävimmäksi TPU:ksi tähän mennessä".
Kuva/Google
Verrattuna Googlen Trillium TPU:hun, NVIDIA Blackwell GPU:lla on edelleen tiettyjä etuja korkean suorituskyvyn tietojenkäsittelyssä suuren kaistanleveyden muistin (HBM3) ja CUDA-ekosysteemin tuella. Yhdessä järjestelmässä Blackwell voi yhdistää jopa 576 GPU:ta rinnakkain tehokkaan laskentatehon ja joustavan skaalautuvuuden saavuttamiseksi.
Sitä vastoin Googlen Trillium TPU keskittyy tehokkuuteen ja alhaiseen latenssiin laajamittainen hajautettu koulutus. TPU on suunniteltu pysymään tehokkaana laajamittaisessa mallikoulutuksessa ja parantamaan yleistä laskennan tehokkuutta vähentämällä viestinnän latenssia erittäin nopeiden verkkoyhteyksien avulla.
Eikä vain uusimman sukupolven AI-siruissa,Googlen ja Nvidian välinen "salainen sota" on itse asiassa kestänyt kahdeksan vuotta, alkaen vuodesta 2016, jolloin Google kehitti oman AI-sirun TPU:n.
Tähän päivään asti NVIDIAn H100 GPU on tällä hetkellä suosituin AI-siru valtavirran markkinoilla. Se ei vain tarjoa suuren kaistanleveyden muistia jopa 80 Gt:iin, vaan tukee myös HBM3-muistia ja toteuttaa tehokkaan viestinnän useille grafiikkasuorituksille NVLink-yhteisliitännän kautta. Tensor Core -teknologiaan perustuvalla H100 GPU:lla on erittäin korkea laskennallinen tehokkuus syväoppimis- ja päättelytehtävissä.
Mutta samalla TPUv5e:llä on huomattavia etuja kustannustehokkuudessa ja se sopii erityisen hyvin pienten ja keskikokoisten mallien koulutukseen. TPUv5e:n etuna on sen tehokas hajautettu laskentateho ja optimoitu energiankulutussuhde, minkä ansiosta se toimii hyvin laajamittaisen datan käsittelyssä. Lisäksi TPUv5e on saatavilla myös Google Cloud Platformin kautta, jolloin käyttäjät voivat suorittaa joustavaa pilvikoulutusta ja käyttöönottoa.
Googlen palvelinkeskus, valokuva/Google
Kaiken kaikkiaan NVIDIAlla ja Googlella on erilaisia strategioita AI-siruille: NVIDIA ylittää tekoälymallien suorituskyvyn tarjoamalla tehokkaan laskentatehon ja kattavan kehittäjätuen, kun taas Google parantaa tekoälysirujen suorituskykyä tehokkaan hajautetun laskenta-arkkitehtuurin avulla . Nämä kaksi eri polkuvaihtoehtoa antavat heille mahdollisuuden näyttää ainutlaatuisia etuja vastaavilla sovellusalueillaan.
Mutta mikä vielä tärkeämpää, ainoat, jotka voivat voittaa Nvidian, ovat ne, jotka ottavat käyttöön ohjelmiston ja laitteiston yhteissuunnittelustrategioita ja joilla on vahvat siru- ja ohjelmistoominaisuudet.
Google on yksi tällainen vastustaja.
Blackwell on toinen tärkeä NVIDIA-päivitys Hopperin jälkeen. Siinä on tehokkaat laskentaominaisuudet ja se on suunniteltu laajamittaisille kielimalleille (LLM) ja generatiiviselle tekoälylle.
Raporttien mukaan B200 GPU on valmistettu TSMC:n N4P-prosessilla, siinä on jopa 208 miljardia transistoria, se "koostuu" kahdesta GPU-sirusta, jotka käyttävät yhteenliittämistekniikkaa, ja se on varustettu jopa 192 Gt:n HBM3e-muistilla (korkean kaistanleveyden muisti). kaistanleveys jopa 8TB/s.
Suorituskyvyn suhteen Googlen Trillium TPU on parantunut 4,7 kertaa BF16:ssa verrattuna edellisen sukupolven TPU v5e:hen, ja myös HBM-kapasiteetti ja kaistanleveys sekä sirujen yhteenliittämisen kaistanleveys ovat kaksinkertaistuneet. Lisäksi Trillium TPU on varustettu kolmannen sukupolven SparseCorella, joka voi nopeuttaa uuden sukupolven perusmallien koulutusta pienemmällä viiveellä ja halvemmalla.
Trillium TPU soveltuu erityisen hyvin laajamittaisten kielimallien ja suositusjärjestelmien koulutukseen. Se voidaan laajentaa satoihin sarjoihin ja yhdistää kymmeniä tuhansia siruja PB-tason verkkoliitäntätekniikalla sekunnissa, mikä mahdollistaa toisen tason supertietokoneen. ", mikä parantaa huomattavasti laskentatehoa ja vähentää verkon latenssia.
Kuva/Google
Tämän vuoden toisesta puoliskosta alkaen Google Cloud -käyttäjät ottavat ensimmäisenä tämän sirun käyttöön.
Yleisesti ottaen Google TPU:n laitteistoetu piilee sen tehokkaassa laskentatehon ja matalan latenssin hajautetun koulutusarkkitehtuurissa. Tämän ansiosta TPU toimii hyvin laajamittaisten kielimallien ja suositusjärjestelmien koulutuksessa. Google TPU:n etuna on kuitenkin toinen täydellinen ekosysteemi, joka on riippumaton CUDA:sta ja syvemmästä vertikaalisesta integraatiosta.
Google Cloud -alustan kautta käyttäjät voivat joustavasti harjoitella ja ottaa käyttöön pilvessä. Tämä pilvipalvelumalli ei vain vähennä yritysten laitteistoinvestointeja, vaan myös parantaa tekoälymallien koulutustehokkuutta. Google ja Cloud tarjoavat myös sarjan työkaluja ja palveluita, jotka tukevat tekoälyn kehitystä, kuten TensorFlow ja Jupyter Notebook, mikä helpottaa kehittäjien koulutusta ja mallien testaamista.
Applen käyttämä Google TPU v5p, valokuva/Google
Googlen tekoälyekosysteemi sisältää myös erilaisia kehitystyökaluja ja -kehyksiä, kuten TensorFlow'n, laajalti käytetyn avoimen lähdekoodin koneoppimiskehyksen, joka voi hyödyntää täysimääräisesti TPU:iden laitteistokiihdytysominaisuuksia. Google tarjoaa myös muita työkaluja tukemaan tekoälyn kehitystä, kuten TPU Estimator ja Keras. Näiden työkalujen saumaton integrointi yksinkertaistaa kehitysprosessia huomattavasti.
Lisäksi Googlen etuna on, että Google itse on asiakas, jolla on eniten TPU-laskentatehoa. YouTuben valtavan videosisällön käsittelystä kaikkiin Geminin harjoituksiin ja johtopäätöksiin, TPU on pitkään integroitu Googlen liiketoimintajärjestelmään ja se on myös täyttänyt Googlen valtavat laskentatehotarpeet.
Voidaan sanoa, että Googlen vertikaalinen integraatio on paljon perusteellisempaa kuin Nvidian, ja se on hallinnut lähes täydellisesti keskeiset solmut mallikoulutuksesta sovellukseen käyttökokemukseen aloita tehokkuuden optimointi.
Siksi, vaikka Trillium TPU:ta on edelleen vaikea kilpailla Blackwell GPU:n kanssa sirujen suorituskykyindikaattoreiden suhteen, suurten mallien koulutuksessa Google voi silti systemaattisesti optimoida tehokkuutta kilpailemaan tai jopa ylittämään NVIDIAn CUDA-ekosysteemin.
Lyhyesti sanottuna Googlen TPU-klusterin suorituskyky, kustannukset ja ekologiset edut tekevät siitä ihanteellisen valinnan laajamittaiseen tekoälymallikoulutukseen. TPU:n käyttö Google Cloudissa puolestaan on myös Applen paras valinta tässä vaiheessa.
Apple käyttää myös TPU v4:ään perustuvaa superlaskentaa.Kuva/Google
Toisaalta on suorituskyky ja hinta. TPU suoriutuu hyvin suurten hajautettujen koulutustehtävien käsittelyssä tarjoten tehokkaat ja matalan latenssin laskentaominaisuudet, jotka täyttävät Applen AI-mallikoulutuksen tarpeet. Käyttämällä Google Cloud -alustaa Apple voi vähentää laitteistokustannuksia, säätää joustavasti laskentaresursseja ja optimoida tekoälyn kehittämisen kokonaiskustannukset.
Toinen näkökohta on ekologia.Googlen tekoälyn kehitysekosysteemi tarjoaa myös runsaasti työkaluja ja tukea, joiden avulla Apple voi kehittää ja ottaa käyttöön tekoälymalleja tehokkaammin. Yhdessä Google Cloudin tehokkaan infrastruktuurin ja teknisen tuen kanssa se tarjoaa myös vankan perustan Applen tekoälyprojekteille.
Tämän vuoden maaliskuussa Nvidialle, IBM:lle ja Googlelle työskennellyt Sumit Gupta liittyi Applen palvelukseen johtamaan pilviinfrastruktuuria. Raporttien mukaan Sumit Gupta liittyi Googlen AI-infrastruktuuritiimiin vuonna 2021, ja lopulta hänestä tuli Googlen TPU:n, itse kehittämän Arm CPU:n ja muun infrastruktuurin tuotepäällikkö.
Sumit Gupta ymmärtää Googlen TPU:n edut paremmin kuin useimmat Applen ihmiset.
Vuoden 2024 ensimmäisellä puoliskolla teknologiakehä on myrskyisä.
Suurten mallien käyttöönotto kiihtyy, tekoälymatkapuhelimet, tekoälytietokoneet, AI-kodinkoneet, tekoälyhaku, tekoälyn sähköinen kaupankäynti... Tekoälysovelluksia syntyy loputtomasti;
Vision Pro tulee myyntiin ja laskeutuu Kiinan markkinoille, mikä käynnistää uuden XR-tilatietotekniikan aallon.
HarmonyOS NEXT on virallisesti julkaistu, mikä muuttaa mobiilikäyttöjärjestelmän ekosysteemiä;
Autot ovat tulleet täysin "toiselle puoliskolle", ja älykkyydestä on tullut ensisijainen tavoite;
Sähköisen kaupankäynnin kilpailu kiristyy jatkuvasti, ja hinnat laskevat ja palvelut paranevat;
Ulkomaisen laajentumisen aalto kiihtyy, ja kiinalaiset tuotemerkit lähtevät globalisaation matkalle;
Heinäkuussa lanseerataan Lei Technology·Mid-year Review topic, joka tiivistää vuoden 2024 ensimmäisellä puoliskolla teknologiateollisuuden tallentamisen arvoisia brändejä, teknologioita ja tuotteita, jotka tallentavat menneisyyttä ja katsovat tulevaisuuteen, joten pysy kuulolla.
Kerää ja järjestele viimeisimmät uutiset ja tee ne kaikkien tarkastettavaksi ilmaiseksi.
