auttaakseen vähentämään kustannuksia ja lisäämään tehokkuutta bytehouse rakentaa uuden sukupolven pilvipohjaista tietovarastoa
2024-09-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
datavolyymin räjähdysmäisen kasvun, yritysten pilveen siirtymisen kiihtymisen ja reaaliaikaisen datan kasvavan kysynnän myötä pilvipohjaiset tietovarastomarkkinat ovat tuoneet mukanaan nopeita kehitysmahdollisuuksia.
idc:n ja gartnerin tutkimuslaitosten tietojen mukaan vuoteen 2025 mennessä 50 % yritystiedoista odotetaan olevan pilvitallennusta, 75 % tietokannoista toimii pilvessä ja 30 % maailmanlaajuisesta tietojenkäsittelystä on reaaliaikaista tietojenkäsittelyä. , ja 80 prosentin tiedosta odotetaan olevan muuta kuin pilvitallennusta. strukturoidut tiedot tekevät pilvipohjaisista tietovarastoista yhä suositumpia yritysten keskuudessa.
äskettäin volcano enginen pilvipohjaisen tietovaraston bytehousen tuotepäällikkö li qun kutsuttiin osallistumaan "csdi-huippukokoukseen china software t&d innovation and technology summit", joka keskittyi teemaan "key technologies and best practices of the new generation cloud native" data warehouse bytehouse", pilvitietovarastosta. historiasta alkaen ja huippuluokan esittelemme bytehousen yleisarkkitehtuurin, tärkeimmät kohokohdat, suorituskyvyn läpimurrot, tärkeimmät tallennus- ja laskennan erottelumallit sekä bytehousen liiketoimintakäytännöt erilaisissa skenaarioissa douyin groupin sisällä ja ulkopuolella. .
bytehousen kokemuksen yhteenvedon perusteella rahoituksesta, peleistä, yleisinternetistä ja muilta aloilta li qun esitteli ensin vaikeudet ja haasteet, joita pilvipohjaisten tietovarastojen tällä hetkellä kohtaavat. korkea suorituskyky, korkea samanaikaisuus ja nopea kirjoitus ovat jo nykypäivän yritysten perustarpeita pilvitietovarastoissa. internetin kehittyessä data kasvaa nopeasti, erityisesti lokitiedot. joidenkin aktiivisempien sovellusten data ulottuu kymmeniin tai jopa satoihin miljardeihin joka päivä, ja suuret tappajasovellukset tuottavat satoja miljardeja tapahtumia päivittäin. tämä edellyttää, että tietoalusta ei vain tue korkean suorituskyvyn kirjoittamista ja reaaliaikaista kopioinnin poistamista, vaan myös vastaa millisekuntitasolla liiketoimintapyyntöihin.
lisäksi yrityksillä on ongelmia, kuten monimutkainen tietoarkkitehtuuri, joustavuuden puute ja kustannusten hallinnan vaikeus. esimerkiksi data-analyysitoiminnon toteuttamiseksi yritys saattaa joutua ottamaan käyttöön kolme, neljä tai jopa useampia komponentteja sen rakentamiseksi, mikä johtaa kapasiteetin laajentamisvaikeuksiin, suuriin käyttö- ja ylläpitopaineisiin sekä korkeisiin työvoiman ylläpitokustannuksiin.
yllä olevien ongelmien ratkaisemiseksi bytehouse saavutti ensin läpimurron suorituskyvyssä. monimutkaisia kyselyitä varten bytehouse on julkaissut itse kehitetyn optimoijan rbo:n (sääntöpohjaisen optimointikyvyn), cbo:n (kustannuspohjaisen optimointikyvyn) ja hajautetun suunnitelman luomisen osalta, mikä voi laskea tarkasti tehokkuutta maksimoivan suorituspolun. parantaminen vähennä käyttäjien kyselyaikaa. lisäksi bytehouse on optimoitu myös exchangen, runtime filterin ja rinnakkaisrekonstruoinnin näkökulmasta. bytehouse on julkaissut räätälöityjä ratkaisuja ja ottanut ne käyttöön todellisissa asiakasskenaarioissa kuuteen pääskenaarioon liittyen: hidas reaaliaikainen läpijuoksu, hidas bi-raportointi, hidas offline-/online-monimutkainen analyysi, hidas järvi + varasto yhdistetty analyysi, hidas joukkovalinta ja hidas kuvahaku. tuottaa todellisia tuloksia.
toiseksi, elastisuus on myös yksi bytehousen ydinominaisuuksista. bytehousen elastisten skaalausominaisuuksien perusteella käyttäjät voivat suorittaa laajennus- ja supistuskonfiguraatioita vain ajan, resurssikuormituksen ja muiden olosuhteiden perusteella, mikä vähentää manuaalisen hallinnan taakkaa ja parantaa resurssien käyttöä. tallennustasolla bytehouse ottaa käyttöön palvelimettoman arkkitehtuurin, jolla on alhaiset kustannukset ja rajattomat laajennusmahdollisuudet. tietojenkäsittelytasolla bytehouse perustuu paas-malliin ja toteuttaa tilattomat tai heikot tilat konttien avulla. se pakkaa koko laskentaryhmän vuokralaisiin ja sovelluksiin ja esittelee ne käyttäjille varmistaen, että välillä ei tapahdu resurssiristiriitoja tai suorituskyvyn heikkenemistä. vuokralaiset, jotta laskentaresursseja voidaan käyttää. saavuta elastinen ylösveto ja elastinen laajeneminen ja supistuminen sekunneissa.
lopuksi tehokkuutta parantaessaan bytehouse keskittyy myös auttamaan käyttäjiä säästämään kustannuksia. bytehousen pilvipohjainen arkkitehtuuri tukee räätälöityä aikajaon joustavuutta, mikä eliminoi käyttäjien tarpeen ostaa resursseja etukäteen liiketoiminnan huippuja varten, mikä auttaa vähentämään kustannuksia yli 30%. samaan aikaan, auttaakseen käyttäjiä yksinkertaistamaan arkkitehtuuria, bytehouse tarjoaa monipuolisempia tietojen analysointimahdollisuuksia ja maksimoi tietojen tehokkuuden rakentamalla yhtenäisen alustan. se on käynnistänyt kokotekstihakukoneet, gis-koneet ja vector-moottorit, joiden avulla käyttäjät voivat nauttia olapin äärimmäisen suorituskyvyn avulla voit käyttää tekstinhakua, geospatiaalista analyysiä ja vektorinhakuominaisuuksia ilman muita arkkitehtuuria. lisäksi ekologisen yhteensopivuuden kannalta bytehouse tukee clickhousen, mysql:n ja muun sql-ekologian ja järvivaraston integraatiota, mikä mahdollistaa sovellusten ja tietojen siirtämisen ilman kustannuksia.
sovellusskenaarioiden osalta li qun jakoi bytehousen parhaat käytännöt kolmesta skenaariosta: reaaliaikainen tietovarasto, yritystason olap-keskialusta ja täsmällinen mainontamarkkinointi.
mainonnan täsmämarkkinoinnin skenaarion esimerkkinä mobiili-internetin liikenneosuuden laantuessa jalostetusta markkinointimallista on tullut valtavirtaa. potentiaalisimman kohdeyleisön valitseminen satojen miljoonien ihmisten joukosta on täsmämarkkinoinnin ydin, ja se on myös haaste, jonka kohtaa tietovarasto-ominaisuus perusmoottorina.
lyhyen draaman mainonta- ja markkinointiyrityksen perusteella, jota bytehouse on palvellut, yrityksen on toisaalta mukautettava liiketoimintastrategiaansa reaaliajassa, mikä edellyttää tietojen analysointia ja päivitystä 3 sekunnissa, ja toisaalta qps saavuttaa 2 000 markkinointiskenaarioissa massiivisen datan reaaliaikaiset päivitykset luovat suuren määrän datafragmentteja, mikä heikentää kyselyn suorituskykyä ja tuhlaa tallennustilaa.
esittelemällä bytehousen, lianshan cloudin ja juju enginen yhteisen ratkaisun mainos- ja markkinointiyhtiö on rakentanut joukon universaaleja ratkaisuja lyhytdraamateollisuudelle "yhden napsautuksen reaaliaikaisella synkronoinnilla, minimalistisella arkkitehtuurilla ja matalan kynnyksen teknologialla " parantaa mainonnan tietojen käsittelyn tehokkuutta ja investointien tuottoprosenttia.
itse asiassa monitasoisten indeksien, kuten lajitteluavainindeksin, osioavaimen optimoinnin, hyppyindeksin jne., avulla bytehouse vähentää tehokkaasti mainonnan ja markkinoinnin aikana skannattujen tietojen määrää jopa kymmenien miljoonien kyselyiden avulla tietojen palautuksen ajantasaisuutta voidaan myös parantaa takuu on toisella tasolla, mikä on 5 kertaa korkeampi kuin ennen. tietojenkäsittelyryhmän eristysstrategiassa bytehouse rakentaa itsenäisiä laskentaresursseja tietojen lukemiseen ja kirjoittamiseen mainonnan ja markkinoinnin skenaarioissa.
raporttien mukaan bytehouse on myös saavuttanut syvällisen yhteistyön monien alan yritysten, kuten china seismological network centerin, lilith gamesin, geeknet technologyn jne. kanssa, luottaen uuden sukupolven pilvipohjaiseen arkkitehtuuriin, tehokkaisiin ja käteviin käyttö- ja ylläpitomalleihin. , ja tehokkaampi ja joustavampi reaaliaikainen kyselykyky on luonut vankan perustan yrityksille tarttua digitaalisiin mahdollisuuksiin ja edistää yritysten digitaalista muutosta ja päivittämistä.
