um kosten zu senken und die effizienz zu steigern, baut bytehouse eine neue generation von cloud-nativen data warehouses auf
2024-09-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
mit dem explosionsartigen wachstum des datenvolumens, der beschleunigung der migration von unternehmen in die cloud und der steigenden nachfrage nach echtzeitdaten hat der cloud-native data warehouse-markt schnelle entwicklungsmöglichkeiten eröffnet.
nach angaben der forschungsinstitute idc und gartner wird erwartet, dass bis 2025 50 % der unternehmensdaten in der cloud gespeichert werden, 75 % der datenbanken in der cloud laufen und 30 % der weltweiten datenverarbeitung voraussichtlich in echtzeit erfolgen wird 80 % der daten werden voraussichtlich nicht in der cloud gespeichert sein. strukturierte daten werden dazu führen, dass cloud-native data warehouses bei unternehmen immer beliebter werden.
kürzlich wurde li qun, produktmanager des cloud native data warehouse bytehouse von volcano engine, zur teilnahme am „csdi summit china software r&d innovation and technology summit“ eingeladen, der sich mit dem thema „schlüsseltechnologien und best practices der cloud native der neuen generation“ befasste data warehouse bytehouse“, aus dem cloud data warehouse. ausgehend von der geschichte und dem neuesten stand stellen wir die gesamtarchitektur von bytehouse, wichtige highlights, leistungsdurchbrüche, wichtige designs der speicher- und berechnungstrennung sowie die geschäftspraktiken von bytehouse in verschiedenen szenarien innerhalb und außerhalb der douyin group vor .
basierend auf der zusammenfassung der erfahrungen von bytehouse in den bereichen finanzen, spiele, pan-internet und anderen branchen stellte li qun zunächst die schwierigkeiten und herausforderungen vor, mit denen cloud-native data warehouses derzeit konfrontiert sind. hohe leistung, hohe parallelität und hoher schreibdurchsatz sind bereits die grundbedürfnisse heutiger unternehmen an cloud-data-warehouses. während sich das internet weiterentwickelt, nehmen die datenmengen, insbesondere die protokolldaten, rasant zu. einige der aktiveren apps erreichen täglich dutzende oder sogar hunderte von milliarden daten, und große killeranwendungen generieren täglich hunderte von milliarden ereignissen. dies erfordert, dass die datenplattform nicht nur hochdurchsatz-schreiben und echtzeit-deduplizierung unterstützt, sondern auch eine reaktion auf geschäftsanfragen im millisekundenbereich ermöglicht.
darüber hinaus stehen unternehmen auch vor problemen wie komplexer datenarchitektur, mangelnder flexibilität und schwierigkeiten bei der kostenkontrolle. um beispielsweise eine datenanalysefunktion zu implementieren, muss ein unternehmen möglicherweise drei, vier oder sogar mehr komponenten für deren aufbau einführen, was zu schwierigkeiten bei der kapazitätserweiterung, hohem betriebs- und wartungsdruck und hohen arbeitswartungskosten führt.
um die oben genannten probleme zu lösen, erzielte bytehouse zunächst einen leistungsdurchbruch. für komplexe abfragen hat bytehouse einen selbst entwickelten optimierer in bezug auf rbo (regelbasierte optimierungsfähigkeit), cbo (kostenbasierte optimierungsfähigkeit) und verteilte plangenerierung auf den markt gebracht, der den effizienzmaximierenden ausführungspfad erheblich genau berechnen kann verbesserung reduzieren sie die zeit für benutzerabfragen. darüber hinaus wurde bytehouse auch unter den aspekten exchange, laufzeitfilter und parallele rekonstruktion optimiert. für sechs hauptszenarien: langsamer echtzeitdurchsatz, langsames bi-reporting, langsame komplexe offline-/online-analyse, langsame föderierte lake- und warehouse-analyse, langsame crowd-auswahl und langsame bildsuche hat bytehouse maßgeschneiderte lösungen auf den markt gebracht und diese in tatsächlichen kundenszenarien implementiert . tatsächliche ergebnisse erzielen.
zweitens ist elastizität auch eine der kernkompetenzen von bytehouse. basierend auf den elastischen skalierungsfunktionen von bytehouse können benutzer erweiterungs- und kontraktionskonfigurationen nur auf der grundlage von zeit, ressourcenlast und anderen bedingungen durchführen, wodurch der aufwand für die manuelle verwaltung reduziert und die ressourcennutzung verbessert wird. auf der speicherebene verwendet bytehouse eine serverlose architektur, die niedrige kosten und unbegrenzte erweiterungsmöglichkeiten bietet. auf der computerebene basiert bytehouse auf dem paas-modell und implementiert zustandslose oder schwache zustände durch containerisierung. es packt die gesamte computergruppe in mandanten und anwendungen und präsentiert sie den benutzern, um sicherzustellen, dass es zwischen ihnen nicht zu ressourcenanforderungskonflikten oder leistungseinbußen kommt mieter, sodass rechenressourcen genutzt werden können. erreichen sie innerhalb von sekunden ein elastisches hochziehen sowie eine elastische ausdehnung und kontraktion.
schließlich konzentriert sich bytehouse nicht nur auf die verbesserung der effizienz, sondern auch darauf, benutzern dabei zu helfen, kosten zu sparen. die cloud-native architektur von bytehouse unterstützt eine individuelle time-sharing-flexibilität, sodass benutzer keine ressourcen für geschäftsspitzen im voraus kaufen müssen, was zu einer kostensenkung von mehr als 30 % beiträgt. um benutzern dabei zu helfen, die architektur zu vereinfachen, bietet bytehouse gleichzeitig umfangreichere datenanalysefunktionen und maximiert die dateneffizienz durch den aufbau einer einheitlichen plattform. es hat volltextsuchmaschinen, gis-engines und vector-engines eingeführt, die den benutzern die nutzung ermöglichen dank der ultimativen leistung von olap können sie textabruf-, geodatenanalyse- und vektorabruffunktionen nutzen, ohne andere architekturen einführen zu müssen. darüber hinaus unterstützt bytehouse im hinblick auf die ökologische kompatibilität clickhouse, mysql und andere sql-ökologie- und lake-warehouse-integrationen, sodass anwendungen und daten ohne kosten verlagert werden können.
in bezug auf anwendungsszenarien teilte li qun die best practices von bytehouse aus drei szenarien: echtzeit-data-warehouse, olap-mittelplattform auf unternehmensebene und präzises werbemarketing.
nehmen wir als beispiel das präzisionsmarketing-szenario der werbung: da die verkehrsdividende des mobilen internets nachlässt, ist das verfeinerte marketingmodell zum mainstream geworden. die auswahl der zielgruppe mit dem größten potenzial aus hunderten millionen menschen ist die essenz des präzisionsmarketings und stellt auch eine herausforderung dar, der sich die data-warehouse-fähigkeit als grundlegender motor stellen muss.
nach einem kurzfilm-werbe- und marketingunternehmen zu urteilen, das bytehouse betreut hat, muss das unternehmen einerseits seine geschäftsstrategie in echtzeit anpassen und eine datenanalyse und aktualität innerhalb von 3 sekunden sowie ein gleichzeitiges erreichen von qps von 2.000 erfordern andererseits wird in marketingszenarien durch echtzeitaktualisierungen großer datenmengen eine große menge an datenfragmenten generiert, was die abfrageleistung verringert und speicherplatz verschwendet.
durch die einführung der gemeinsamen lösung von bytehouse, lianshan cloud und juju engine hat das werbe- und marketingunternehmen eine reihe universeller lösungen für die kurzfilmbranche mit „ein-klick-echtzeitsynchronisation, minimalistischer architektur und technologie mit niedrigem schwellenwert“ entwickelt " um die effizienz der werbedatenverarbeitung und den investitions-roi zu verbessern.
tatsächlich reduziert bytehouse durch mehrstufige indizes wie sortierschlüsselindex, partitionsschlüsseloptimierung, sprungindex usw. effektiv die bei werbe- und marketingabfragen gescannte datenmenge die pünktlichkeit der datenrückgabe kann ebenfalls verbessert werden. die garantie liegt auf der zweiten ebene und ist damit fünfmal höher als zuvor. im rahmen der computergruppen-isolationsstrategie baut bytehouse unabhängige computerressourcen zum lesen und schreiben von daten in werbe- und marketingszenarien auf. durch den flexiblen sql-verteilungsmechanismus können abfragen mit hoher parallelität von mehr als 2000 qps unterstützt werden.
berichten zufolge hat bytehouse auch eine intensive zusammenarbeit mit vielen branchenunternehmen wie dem china seismological network center, lilith games, geeknet technology usw. erreicht und setzt dabei auf eine neue generation cloudnativer architektur sowie effiziente und bequeme betriebs- und wartungsmodelle , und leistungsstärker und flexibler die echtzeitabfragefähigkeit hat eine solide grundlage für unternehmen geschaffen, um digitale chancen zu nutzen und die digitale transformation und modernisierung von unternehmen voranzutreiben.
