βοηθώντας στη μείωση του κόστους και στην αύξηση της αποτελεσματικότητας, το bytehouse δημιουργεί μια νέα γενιά αποθήκης δεδομένων εγγενούς στο cloud
2024-09-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
με την εκρηκτική αύξηση του όγκου δεδομένων, την επιτάχυνση της μετάβασης των επιχειρήσεων στο cloud και την αυξανόμενη ζήτηση για δεδομένα σε πραγματικό χρόνο, η εγγενής αγορά της αποθήκης δεδομένων του cloud έχει δημιουργήσει ευκαιρίες ταχείας ανάπτυξης.
σύμφωνα με στοιχεία από ερευνητικά ιδρύματα idc και gartner, έως το 2025, το 50% των εταιρικών δεδομένων αναμένεται να είναι αποθήκευση στο cloud, το 75% των βάσεων δεδομένων θα εκτελούνται στο cloud, το 30% της παγκόσμιας επεξεργασίας δεδομένων αναμένεται να είναι επεξεργασία δεδομένων σε πραγματικό χρόνο , και το 80% των δεδομένων αναμένεται να είναι αποθήκευση χωρίς σύννεφο.
πρόσφατα, ο li qun, υπεύθυνος προϊόντων της εγγενούς αποθήκης δεδομένων του volcano engine του cloud bytehouse, προσκλήθηκε να παρευρεθεί στο "csdi summit china software r&d innovation and technology summit", με επίκεντρο το θέμα "key technologies and best practices of the new generation cloud native" data warehouse bytehouse", από το cloud data warehouse ξεκινώντας από την ιστορία και την αιχμή, παρουσιάζουμε τη συνολική αρχιτεκτονική του bytehouse, τα βασικά σημεία, τις ανακαλύψεις απόδοσης, τα βασικά σχέδια αποθήκευσης και τον διαχωρισμό υπολογισμών και τις επιχειρηματικές πρακτικές της bytehouse σε διάφορα σενάρια εντός και εκτός του ομίλου douyin .
με βάση τη σύνοψη της εμπειρίας του bytehouse στα χρηματοοικονομικά, τα παιχνίδια, το παν-διαδίκτυο και άλλες βιομηχανίες, ο li qun παρουσίασε για πρώτη φορά τις δυσκολίες και τις προκλήσεις που αντιμετωπίζουν επί του παρόντος οι εγγενείς αποθήκες δεδομένων στο cloud. η υψηλή απόδοση, η υψηλή ταυτόχρονη χρήση και η υψηλή απόδοση είναι ήδη οι βασικές ανάγκες των σημερινών επιχειρήσεων για αποθήκες δεδομένων cloud. καθώς το διαδίκτυο συνεχίζει να αναπτύσσεται, τα δεδομένα αυξάνονται με ταχείς ρυθμούς, ειδικά τα δεδομένα καταγραφής, έχουν δεδομένα που φτάνουν σε δεκάδες ή και εκατοντάδες δισεκατομμύρια καθημερινά, και οι εφαρμογές μεγάλης κλίμακας δημιουργούν εκατοντάδες δισεκατομμύρια συμβάντα κάθε μέρα. αυτό απαιτεί από την πλατφόρμα δεδομένων όχι μόνο να υποστηρίζει τη γραφή υψηλής απόδοσης και την αφαίρεση διπλότυπων σε πραγματικό χρόνο, αλλά και να επιτυγχάνει απόκριση σε επίπεδο χιλιοστού του δευτερολέπτου σε επιχειρηματικά αιτήματα.
επιπλέον, οι επιχειρήσεις αντιμετωπίζουν επίσης προβλήματα όπως πολύπλοκη αρχιτεκτονική δεδομένων, έλλειψη ευελιξίας και δυσκολία στον έλεγχο του κόστους. για παράδειγμα, για να εφαρμόσει μια λειτουργία ανάλυσης δεδομένων, μια επιχείρηση μπορεί να χρειαστεί να εισαγάγει τρία, τέσσερα ή ακόμα περισσότερα στοιχεία για να την κατασκευάσει, με αποτέλεσμα δυσκολία στην επέκταση της χωρητικότητας, υψηλή πίεση λειτουργίας και συντήρησης και υψηλό κόστος συντήρησης εργασίας.
προκειμένου να λυθούν τα παραπάνω προβλήματα, το bytehouse πέτυχε πρώτα μια σημαντική ανακάλυψη στην απόδοση. για πολύπλοκα ερωτήματα, το bytehouse έχει λανσάρει ένα αυτο-αναπτυγμένο βελτιστοποιητή όσον αφορά το rbo (δυνατότητα βελτιστοποίησης βάσει κανόνων), το cbo (δυνατότητα βελτιστοποίησης βάσει κόστους) και τη δημιουργία κατανεμημένου σχεδίου, το οποίο μπορεί να υπολογίσει με ακρίβεια τη διαδρομή εκτέλεσης μεγιστοποίησης της απόδοσης. βελτίωση μειώστε τον χρόνο ερωτήσεων χρήστη. επιπλέον, το bytehouse έχει επίσης βελτιστοποιηθεί από τις πτυχές του exchange, του φίλτρου χρόνου εκτέλεσης και της παράλληλης ανακατασκευής. για έξι κύρια σενάρια: αργή απόδοση σε πραγματικό χρόνο, αργή αναφορά bi, αργή σύνθετη ανάλυση εκτός σύνδεσης/διαδικτύου, ομόσπονδη ανάλυση αργής λίμνης + αποθήκης, αργή επιλογή πλήθους και αργή αναζήτηση εικόνων, η bytehouse έχει κυκλοφορήσει προσαρμοσμένες λύσεις και τις έχει εφαρμόσει σε πραγματικά σενάρια πελατών παράγουν πραγματικά αποτελέσματα.
δεύτερον, η ελαστικότητα είναι επίσης μία από τις βασικές δυνατότητες του bytehouse. με βάση τις δυνατότητες ελαστικής κλιμάκωσης του bytehouse, οι χρήστες μπορούν να εκτελούν διαμορφώσεις επέκτασης και συστολής με βάση μόνο χρόνο, φόρτο πόρων και άλλες συνθήκες, μειώνοντας το φόρτο της μη αυτόματης διαχείρισης και βελτιώνοντας τη χρήση των πόρων. σε επίπεδο αποθήκευσης, το bytehouse υιοθετεί μια αρχιτεκτονική χωρίς διακομιστή, η οποία έχει χαμηλό κόστος και απεριόριστες δυνατότητες επέκτασης. σε υπολογιστικό επίπεδο, το bytehouse βασίζεται στο μοντέλο paas και εφαρμόζει καταστάσεις χωρίς κατάσταση ή αδυναμία μέσω κοντέινερ. ενοικιαστές, έτσι ώστε να μπορούν να χρησιμοποιηθούν υπολογιστικοί πόροι επίτευξη ελαστικής έλξης και ελαστικής διαστολής και συστολής μέσα σε δευτερόλεπτα.
τέλος, ενώ βελτιώνει την αποτελεσματικότητα, το bytehouse εστιάζει επίσης στο να βοηθά τους χρήστες να εξοικονομούν κόστος. η εγγενής αρχιτεκτονική cloud του bytehouse υποστηρίζει προσαρμοσμένη ευελιξία χρονομερισμού, εξαλείφοντας την ανάγκη των χρηστών να προαγοράζουν πόρους για επιχειρηματικές κορυφές, συμβάλλοντας στη μείωση του κόστους κατά περισσότερο από 30%. ταυτόχρονα, για να βοηθήσει τους χρήστες να απλοποιήσουν την αρχιτεκτονική, το bytehouse παρέχει πλουσιότερες δυνατότητες ανάλυσης δεδομένων και μεγιστοποιεί την αποτελεσματικότητα των δεδομένων δημιουργώντας μια ενοποιημένη πλατφόρμα την απόλυτη απόδοση του olap , μπορείτε να χρησιμοποιήσετε δυνατότητες ανάκτησης κειμένου, γεωχωρικής ανάλυσης και ανάκτησης διανυσμάτων χωρίς να εισάγετε άλλες αρχιτεκτονικές. επιπλέον, όσον αφορά την οικολογική συμβατότητα, το bytehouse υποστηρίζει clickhouse, mysql και άλλη ενοποίηση sql οικολογίας και αποθήκης λιμνών, επιτρέποντας τη μετεγκατάσταση εφαρμογών και δεδομένων με μηδενικό κόστος.
όσον αφορά τα σενάρια εφαρμογών, ο li qun μοιράστηκε τις βέλτιστες πρακτικές του bytehouse από τρία σενάρια: αποθήκη δεδομένων σε πραγματικό χρόνο, μεσαία πλατφόρμα olap σε επίπεδο επιχείρησης και διαφημιστικό μάρκετινγκ ακριβείας.
λαμβάνοντας ως παράδειγμα το σενάριο μάρκετινγκ ακριβείας της διαφήμισης, καθώς μειώνεται το μέρισμα επισκεψιμότητας του διαδικτύου για κινητά, το εκλεπτυσμένο μοντέλο μάρκετινγκ έχει γίνει κυρίαρχο. η επιλογή του πιο δυνητικού κοινού-στόχου από εκατοντάδες εκατομμύρια ανθρώπους είναι η ουσία του μάρκετινγκ ακριβείας και είναι επίσης μια πρόκληση που αντιμετωπίζει η ικανότητα της αποθήκης δεδομένων ως βασικής μηχανής.
κρίνοντας από μια σύντομη εταιρεία διαφήμισης και μάρκετινγκ που υπηρέτησε η bytehouse, αφενός, η εταιρεία πρέπει να προσαρμόσει την επιχειρηματική της στρατηγική σε πραγματικό χρόνο, απαιτώντας ανάλυση δεδομένων και επικαιρότητα ενημέρωσης εντός 3 δευτερολέπτων και ταυτόχρονα qps φθάνοντας τα 2.000 σε σενάρια μάρκετινγκ, οι ενημερώσεις μαζικών δεδομένων σε πραγματικό χρόνο θα δημιουργήσουν μεγάλη ποσότητα θραυσμάτων δεδομένων, τα οποία θα μειώσουν την απόδοση των ερωτημάτων και θα σπαταλήσουν χώρο αποθήκευσης.
παρουσιάζοντας την κοινή λύση των bytehouse, lianshan cloud και juju engine, η εταιρεία διαφήμισης και μάρκετινγκ έχει δημιουργήσει ένα σύνολο καθολικών λύσεων για τη βιομηχανία μικρού μήκους δράματος με "συγχρονισμό σε πραγματικό χρόνο με ένα κλικ, μινιμαλιστική αρχιτεκτονική και τεχνολογία χαμηλού ορίου για τη βελτίωση της αποτελεσματικότητας της επεξεργασίας διαφημιστικών δεδομένων και της επένδυσης roi.
στην πραγματικότητα, μέσω ευρετηρίων πολλαπλών επιπέδων, όπως ευρετήριο ταξινόμησης κλειδιού, βελτιστοποίηση κλειδιού διαμερισμάτων, ευρετήριο μετάβασης κ.λπ., το bytehouse μειώνει αποτελεσματικά τον όγκο των δεδομένων που σαρώνονται κατά τη διάρκεια των ερωτημάτων διαφήμισης και μάρκετινγκ, ακόμη και με δεκάδες εκατομμύρια ερωτήματα ανά ημέρα η επικαιρότητα επιστροφής δεδομένων μπορεί επίσης να βελτιωθεί η εγγύηση βρίσκεται στο δεύτερο επίπεδο, το οποίο είναι 5 φορές υψηλότερο από πριν. στη στρατηγική απομόνωσης της ομάδας υπολογιστών, το bytehouse δημιουργεί ανεξάρτητους υπολογιστικούς πόρους για ανάγνωση και γραφή δεδομένων σε σενάρια διαφήμισης και μάρκετινγκ μέσω του ευέλικτου μηχανισμού διανομής sql, μπορεί να υποστηρίξει ερωτήματα υψηλού συγχρονισμού άνω των 2000 qps.
σύμφωνα με αναφορές, η bytehouse έχει επίσης συνεργαστεί σε βάθος με πολλές εταιρείες του κλάδου, όπως το china seismological network center, η lilith games, η geeknet technology κ.λπ., βασιζόμενη σε μια νέα γενιά μοντέλων εγγενών cloud, αποδοτικών και βολικών μοντέλων λειτουργίας και συντήρησης , και υψηλής απόδοσης και πιο ευέλικτο η δυνατότητα αναζήτησης σε πραγματικό χρόνο έχει δημιουργήσει μια σταθερή βάση για τις επιχειρήσεις να εκμεταλλεύονται τις ψηφιακές ευκαιρίες και να προωθούν τον ψηφιακό μετασχηματισμό και την αναβάθμιση των επιχειρήσεων.
