membantu mengurangi biaya dan meningkatkan efisiensi, bytehouse membangun gudang data cloud-native generasi baru
2024-09-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
dengan pertumbuhan volume data yang eksplosif, percepatan migrasi perusahaan ke cloud, dan meningkatnya permintaan akan data real-time, pasar gudang data cloud-native telah membuka peluang pengembangan yang pesat.
menurut data dari lembaga penelitian idc dan gartner, pada tahun 2025, 50% data perusahaan diharapkan menjadi penyimpanan cloud, 75% database akan berjalan di cloud, dan 30% pemrosesan data global diharapkan menjadi pemrosesan data real-time. , dan 80% data diharapkan berupa penyimpanan non-cloud. data terstruktur akan mendorong gudang data cloud native menjadi semakin populer di kalangan perusahaan.
baru-baru ini, li qun, manajer produk gudang data cloud native volcano engine, bytehouse, diundang untuk menghadiri "ktt csdi china software r&d innovation and technology summit", dengan fokus pada tema "teknologi utama dan praktik terbaik dari cloud native generasi baru gudang data bytehouse", dari gudang data cloud mulai dari sejarah dan mutakhir, kami memperkenalkan keseluruhan arsitektur bytehouse, sorotan utama, terobosan kinerja, desain utama penyimpanan dan pemisahan perhitungan, dan praktik bisnis bytehouse dalam beragam skenario di dalam dan di luar grup douyin .
berdasarkan ringkasan pengalaman bytehouse di bidang keuangan, game, pan-internet, dan industri lainnya, li qun pertama kali memperkenalkan kesulitan dan tantangan yang saat ini dihadapi oleh gudang data cloud-native. performa tinggi, konkurensi tinggi, dan penulisan throughput tinggi sudah menjadi kebutuhan dasar perusahaan saat ini akan gudang data cloud. seiring dengan berkembangnya internet, data berkembang pesat, terutama data log. beberapa aplikasi yang lebih aktif memiliki data yang mencapai puluhan atau bahkan ratusan miliar setiap hari, dan aplikasi pembunuh berskala besar menghasilkan ratusan miliar peristiwa setiap hari. hal ini mengharuskan platform data tidak hanya mendukung penulisan throughput tinggi dan deduplikasi real-time, namun juga mencapai respons tingkat milidetik terhadap permintaan bisnis.
selain itu, perusahaan juga menghadapi masalah seperti arsitektur data yang kompleks, kurangnya fleksibilitas, dan kesulitan dalam pengendalian biaya. misalnya, untuk menerapkan fungsi analisis data, suatu perusahaan mungkin perlu memperkenalkan tiga, empat atau bahkan lebih komponen untuk membangunnya, yang mengakibatkan kesulitan dalam perluasan kapasitas, tekanan operasi dan pemeliharaan yang tinggi, serta biaya pemeliharaan tenaga kerja yang tinggi.
untuk mengatasi masalah di atas, bytehouse terlebih dahulu mencapai terobosan dalam kinerja. untuk kueri yang kompleks, bytehouse telah meluncurkan pengoptimal yang dikembangkan sendiri dalam hal rbo (kemampuan pengoptimalan berbasis aturan), cbo (kemampuan pengoptimalan berbasis biaya), dan pembuatan rencana terdistribusi, yang dapat secara akurat menghitung jalur eksekusi yang memaksimalkan efisiensi, secara signifikan meningkatkan kurangi waktu permintaan pengguna. selain itu, bytehouse juga telah dioptimalkan dari aspek exchange, runtime filter dan rekonstruksi paralel. untuk enam skenario utama: throughput real-time yang lambat, pelaporan bi yang lambat, analisis kompleks offline/online yang lambat, analisis federasi danau + gudang yang lambat, pemilihan kerumunan yang lambat, dan pencarian gambar yang lambat, bytehouse telah meluncurkan solusi yang disesuaikan dan menerapkannya dalam skenario pelanggan aktual . menghasilkan hasil yang sebenarnya.
kedua, elastisitas juga merupakan salah satu kemampuan inti bytehouse. berdasarkan kemampuan penskalaan elastis bytehouse, pengguna dapat melakukan konfigurasi ekspansi dan kontraksi hanya berdasarkan waktu, beban sumber daya, dan kondisi lainnya, sehingga mengurangi beban manajemen manual dan meningkatkan pemanfaatan sumber daya. pada tingkat penyimpanan, bytehouse mengadopsi arsitektur tanpa server, yang memiliki biaya rendah dan kemampuan ekspansi tanpa batas. pada tingkat komputasi, bytehouse didasarkan pada model paas dan mengimplementasikan status stateless atau lemah melalui containerisasi. ini mengemas seluruh grup komputasi ke dalam penyewa dan aplikasi dan menyajikannya kepada pengguna, memastikan bahwa tidak akan ada konflik permintaan sumber daya atau penurunan kinerja di antara keduanya. penyewa, sehingga sumber daya komputasi dapat digunakan. capai pull-up elastis serta ekspansi dan kontraksi elastis dalam hitungan detik.
terakhir, selain meningkatkan efisiensi, bytehouse juga berfokus untuk membantu pengguna menghemat biaya. arsitektur cloud-native bytehouse mendukung fleksibilitas pembagian waktu yang disesuaikan, menghilangkan kebutuhan pengguna untuk melakukan pra-pembelian sumber daya untuk puncak bisnis, membantu mengurangi biaya hingga lebih dari 30%. pada saat yang sama, untuk membantu pengguna menyederhanakan arsitektur, bytehouse menyediakan kemampuan analisis data yang lebih kaya dan memaksimalkan efisiensi data dengan membangun platform terpadu. ia telah meluncurkan mesin pencari teks lengkap, mesin gis, dan mesin vektor, yang memungkinkan pengguna untuk menikmati kinerja terbaik olap. , anda dapat menggunakan kemampuan pengambilan teks, analisis geospasial, dan pengambilan vektor tanpa memperkenalkan arsitektur lain. selain itu, dalam hal kompatibilitas ekologis, bytehouse mendukung clickhouse, mysql dan ekologi sql lainnya serta integrasi gudang danau, memungkinkan aplikasi dan data dipindahkan tanpa biaya.
dalam hal skenario aplikasi, li qun membagikan praktik terbaik bytehouse dari tiga skenario: gudang data waktu nyata, platform tengah olap tingkat perusahaan, dan pemasaran periklanan presisi.
dengan mengambil contoh skenario pemasaran periklanan yang presisi, seiring dengan berkurangnya dividen lalu lintas internet seluler, model pemasaran yang disempurnakan telah menjadi arus utama. memilih audiens target yang paling potensial dari ratusan juta orang adalah inti dari pemasaran presisi, dan ini juga merupakan tantangan yang dihadapi oleh kemampuan gudang data sebagai mesin dasarnya.
dilihat dari perusahaan periklanan dan pemasaran drama pendek yang dilayani bytehouse, di satu sisi, perusahaan perlu menyesuaikan strategi bisnisnya secara real time, memerlukan analisis data dan pembaruan tepat waktu dalam waktu 3 detik, dan qps secara bersamaan mencapai 2.000; di sisi lain, dalam skenario pemasaran, pembaruan data besar-besaran secara real-time akan menghasilkan sejumlah besar fragmen data, yang akan menurunkan kinerja kueri dan membuang-buang ruang penyimpanan.
dengan memperkenalkan solusi gabungan bytehouse, lianshan cloud, dan juju engine, perusahaan periklanan dan pemasaran ini telah membangun serangkaian solusi universal untuk industri drama pendek dengan "sinkronisasi real-time sekali klik, arsitektur minimalis, dan teknologi ambang batas rendah " untuk meningkatkan efisiensi pemrosesan data periklanan dan roi investasi.
akibatnya, melalui indeks multi-level, seperti indeks kunci pengurutan, pengoptimalan kunci partisi, indeks lompat, dll., bytehouse secara efektif mengurangi jumlah data yang dipindai selama permintaan periklanan dan pemasaran ketepatan waktu pengembalian data juga dapat ditingkatkan. jaminannya berada pada level kedua, yaitu 5 kali lebih tinggi dari sebelumnya. dalam strategi isolasi grup komputasi, bytehouse membangun sumber daya komputasi independen untuk membaca dan menulis data dalam skenario periklanan dan pemasaran, melalui mekanisme distribusi sql yang fleksibel, bytehouse dapat mendukung kueri konkurensi tinggi lebih dari 2000 qps.
menurut laporan, bytehouse juga telah menjalin kerja sama yang mendalam dengan banyak perusahaan industri seperti china seismological network center, lilith games, geeknet technology, dll., dengan mengandalkan arsitektur cloud-native generasi baru, model pengoperasian dan pemeliharaan yang efisien dan nyaman , dan berkinerja tinggi serta lebih fleksibel kemampuan kueri real-time telah membentuk landasan yang kuat bagi perusahaan untuk memanfaatkan peluang digital dan mendorong transformasi digital dan peningkatan perusahaan.
