コストの削減と効率の向上を支援する bytehouse は、新世代のクラウドネイティブ データ ウェアハウスを構築します
2024-09-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
データ量の爆発的な増加、企業のクラウドへの移行の加速、リアルタイム データへの需要の増大に伴い、クラウド ネイティブ データ ウェアハウス市場は急速な発展の機会をもたらしています。
idc と gartner の調査機関のデータによると、2025 年までに企業データの 50% がクラウド ストレージになり、データベースの 75% がクラウド上で実行され、世界のデータ処理の 30% がリアルタイム データ処理になると予想されています。 、データの 80% は非クラウド ストレージであると予想されており、構造化データは企業間でクラウド ネイティブ データ ウェアハウスの人気を高めることになるでしょう。
最近、volcano engine クラウド ネイティブ データ ウェアハウス bytehouse のプロダクト マネージャーである li qun 氏が、「新世代クラウド ネイティブの主要テクノロジーとベスト プラクティス」をテーマとする「csdi サミット中国ソフトウェア r&d イノベーションおよびテクノロジー サミット」に招待されました。クラウド データ ウェアハウスの「データ ウェアハウス bytehouse」の歴史と最先端から始めて、bytehouse の全体的なアーキテクチャ、主要なハイライト、パフォーマンスのブレークスルー、ストレージと計算の分離の主要な設計、douyin group 内外のさまざまなシナリオにおける bytehouse のビジネス プラクティスを紹介します。 。
金融、ゲーム、汎インターネット、その他の業界における bytehouse の経験概要に基づいて、li qun 氏はまず、クラウド ネイティブ データ ウェアハウスが現在直面している困難と課題を紹介しました。高性能、高同時実行性、高スループットの書き込みは、今日の企業のクラウド データ ウェアハウスに対する基本的なニーズとなっています。インターネットが発展し続けるにつれて、データ、特にログ データが急速に増加しています。よりアクティブなアプリの中には、毎日数百億、さらには数千億に達するデータがあり、大規模なキラー アプリケーションは毎日数千億のイベントを生成します。これには、データ プラットフォームが高スループットの書き込みとリアルタイムの重複排除をサポートするだけでなく、ビジネス リクエストに対するミリ秒レベルの応答を実現する必要があります。
さらに、企業は複雑なデータ アーキテクチャ、柔軟性の欠如、コスト管理の難しさなどの問題にも直面しています。たとえば、データ分析機能を実装するには、企業はそれを構築するために 3 つ、4 つ、あるいはそれ以上のコンポーネントを導入する必要がある場合があり、その結果、容量拡張が困難になり、運用と保守のプレッシャーが高まり、人件費の維持コストが高くなります。
上記の問題を解決するために、bytehouse はまずパフォーマンスのブレークスルーを達成しました。複雑なクエリに対して、bytehouse は、rbo (ルールベースの最適化機能)、cbo (コストベースの最適化機能)、および分散プラン生成の観点から自社開発のオプティマイザーを開始しました。これにより、効率を最大化する実行パスを正確に計算でき、大幅に効率が向上します。ユーザーのクエリ時間を短縮します。さらに、bytehouse は、exchange、runtime filter、並列再構築の側面からも最適化されています。 6 つの主要なシナリオ (遅いリアルタイム スループット、遅い bi レポート、遅いオフライン/オンライン複合分析、遅いレイクとウェアハウスのフェデレーション分析、遅い群集選択、遅い画像検索) に対して、bytehouse はカスタマイズされたソリューションを発表し、実際の顧客シナリオに実装しました。 . 実際の結果を生み出します。
次に、弾力性も bytehouse の中核機能の 1 つです。 bytehouse の柔軟なスケーリング機能に基づいて、ユーザーは時間、リソース負荷、その他の条件のみに基づいて拡張および縮小構成を実行できるため、手動管理の負担が軽減され、リソースの使用率が向上します。ストレージ レベルでは、bytehouse はサーバーレス アーキテクチャを採用しており、低コストで無制限の拡張機能を備えています。コンピューティング レベルでは、bytehouse は paas モデルに基づいており、コンテナ化を通じてステートレスまたは弱い状態を実装し、コンピューティング グループ全体をテナントとアプリケーションにパッケージ化してユーザーに提示し、リソース要求の競合やパフォーマンスの低下が発生しないようにします。コンピューティング リソースを使用できるようにテナントに追加します。数秒以内に弾力的なプルアップと弾力的な伸縮を実現します。
最後に、bytehouse は効率を向上させると同時に、ユーザーのコスト削減を支援することにも重点を置いています。 bytehouse のクラウドネイティブ アーキテクチャは、カスタマイズされたタイムシェアリングの柔軟性をサポートしており、ユーザーがビジネスのピークに合わせてリソースを事前購入する必要がなくなり、コストを 30% 以上削減できます。同時に、ユーザーがアーキテクチャを簡素化できるようにするために、bytehouse は統合プラットフォームを構築することで、より豊富なデータ分析機能を提供し、データ効率を最大化して、ユーザーが楽しめるようにしています。 olap の究極のパフォーマンスを実現するため、他のアーキテクチャを導入することなく、テキスト検索、地理空間分析、およびベクトル検索機能を使用できます。さらに、エコロジカルな互換性の観点から、bytehouse は clickhouse、mysql、その他の sql エコロジーとレイク ウェアハウスの統合をサポートしており、アプリケーションとデータをゼロコストで再配置できます。
アプリケーション シナリオに関して、li qun 氏は、リアルタイム データ ウェアハウス、エンタープライズ レベルの olap ミドル プラットフォーム、精密広告マーケティングの 3 つのシナリオから bytehouse のベスト プラクティスを共有しました。
広告の精密マーケティング シナリオを例にとると、モバイル インターネットのトラフィック配当が沈静化するにつれて、洗練されたマーケティング モデルが主流になってきました。何億人もの人々の中から最も潜在的なターゲットオーディエンスを選択することは、プレシジョンマーケティングの本質であり、基本エンジンとしてのデータウェアハウス機能が直面する課題でもあります。
bytehouse がサービスを提供した短編ドラマの広告およびマーケティング会社から判断すると、同社はビジネス戦略をリアルタイムで調整する必要があり、3 秒以内のデータ分析と更新が必要であり、同時に 2,000 に達する qps が必要です。また、マーケティング シナリオでは、大量のデータをリアルタイムで更新すると大量のデータ フラグメントが生成され、クエリのパフォーマンスが低下し、ストレージ スペースが無駄になります。
bytehouse、lianshan cloud、juju engine の共同ソリューションを導入することで、広告およびマーケティング会社は、「ワンクリックのリアルタイム同期、ミニマリスト アーキテクチャ、低しきい値テクノロジー」を備えた短編ドラマ業界向けの一連のユニバーサル ソリューションを構築しました。 」広告データ処理の効率と投資roiを向上させます。
実際、bytehouse は、ソート キー インデックス、パーティション キーの最適化、ジャンプ インデックスなどのマルチレベル インデックスを通じて、1 日あたり数千万のクエリがある場合でも、広告やマーケティングのクエリ中にスキャンされるデータの量を効果的に削減します。データ返却の適時性も向上し、保証は以前の 5 倍となる 2 番目のレベルになります。コンピューティング グループ分離戦略では、bytehouse は、広告およびマーケティング シナリオでのデータの読み取りと書き込みのための独立したコンピューティング リソースを構築し、柔軟な sql 分散メカニズムを通じて、2000 qps を超える高い同時実行クエリをサポートできます。
レポートによると、bytehouse は、新世代のクラウドネイティブ アーキテクチャ、効率的で便利な運用およびメンテナンス モデルに依存し、中国地震ネットワーク センター、lilith games、geeknet technology などの多くの業界企業と緊密な協力関係にも達しました。リアルタイム クエリ機能は、企業がデジタル チャンスを掴み、企業のデジタル トランスフォーメーションとアップグレードを促進するための強固な基盤を確立しました。
