ajudando a reduzir custos e aumentar a eficiência, a bytehouse constrói uma nova geração de data warehouse nativo da nuvem
2024-09-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
com o crescimento explosivo do volume de dados, a aceleração da migração das empresas para a nuvem e a crescente demanda por dados em tempo real, o mercado de data warehouse nativo da nuvem deu início a oportunidades de rápido desenvolvimento.
de acordo com dados das instituições de pesquisa idc e gartner, até 2025, espera-se que 50% dos dados empresariais sejam armazenados em nuvem, 75% dos bancos de dados serão executados na nuvem, 30% do processamento global de dados deverá ser processamento de dados em tempo real , e espera-se que 80% dos dados sejam armazenados fora da nuvem. os dados estruturados farão com que os data warehouses nativos da nuvem se tornem cada vez mais populares entre as empresas.
recentemente, li qun, gerente de produto do armazém de dados nativo em nuvem volcano engine bytehouse, foi convidado a participar do "cúpula csdi china software r&d innovation and technology summit", com foco no tema "tecnologias-chave e melhores práticas da nova geração de nuvem nativa data warehouse bytehouse", do data warehouse em nuvem partindo da história e do que há de mais moderno, apresentamos a arquitetura geral da bytehouse, os principais destaques, os avanços de desempenho, os principais projetos de armazenamento e separação de cálculo e as práticas de negócios da bytehouse em diversos cenários dentro e fora do grupo douyin .
com base no resumo da experiência da bytehouse em finanças, jogos, pan-internet e outros setores, li qun apresentou pela primeira vez as dificuldades e desafios enfrentados atualmente pelos data warehouses nativos da nuvem. alto desempenho, alta simultaneidade e gravação de alto rendimento já são as necessidades básicas das empresas atuais para data warehouses em nuvem. à medida que a internet continua a desenvolver-se, os dados crescem rapidamente, especialmente os dados de registo. algumas das aplicações mais ativas têm dados que atingem dezenas ou mesmo centenas de milhares de milhões todos os dias, e aplicações assassinas em grande escala geram centenas de milhares de milhões de eventos todos os dias. isso exige que a plataforma de dados não apenas suporte gravação de alto rendimento e desduplicação em tempo real, mas também atinja respostas em nível de milissegundos às solicitações de negócios.
além disso, as empresas também enfrentam problemas como arquitetura de dados complexa, falta de flexibilidade e dificuldade no controle de custos. por exemplo, para implementar uma função de análise de dados, uma empresa pode necessitar de introduzir três, quatro ou até mais componentes para a construir, resultando em dificuldade de expansão da capacidade, elevada pressão de operação e manutenção e elevados custos de manutenção de mão-de-obra.
para resolver os problemas acima, a bytehouse primeiro alcançou um avanço no desempenho. para consultas complexas, a bytehouse lançou um otimizador autodesenvolvido em termos de rbo (capacidade de otimização baseada em regras), cbo (capacidade de otimização baseada em custos) e geração de plano distribuído, que pode calcular com precisão o caminho de execução que maximiza a eficiência, significativamente melhorando reduza o tempo de consulta do usuário. além disso, bytehouse também foi otimizado nos aspectos de exchange, filtro de tempo de execução e reconstrução paralela. para seis cenários principais: rendimento lento em tempo real, relatórios de bi lentos, análise complexa off-line/on-line lenta, análise federada lenta de lake + warehouse, seleção lenta de multidões e pesquisa lenta de imagens, a bytehouse lançou soluções personalizadas e as implementou em cenários reais de clientes produzir resultados reais.
em segundo lugar, a elasticidade também é uma das principais capacidades da bytehouse. com base nos recursos de escalabilidade elástica da bytehouse, os usuários podem realizar configurações de expansão e contração com base apenas no tempo, carga de recursos e outras condições, reduzindo a carga do gerenciamento manual e melhorando a utilização de recursos. ao nível do armazenamento, a bytehouse adota uma arquitetura serverless, que possui baixo custo e capacidades de expansão ilimitadas. no nível de computação, a bytehouse é baseada no modelo paas e implementa estados sem estado ou fracos por meio de conteinerização. ele empacota todo o grupo de computação em locatários e aplicativos e os apresenta aos usuários, garantindo que não haverá conflitos de requisição de recursos ou degradação de desempenho entre eles. inquilinos, para que os recursos de computação possam ser usados. obtenha pull-up elástico e expansão e contração elásticas em segundos.
finalmente, ao mesmo tempo que melhora a eficiência, a bytehouse também se concentra em ajudar os usuários a economizar custos. a arquitetura nativa da nuvem da bytehouse oferece suporte à flexibilidade personalizada de compartilhamento de tempo, eliminando a necessidade dos usuários adquirirem recursos antecipadamente para os picos de negócios, ajudando a reduzir custos em mais de 30%. ao mesmo tempo, para ajudar os usuários a simplificar a arquitetura, a bytehouse fornece recursos de análise de dados mais ricos e maximiza a eficiência dos dados ao construir uma plataforma unificada. lançou mecanismos de pesquisa de texto completo, mecanismos gis e mecanismos vetoriais, permitindo que os usuários aproveitem. com o melhor desempenho do olap, você pode usar recursos de recuperação de texto, análise geoespacial e recuperação de vetores sem introduzir outras arquiteturas. além disso, em termos de compatibilidade ecológica, bytehouse suporta clickhouse, mysql e outras ecologias sql e integração de lake warehouse, permitindo que aplicativos e dados sejam realocados a custo zero.
em termos de cenários de aplicação, li qun compartilhou as melhores práticas da bytehouse em três cenários: data warehouse em tempo real, plataforma intermediária olap de nível empresarial e marketing publicitário de precisão.
tomando como exemplo o cenário de marketing de precisão da publicidade, à medida que o dividendo de tráfego da internet móvel diminui, o modelo de marketing refinado tornou-se popular. selecionar o público-alvo mais potencial entre centenas de milhões de pessoas é a essência do marketing de precisão e também é um desafio enfrentado pela capacidade de data warehouse como mecanismo básico.
a julgar por uma pequena empresa de publicidade e marketing que a bytehouse atendeu, por um lado, a empresa precisa ajustar sua estratégia de negócios em tempo real, exigindo análise de dados e atualização em tempo hábil em 3 segundos, e qps simultâneos atingindo 2.000, por outro; por outro lado, em cenários de marketing, atualizações em tempo real de dados massivos gerarão uma grande quantidade de fragmentos de dados, o que reduzirá o desempenho das consultas e desperdiçará espaço de armazenamento.
ao apresentar a solução conjunta de bytehouse, lianshan cloud e juju engine, a empresa de publicidade e marketing construiu um conjunto de soluções universais para a indústria de curtas-metragens com "sincronização em tempo real com um clique, arquitetura minimalista e tecnologia de baixo limite " para melhorar a eficiência do processamento de dados publicitários. e roi de investimento.
na verdade, por meio de índices de vários níveis, como índice de chave de classificação, otimização de chave de partição, índice de salto, etc., a bytehouse reduz efetivamente a quantidade de dados verificados durante consultas de publicidade e marketing, mesmo com dezenas de milhões de consultas por dia, o. a pontualidade do retorno dos dados também pode ser melhorada. a garantia está no segundo nível, que é 5 vezes maior do que antes. na estratégia de isolamento de grupo de computação, a bytehouse constrói recursos de computação independentes para leitura e gravação de dados em cenários de publicidade e marketing. por meio do mecanismo flexível de distribuição sql, ele pode suportar consultas de alta simultaneidade de mais de 2.000 qps.
segundo relatos, a bytehouse também alcançou cooperação profunda com muitas empresas do setor, como china sismological network center, lilith games, geeknet technology, etc., contando com uma nova geração de arquitetura nativa da nuvem, operação e manutenção eficientes e convenientes modelos , e de alto desempenho e mais flexível a capacidade de consulta em tempo real estabeleceu uma base sólida para as empresas aproveitarem as oportunidades digitais e promoverem a transformação digital e a atualização das empresas.
