o primeiro padrão nacional para integração de big data em lote e fluxo é lançado oficialmente, com alibaba cloud como unidade líder de elaboração
2024-09-03
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
recentemente, a administração estatal de regulação do mercado e a administração nacional de normalização lançaram oficialmente o primeiro padrão nacional de integração de fluxo de lote na área de big data, gb/t 44216-2024 "requisitos técnicos para computação de fusão de big data batch-stream em tecnologia da informação ". a principal unidade de redação deste padrão é o alibaba. cloud computing co., ltd. será implementado oficialmente em 1º de fevereiro de 2025.
"requisitos técnicos de computação de fusão de lote e fluxo de big data de tecnologia da informação" define claramente a tecnologia de fusão de lote e fluxo, estipulando que o sistema de fusão de lote e fluxo deve ser capaz de suportar modelos de computação em tempo real e offline e deve ter gerenciamento unificado de recursos, estrutura de computação unificada, recursos-chave unificados incluem api, interface sql unificada, gerenciamento unificado de tarefas, gerenciamento unificado de permissões e expansão flexível.
a fusão de fluxo em lote é uma importante tendência tecnológica emergente no campo de big data. com o desenvolvimento da internet, as empresas têm demandas crescentes por cálculos de dados em grande escala em tempo real em muitos cenários, como recomendações de comércio eletrônico, logística de transporte e monitoramento de transações financeiras. o paradigma tradicional de computação em lote não pode atender aos requisitos em termos de. latência. o fluxo de processamento de dados em tempo real será a integração da computação de fórmulas e da computação em lote sob uma estrutura técnica unificada tornou-se o único caminho para a indústria.
apache flink, um mecanismo de computação de código aberto compatível com computação em fluxo e computação em lote, é uma estrela em ascensão na computação de big data. ele permite que os usuários executem processamento em fluxo ou processamento em lote com um conjunto de códigos, economizando muitos custos de desenvolvimento. em 2019, o alibaba adquiriu a empresa-mãe do apache flink, combinado com sua própria prática de cenário de comércio eletrônico, investiu muitos esforços de pesquisa e desenvolvimento para otimizar o produto apache flink, para que pudesse atingir padrões de aplicativos de nível empresarial de alto rendimento , baixa latência, alta disponibilidade e alta precisão, e continuar a fornecer a comunidade global de código aberto contribui e se torna a força líder na promoção da inovação comunitária e tecnológica. atualmente, o apache flink se tornou o padrão de fato para computação de fusão em lote na indústria, alibaba, ant group, bytedance, xiaomi, kuaishou, xiaohongshu, bilibili, didi, china unicom e outras centenas de empresas adotaram o uso do apache flink. para computação em tempo real.
como líder no campo de big data na china, a alibaba cloud iniciou o estabelecimento e compilação de padrões nacionais para tecnologia de computação de fusão de fluxo em lote em 2019 e trabalhou com várias unidades do setor para elaborá-los e melhorá-los. integrando a experiência de construção de versão flink de computação em tempo real do alibaba cloud e as ricas práticas da indústria, o padrão nacional "requisitos técnicos de computação de fusão de big data e lote de tecnologia da informação" promoverá melhor o desenvolvimento tecnológico da computação de fusão de lote e fluxo e orientará lote doméstico e fluxo computação de fusão. projeto, desenvolvimento e implantação de sistemas e ajuda adicional à implementação da tecnologia de fusão de fluxo em lote em vários setores.
entende-se que o alibaba cloud acumulou profunda força técnica na área de big data. alibaba cloud possui recursos técnicos completos que vão desde processamento e análise de big data, armazenamento de dados até serviços de engenharia de ia. seus principais produtos desenvolvidos de forma independente, como maxcompute, dataworks e hologres, podem fornecer o mais alto nível de desempenho de processamento de dados, escalabilidade e desempenho de processamento de dados. estabilidade; ao mesmo tempo, o alibaba cloud contribui ativamente e mantém uma série dos principais projetos de código aberto, incluindo apache flink, apache paimon, etc., fornecendo aos desenvolvedores uma rica seleção de ferramentas e serviços em nuvem totalmente gerenciados.
