notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

reduza o limite de governança de dados, reduza o limite para que as empresas façam bom uso dos ativos de dados e torne o consumo de dados corporativos mais conveniente.

texto｜xu xin youyong‍‍‍

editor｜zhou luping‍‍‍

no passado, os middle offices de dados enfrentaram alguns desafios e mal-entendidos. com milhões de dólares investidos a cada passo, o data center já deixou a impressão de que era caro e pesado.altos custos de construção, tornou-se um obstáculo para as pequenas e médias empresas com pequenas quantidades de dados, mas, ao mesmo tempo, estas empresas têm uma forte procura de construção e gestão de dados.

o maior problema é que a rápida evolução tecnológicaa escalabilidade das estruturas de governança de dados empresariais levanta novos desafios. um relatório do gartner apontou que, até 2028, 50% das plataformas de análise de dados e ia da china construídas antes de 2023 também estarão obsoletas devido à dissociação do ecossistema. o campo da construção de dados clama por uma revolução.

recentemente, peng xinyu, vice-presidente do grupo alibaba e ceo da lingyang, destacou no fórum especial lingyang data×ai na computing conference que as empresas precisam concluir a desconstrução de cenários e a reconstrução de negócios para abraçar a era da ia. em,o domínio da infra-estrutura de dados também está a dar início a uma onda de reconstrução.。

em resposta a problemas de construção como alto custo e dificuldade de expansão da governança de dados na indústria, o produto dataphin foi totalmente atualizado. a versão ágil recém-lançada é utilizada para resolver o problema de cenários onde a quantidade de dados corporativos não é grande. mas os dados precisam ser construídos. o dataphin pode evoluir e expandir o sistema de arquitetura de dados. ele reserva espaço de desenvolvimento para governança de dados corporativos, e o dataagent construído com base em grandes modelos oferece conveniência para as empresas fazerem bom uso dos ativos de dados.

01

a governança de dados agora é

talvez o conceito mais conhecido de construção e governança de dados seja a plataforma intermediária de dados.

há alguns anos, a onda do big data varreu o mundo e empresas pioneiras em todas as esferas da vida atribuíram grande importância à exploração do valor dos dados corporativos. em 2017, the economist também mencionou num artigo de capa,os dados substituíram o petróleo como o recurso mais valioso do mundo。

naquela época, um grupo de empresas pioneiras que acumularam uma grande quantidade de dados foi o primeiro a perceber a importância de quebrar silos de dados dentro da empresa e gerenciar e processar centralmente os dados internos em uma empresa. " surgiu nesta época, e o alibaba serviu como plataforma intermediária de dados. o proponente do conceito também assumiu a liderança na construção de um data center dentro da empresa e no fornecimento de produtos e serviços para a empresa. um grupo de empresas líderes em indústrias tradicionais também considera a construção de plataformas intermediárias de dados como um importante ponto de partida para a integração de enormes ativos de dados internos e para dar pleno uso ao valor dos dados na perspectiva do layout estratégico e da busca ativa pela mudança.

também devido à elevada complexidade e grande escala dos dados dos primeiros participantes, são feitos enormes investimentos na gestão e construção de dados, e o ciclo de construção também é relativamente longo. isto causou alguma controvérsia na indústria. por exemplo, um membro da indústria observou certa vez que o data center tem um grande investimento, os efeitos são difíceis de quantificar e é difícil implementá-lo em empresas de tamanho médio.

este ano, o gartner listou o conceito de "plataforma intermediária de dados" como uma faixa de desenvolvimento de tecnologia gradualmente desatualizada no relatório "ciclo de maturidade de análise de dados e inteligência artificial da china".

no entanto, os veteranos da indústria acreditam que a "plataforma intermediária de dados" não pode ser entendida apenas a partir do nível de produtos e ferramentas, nem o valor da "plataforma intermediária de dados" pode ser visto apenas a partir da popularidade do conceito.

“plataforma intermediária de dados é um conceito e modelo, o que significa que, para uma empresa, os ativos de dados são uma parte importante dos ativos da empresa. para este importante ativo, as empresas precisam de uma forma de integrar dados e unificar a limpeza, o processamento e o gerenciamento para formar ativos de dados que sejam fáceis de usar. “a pessoa acima mencionada disse.

o gartner também mencionou no relatório que, sob a atual onda tecnológica, a "infraestrutura de dados" relacionada à construção de capacidades técnicas, como integração de dados, gerenciamento de metadados e qualidade de dados, estará em um período de rápido crescimento. ai. uma base reutilizável para sua aplicação.o conceito representado por "plataforma intermediária de dados" ainda lidera o desenvolvimento da indústria, e o nível de tecnologia também continua a evoluir rapidamente.。

além disso,promover a mercantilização de elementos de dados a nível político nacional, também está permitindo que as empresas acelerem a construção de governança de dados e capacidades de aplicação mais abrangentes.

em 1º de janeiro deste ano, as "disposições provisórias sobre tratamento contábil relacionado aos recursos de dados empresariais" (doravante denominadas "disposições provisórias") foram oficialmente implementadas. os recursos de dados das empresas listadas são listados no balanço como uma nova contabilidade. conta e fazem parte do patrimônio líquido. de acordo com estatísticas do china securities journal, até 31 de agosto deste ano, 39 empresas cotadas divulgaram informações relacionadas com a entrada de dados nas suas tabelas, num montante total de 1,357 mil milhões de yuans. para muitas empresas, como alcançar a governação global de dados e construir activos de dados tornou-se até uma questão de resposta obrigatória.

o consenso na indústria é que a razão pela qual estas empresas líderes podem assumir a liderança na colocação de activos de dados na mesa é inseparável da sua ênfase contínua e de longo prazo na governação de dados.

impulsionado por macropolíticas e pela onda tecnológica, o conceito de desenvolvimento empresarial baseado em dados tornou-se cada vez mais popular e cada vez mais empresas perceberam a importância das plataformas de governação de dados e da construção de activos de dados.

nesta vaga, as necessidades das pequenas e médias empresas não podem ser subestimadas. por exemplo, wang sai, vice-presidente da lingyang, viu que,as pequenas e médias empresas têm grandes necessidades de governança de dados e construção de ativos de dados. "a quantidade de dados das empresas pode não ser muito grande em comparação com a das empresas líderes, mas é complexa e diversificada. estas empresas precisam de fazer uma gestão leve destes dados."

no entanto, estas empresas enfrentam muitos problemas no seu percurso de governação de dados. "as pequenas e médias empresas podem não ter reservas de talentos suficientes relacionadas com big data e não têm muito orçamento para investir no domínio da governação de dados." governança de dados.

com base nesses pontos problemáticos, lingyang realizou uma transformação leve com base na experiência interna de governança de dados do alibaba e no dataphin, uma plataforma inteligente de construção e governança de dados criada para atender clientes externos de grandes empresas, e lançou a versão ágil do dataphin.

existirna versão ágil do dataphin recém-lançada, a arquitetura do produto tornou-se mais leve, o que pode ajudar pequenas e médias empresas a iniciar a governança de dados a um custo menor.. tomemos como exemplo os requisitos para operadores. a versão ágil do dataphin é compatível com bancos de dados relacionais. os talentos de gerenciamento de dados corporativos não precisam dominar a tecnologia de ponta de big data. eles só precisam dominar o sql para operar. a operação e a manutenção também são muito pequenas, o que reduz bastante. o limite de talentos para governança de dados foi aumentado.

“o mínimo que uma empresa precisa é investirtrês dispositivos de hardware, o investimento é apenasduzentos a trezentos mil yuansvocê pode iniciar o trabalho de governança de dados com base na versão ágil do dataphin. "dong fangying, gerente geral da linha de produtos de sistema de dados lingyang, disse à digital intelligence frontline. isso também significa que, em comparação com a versão anterior do dataphin com funções poderosas e arquitetura complexa, a maioria das pequenas e médias empresas agora tem mais uma escolha .

02

governança de dados, como equilibrar o atual e o longo prazo

quando as empresas com uma pequena quantidade de dados iniciam o trabalho de governação de dados, irão considerar uma questão: à medida que o negócio se desenvolve e a quantidade de dados se torna enorme, será necessário substituir um novo sistema? isso deixará problemas para a governança de dados futura?

por exemplo, uma empresa líder no varejo nacional encontrou"dores de crescimento". devido ao seu extenso layout comercial,as necessidades de dados empresariais tornaram-se extremamente complexas e difíceis de processar。

anteriormente, eles construíram muitos sistemas de aplicativos de negócios com funções diferentes com base nas necessidades reais do negócio. no entanto, à medida que as empresas desenvolvem múltiplas marcas e múltiplos canais, a quantidade de dados torna-se extremamente grande. ao mesmo tempo, existem dezenas de chaminés de dados independentes para diferentes dados empresariais em diferentes sistemas. além disso, diferentes linhas de negócio têm diferentes definições de dados, tornando a governação de dados extremamente difícil.

a razão para esta situação está relacionada com a falta de uma perspectiva de governação de dados a longo prazo nas empresas. as arquitecturas de dados anteriores baseavam-se em necessidades empresariais isoladas. o responsável pelos dados desta empresa tambémtrate a construção do data center como uma tarefa de longo prazo, para esse fim, eles também formaram um plano para os próximos três a cinco anos para construir o data center da empresa.

coincidentemente, o gestor de dados de outra empresa de financiamento ao consumo também notou que as ideias de construção da governação de dados precisam de mudar “anteriormente, era dada mais ênfase aos dados que eram gerados, aos processos de negócio que podem ser digitalizados e às questões de conformidade dos dados”. , ele descobriu que, olhando para os próximos cinco anos, à medida que a quantidade de dados corporativos aumenta, a ideia tradicional de construção de data warehouse não pode mais atender às necessidades empresariais de armazenamento, gerenciamento e uso de dados.

este também é um problema comum enfrentado por muitas empresas na governança de dados——como é que a arquitetura de dados reserva espaço para o desenvolvimento futuro, a fim de satisfazer necessidades cada vez mais complexas de governação de dados no futuro?

com base nesse ponto problemático comum na indústria, o produto dataphin da lingyang lançou de forma inovadora uma nova arquitetura do sistema de dados. uma desta arquiteturaos principais recursos são escalabilidade e evolução。

simplificando, as pequenas empresas podem escolher o produto leve e de baixo custo da versão ágil do dataphin em um estágio inicial com base em suas próprias considerações. à medida que a escala da empresa se expande, a empresao mecanismo de computação subjacente pode ser expandido, atualizado livremente e evoluído sem problemas., para atender às necessidades futuras de governança de dados e às necessidades de desenvolvimento de negócios empresariais. isso se deve ao uso da mesma arquitetura subjacente entre a versão ágil do dataphin e a versão nativa.

esseajuda a atender às necessidades mais complexas de governança de dados à medida que os dados corporativos se expandem. após a atualização da versão ágil para a versão inteligente de p&d do dataphin, o banco de dados subjacente pode ser expandido de bancos de dados relacionais para interativos e mpp, como starrocks, clickhouse, hologres, lindorm, impala e outros bancos de dados com capacidades analíticas mais fortes e poder de computação mais forte. , apoiando assim agendamento de dados mais dimensionais, operação e manutenção e outras tarefas de gerenciamento.

à medida que a escala da empresa se expande ainda mais, o suporte de dados subjacente da empresa pode ser atualizado para um mecanismo de big data e pode até ser expandido para apoiar a integração de lagos e armazéns. "pequenos, médios e grandes, estamos todos sob um conjunto de estruturas de implantação, que podem ajudar as empresas a atualizarem-se sem problemas."

isto tem em conta as características de desenvolvimento a longo prazo da governação de dados empresariais, e as empresas podem escolher livremente produtos apropriados com base na sua própria escala de dados e requisitos de governação.

além disso, no domínio da governação e operações de dados, as empresas também enfrentam outro grande problema, que peng xinyu define comoo conflito entre personalização e custo-benefício. as grandes empresas procuram frequentemente uma implantação privatizada com base nas suas próprias necessidades empresariais, mas isso também significa custos mais elevados. os produtos de nuvem padronizados são obviamente mais baratos, mas também perdem a capacidade de personalizar configurações.

em resposta a este problema, a solução da dataphin é:além do modelo tradicional de locatário de nuvem pública e da implantação privatizada, oferece às empresas um modelo “semigerenciado”., você pode não apenas desfrutar de um ambiente controlável exclusivo, mas também do agendamento elástico da nuvem pública.

por exemplo, algumas empresas do grupo têm diferentes requisitos de processamento de dados para diferentes módulos ou subnegócios de negócios. alguns dados financeiros e de associação exigem cálculos locais, enquanto outros dados com baixa sensibilidade de segurança podem ser carregados na nuvem para vinculação com negócios e processamento de dados na nuvem.

este tipo de empreendimento é adequado para o modelo semigerenciado em comparação com o serviço “alugar um apartamento” do modelo de nuvem pública e o serviço “construir uma villa” de implantação física independente, o semigerenciado é semelhante ao."alugue uma vila", que pode não apenas atender às necessidades das empresas que desejam melhorar suas capacidades de processamento de dados e ter necessidades de personalização personalizadas, mas ao mesmo tempo considerar a economia.

de modo geral, no campo de governança e operações de dados, o dataphin se baseia nos anos de experiência sistemática do grupo alibaba em construção sistemática em governança de dados para fornecer a grandes, médias e pequenas empresas de diferentes tamanhos soluções que abrangem vários tipos de motores e se adaptam a um variedade de requisitos ambientais.

no domínio da governação de dados, as empresas estão a inaugurar uma nova fase de compras a pedido e atualizações gratuitas.

03

na era da ia, como tornar os dados realmente úteis

dong fangying viu muitos projetos de plataforma de governança de dados e descobriu um padrão: se a outra parte for uma equipe pura de ti,nenhum conceito de operação de ativos de dados, a taxa de sucesso de tais projetos muitas vezes não é muito elevada.

se os dados forem armazenados apenas em um banco de dados, isso se tornará apenas um custo e um fardo.“a ideia gravada em nossos ossos é que depois que os dados são construídos, os dados devem ser usados.” dong fangying disse à digital intelligence frontline. portanto, lingyang atribui grande importância às operações de ativos. não basta agregar dados, mas também fazer melhor uso dos dados.

para que as empresas façam bom uso dos dados, existe uma enorme lacuna. dong fangying descobriu que, superficialmente, a empresa tinha dados e o negócio tinha problemas. combinar os dois resolveria o problema, mas como conectar os dois enfrentava um grande teste.

para empresários,compreender os negócios e compreender os dados são duas coisas diferentes. muitas vezes, o pessoal empresarial não tem capacidade de pensar em dados e ainda precisa recorrer a especialistas em dados para aquisição de dados, o que acarreta muitos custos de comunicação e de tempo.

no processo específico de obtenção de dados, a equipe de dados também sofre grande pressão. freqüentemente, eles enfrentam muitas dúvidas sobre onde estão os dados, o que significam, como devem ser usados ​​e onde devem ser usados. além disso, não é fácil encontrar os dados desejados entre os enormes ativos de dados.

isto reflete que as necessidades de dados das empresas não são apenas para obter um resultado de dados específico do chatbot, mas também envolvema necessidade de encontrar e usar ativos de dados internos com base nas necessidades do negócio. dong fangying mencionou um exemplo específico. ela frequentemente encontra perguntas dos clientes: a taxa de conversão de oportunidades de negócios da empresa é baixa.

a essência da solução do problema está no processo de negócios. primeiro, volte ao negócio e descubra quais pessoas e organizações estão envolvidas no problema e quais processos estão envolvidos. somente dessa forma será possível fornecer aos usuários uma orientação valiosa. de retornar um resultado de dados com base nos dados.

a partir deste ponto problemático,este ano, ling yang lançou o primeiro agente de inteligência de ativos de dados do setor – dataphin·dataagent., com o suporte de modelos grandes, os usuários podem personalizar seu próprio agente e o pessoal de negócios pode implementá-lo de forma mais convenienteoperação de autoatendimento de link completo, desde perguntas até ideias, dados e uso.