소식

데이터 거버넌스, 이제 고정관념을 깨뜨릴 때다

2024-09-23

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

데이터 거버넌스의 임계값을 낮추고 기업이 데이터 자산을 효과적으로 활용할 수 있는 임계값을 낮추며 기업의 데이터 소비를 더욱 편리하게 만듭니다.

글 | 쉬신유용‍‍‍

편집자|저우 루핑‍‍‍

과거에는 데이터 미들 오피스가 몇 가지 어려움과 오해에 직면했습니다. 매번 수백만 달러를 투자한 데이터 센터는 한때 비싸고 무겁다는 인상을 남겼습니다.높은 건설 비용, 데이터의 양이 적은 중소기업에게는 걸림돌이 되었지만, 동시에 이들 기업은 데이터 구축 및 관리에 대한 수요가 높습니다.

더 큰 문제는 급속한 기술진화로 인해엔터프라이즈 데이터 거버넌스 프레임워크의 확장성은 새로운 과제를 제기합니다.. gartner 보고서는 2028년까지 2023년 이전에 구축된 중국의 데이터 분석 및 ai 플랫폼 중 50%도 생태계와의 분리로 인해 쓸모 없게 될 것이라고 지적했습니다. 데이터 구축 분야는 혁명을 요구하고 있습니다.

최근 alibaba group의 부사장이자 lingyang의 ceo인 peng xinyu는 컴퓨팅 컨퍼런스에서 열린 lingyang data×ai 특별 포럼에서 기업이 ai 시대를 수용하기 위해서는 시나리오 해체와 비즈니스 재구성을 완료해야 한다고 지적했습니다. 안에,데이터 인프라 분야에서도 재구성의 물결이 일어나고 있습니다.

업계 내 높은 비용과 데이터 거버넌스 확장의 어려움 등 구축 문제에 대응해 데이터핀 제품이 전면 업그레이드됐다. 새로 출시된 애자일 버전은 기업 데이터의 양이 많지 않은 시나리오의 문제를 해결하는 데 사용된다. dataphin은 데이터 아키텍처 시스템을 발전시키고 확장할 수 있으며, 기업 데이터 거버넌스를 위한 개발 공간을 확보하고, 대규모 모델을 기반으로 구축된 dataagent는 기업이 데이터 자산을 효과적으로 활용할 수 있도록 편의성을 제공합니다.

01

이제 데이터 거버넌스는

아마도 가장 잘 알려진 데이터 구축 및 거버넌스 개념은 데이터 중간 플랫폼일 것입니다.

몇 년 전, 빅데이터 열풍이 전 세계를 휩쓸면서 각계각층의 선구적인 기업들은 기업 데이터의 가치 탐구에 큰 중요성을 부여했습니다. 2017년에는 the economist도 표지 기사에서 다음과 같이 언급했습니다.데이터가 세계에서 가장 귀중한 자원으로 석유를 대체했습니다.

당시 기업 내 데이터 사일로를 허물고 기업 내부 데이터를 중앙에서 관리하고 처리하는 것의 중요성을 가장 먼저 깨달은 것은 많은 양의 데이터를 축적해 온 선구적인 기업들이었다. '데이터 미들 플랫폼'이라는 개념. "가 이때 등장했고 알리바바는 데이터 중간 플랫폼 역할을 했다. 개념 제안자는 기업 내 데이터센터 구축과 기업에 제품과 서비스 제공에도 앞장섰다. 전통 산업의 선두 기업 그룹도 데이터 미들 플랫폼 구축을 전략적 배치와 적극적인 변화 추구의 관점에서 대규모 내부 데이터 자산을 통합하고 데이터의 가치를 최대한 활용하기 위한 중요한 출발점으로 간주합니다.

또한 초기 진입자 데이터의 복잡성과 규모가 크기 때문에 데이터 관리 및 구축에 막대한 투자가 이루어지며 구축 주기도 상대적으로 길다. 예를 들어, 업계 관계자는 데이터센터에 대한 투자 규모가 크고, 그 효과를 정량화하기 어렵고, 평균 규모의 기업에서는 구현하기 어렵다고 지적한 바 있다.

올해 가트너는 '중국 데이터 분석 및 인공지능 성숙주기' 보고서에서 '데이터 중간 플랫폼' 개념을 점차 시대에 뒤떨어지는 기술 개발 범위로 꼽았다.

그러나 업계 베테랑들은 '데이터 미들 플랫폼'이 제품과 도구 수준에서만 이해될 수 없고, '데이터 미들 플랫폼'의 가치도 개념의 인기만으로 볼 수 없다고 믿습니다.

데이터 미들 플랫폼은 컨셉이자 모델이는 기업의 경우 데이터 자산이 기업 자산의 중요한 부분임을 의미합니다. 이 중요한 자산의 경우 기업에는 데이터를 통합하고 정리, 처리 및 관리를 통합하여 사용하기 쉬운 데이터 자산을 형성하는 방법이 필요합니다. "라고 윗 분이 말씀하셨어요.

gartner는 또한 보고서에서 현재의 기술 흐름 하에서 데이터 통합, 메타데이터 관리, 데이터 품질 등 기술 역량 구축과 관련된 "데이터 인프라"가 급속한 성장의 시기에 있을 것이라고 언급했습니다. ai. 애플리케이션을 위한 재사용 가능한 기반입니다.'데이터 미들 플랫폼'으로 대표되는 개념은 여전히 ​​업계의 발전을 주도하고 있으며, 기술 수준 역시 계속해서 빠르게 발전하고 있습니다.

게다가,국가 정책 차원에서 데이터 요소의 시장화 촉진, 또한 기업이 보다 포괄적인 데이터 거버넌스 및 애플리케이션 기능 구축을 가속화할 수 있도록 지원합니다.

올해 1월 1일, "기업 데이터 자원과 관련된 회계 처리에 관한 잠정 규정"(이하 "임시 규정"이라 함)이 공식적으로 시행되었습니다. 상장 기업의 데이터 자원은 새로운 회계로 대차대조표에 나열됩니다. 계정을 구성하고 주주 지분의 일부를 구성합니다. 중국증권저널(china securities journal) 통계에 따르면 올해 8월 31일 현재 39개 상장기업이 테이블 데이터 입력과 관련된 정보를 공개했는데, 그 금액은 13억5700만 위안에 달한다. 많은 기업에서 글로벌 데이터 거버넌스를 달성하고 데이터 자산을 구축하는 방법은 필수 답변이 되었습니다.

업계에서는 이들 선도 기업이 데이터 자산을 주도할 수 있는 이유가 데이터 거버넌스를 장기적이고 지속적으로 강조하는 것과 떼려야 뗄 수 없다는 데 공감한다.

거시적 정책과 기술의 물결에 힘입어 데이터 기반 비즈니스 개발 개념이 점점 대중화되고 있으며, 점점 더 많은 기업이 데이터 거버넌스 플랫폼과 데이터 자산 구축의 중요성을 깨닫고 있습니다.

이러한 흐름 속에서 중소기업의 요구 사항은 과소평가될 수 없습니다. 예를 들어, lingyang의 부사장인 wang sai는 다음과 같이 말했습니다.중소기업에는 데이터 거버넌스 및 데이터 자산 구축에 대한 강력한 요구가 있습니다.. "기업의 데이터 양은 선도 기업에 비해 그리 많지는 않지만 복잡하고 다양합니다. 이러한 기업은 이 데이터를 어느 정도 가볍게 관리해야 합니다."

그러나 이들 기업은 데이터 거버넌스 여정에서 많은 문제에 직면해 있습니다. "중소기업은 빅데이터 관련 인재 보유량이 부족할 수 있고, 데이터 거버넌스 분야에 투자할 예산도 많지 않습니다." 데이터 거버넌스.

이러한 문제점을 바탕으로 lingyang은 alibaba의 내부 데이터 거버넌스 경험과 외부 대기업 고객에게 서비스를 제공하기 위해 만들어진 지능형 데이터 구축 및 거버넌스 플랫폼인 dataphin을 기반으로 경량 전환을 수행하고 dataphin agile 버전을 출시했습니다.

존재하다새로 출시된 dataphin agile 버전에서는 제품 아키텍처가 더욱 가벼워져 중소기업이 더 저렴한 비용으로 데이터 거버넌스를 시작할 수 있습니다.. 운영자에 대한 요구 사항을 예로 들면, dataphin의 민첩한 버전은 관계형 데이터베이스와 호환됩니다. 기업 데이터 관리 인재는 최신 빅 데이터 기술을 마스터할 필요가 없습니다. 운영 및 유지 관리 비용도 매우 작아 데이터 거버넌스에 대한 인재 기준이 높아졌습니다.

“회사에 필요한 최소한의 투자는세 가지 하드웨어 장치, 투자는 단지20만~30만 위안dataphin agile 버전을 기반으로 데이터 거버넌스 작업을 시작할 수 있습니다. "lingyang 데이터 시스템 제품 라인의 총책임자인 dong fangying은 digital intelligence frontline과의 인터뷰에서 이렇게 말했습니다. 이는 또한 강력한 기능과 복잡한 아키텍처를 갖춘 이전 dataphin 버전과 비교할 때 이제 대부분의 중소기업이 선택의 여지가 하나 더 있다는 것을 의미합니다. .

02

데이터 거버넌스, 현재와 장기적 균형을 맞추는 방법

데이터의 양이 적은 기업이 데이터 거버넌스 작업을 시작할 때 '비즈니스가 발전하고 데이터의 양이 방대해지면 새로운 시스템을 교체해야 하는가?'라는 질문을 고려할 것입니다. 향후 데이터 거버넌스에 문제가 남을까요?

예를 들어, 국내의 한 선도적인 소매업체가"성장통". 광범위한 사업구조로 인해기업의 데이터 요구 사항은 매우 복잡해지고 처리하기 어려워졌습니다.

이전에는 실제 비즈니스 요구에 따라 다양한 기능을 갖춘 많은 비즈니스 애플리케이션 시스템을 구축했습니다. 그러나 기업이 여러 브랜드와 채널을 개발할수록 데이터의 양은 엄청나게 많아집니다. 동시에 다양한 시스템에는 다양한 비즈니스 데이터를 위한 수십 개의 독립적인 데이터 굴뚝이 있습니다. 또한 비즈니스 라인마다 데이터 정의가 다르기 때문에 데이터 거버넌스가 매우 어렵습니다.

이러한 상황이 발생하는 이유는 기업의 장기적인 데이터 거버넌스 관점이 부족하기 때문입니다. 이전 데이터 아키텍처는 격리된 비즈니스 요구 사항을 기반으로 했습니다. 이 회사의 데이터 담당자도데이터센터 구축을 장기적인 과제로 여기세요이를 위해 향후 3~5년 동안 기업의 데이터센터를 구축하겠다는 계획도 세웠다.

우연히도 다른 소비자 금융 회사의 데이터 관리자도 데이터 거버넌스의 구성 아이디어가 변경되어야 한다고 지적했습니다. "이전에는 어떤 데이터가 생성되는지, 어떤 비즈니스 프로세스를 디지털화할 수 있는지, 데이터 규정 준수 문제에 더 중점을 두었습니다." , 그는 향후 5년 동안 기업 데이터의 양이 증가함에 따라 전통적인 데이터 웨어하우스 구축 아이디어가 더 이상 데이터 저장, 관리 및 사용에 대한 기업의 요구를 지원할 수 없다는 것을 발견했습니다.

이는 데이터 거버넌스 분야에서 많은 기업이 직면한 공통적인 문제이기도 합니다.데이터 아키텍처는 미래에 점점 더 복잡해지는 데이터 거버넌스 요구 사항을 충족하기 위해 향후 개발을 위한 공간을 어떻게 확보합니까?

업계의 이러한 공통적인 문제점을 기반으로 lingyang의 dataphin 제품은 데이터 시스템의 새로운 아키텍처를 혁신적으로 출시했습니다. 이 아키텍처 중 하나핵심 기능은 확장성과 진화입니다.

쉽게 말하면 중소기업은 각자의 고려 사항에 따라 초기 단계에서 가볍고 저렴한 dataphin agile 버전 제품을 선택할 수 있습니다. 기업의 규모가 커지면서 기업은기본 컴퓨팅 엔진은 자유롭게 확장, 업그레이드 및 원활하게 발전할 수 있습니다., 미래의 데이터 거버넌스 요구 사항과 기업 비즈니스 개발 요구 사항을 충족합니다. 이는 dataphin agile 버전과 기본 버전 간에 동일한 기본 아키텍처를 사용하기 때문입니다.

이것기업 데이터가 확장됨에 따라 더욱 복잡한 데이터 거버넌스 요구 사항을 충족하는 데 도움이 됩니다.. agile 버전에서 dataphin 지능형 r&d 버전으로 업그레이드한 후 기본 데이터베이스는 관계형에서 대화형 및 mpp 데이터베이스(예: starrocks, clickhouse, hologres, lindorm, impala 및 더 강력한 분석 기능과 강력한 컴퓨팅 성능을 갖춘 기타 데이터베이스)로 확장될 수 있습니다. , 이를 통해 보다 다차원적인 데이터 스케줄링, 운영 및 유지 관리 및 기타 관리 작업을 지원합니다.

기업의 규모가 더욱 확장됨에 따라 기업의 기본 데이터 지원은 빅데이터 엔진으로 더욱 업그레이드될 수 있으며, 호수와 창고의 통합을 지원하도록 확장될 수도 있습니다. wang sai는 "소규모, 중간 규모, 대규모 모두 기업이 원활하게 업그레이드하는 데 도움이 될 수 있는 일련의 배포 구조를 갖고 있습니다."라고 말했습니다.

이는 기업 데이터 거버넌스의 장기적인 개발 특성을 고려하며, 기업은 자체 데이터 규모 및 거버넌스 요구 사항에 따라 적절한 제품을 자유롭게 선택할 수 있습니다.

또한 데이터 거버넌스 및 운영 분야에서 기업은 peng xinyu가 정의한 또 다른 주요 문제에 직면해 있습니다.개인화와 비용 효율성 사이의 갈등. 대기업은 자체 비즈니스 요구 사항에 따라 민영화된 배포를 추구하는 경우가 많지만 이는 비용이 더 높다는 의미이기도 합니다. 표준화된 클라우드 제품은 확실히 저렴하지만 구성을 개인화하는 기능도 상실합니다.

이 문제에 대한 dataphin의 솔루션은 다음과 같습니다.전통적인 퍼블릭 클라우드 테넌트 모델과 민영화된 배포 외에도 기업에 "반관리형" 모델을 제공합니다., 독점적으로 제어 가능한 환경을 누릴 수 있을 뿐만 아니라 퍼블릭 클라우드의 탄력적인 스케줄링도 누릴 수 있습니다.

예를 들어, 일부 그룹 기업은 비즈니스 모듈이나 하위 비즈니스에 따라 데이터 처리 요구 사항이 다릅니다. 일부 금융 및 회원 데이터는 로컬 계산이 필요한 반면, 보안 민감도가 낮은 데이터는 클라우드에 업로드하여 클라우드 비즈니스 및 데이터 처리와 연계할 수 있습니다.

이러한 유형의 기업은 공용 클라우드 모델의 "아파트 임대" 서비스와 독립적인 물리적 배포의 "빌라 구축" 서비스와 비교하여 준관리형 모델에 적합합니다."빌라를 빌려주세요"이는 데이터 처리 능력을 향상시키고 개인화된 맞춤화 요구를 원하는 기업의 요구를 충족할 수 있을 뿐만 아니라 동시에 경제성도 고려할 수 있습니다.

일반적으로 데이터 거버넌스 및 데이터 운영 분야에서 dataphin은 alibaba group의 데이터 거버넌스 분야에서 다년간의 체계적인 구축 경험을 기반으로 다양한 규모의 대기업, 중소 기업에 여러 유형의 엔진을 포괄하고 상황에 적응하는 솔루션을 제공합니다. 다양한 환경 요구 사항. 확장 가능하고 확장 가능한 제품.

데이터 거버넌스 분야에서 기업은 주문형 조달 및 무료 업그레이드의 새로운 단계를 열고 있습니다.

03

ai 시대, 데이터를 정말 유용하게 만드는 방법

dong fangying은 많은 데이터 거버넌스 플랫폼 프로젝트를 보았고 상대방이 순수 it 팀이라면 패턴을 발견했습니다.데이터 자산 운영 개념 없음, 그러한 프로젝트의 성공률은 그다지 높지 않은 경우가 많습니다.

데이터를 데이터베이스에만 저장한다면 비용과 부담만 커질 뿐입니다."우리 뼈에 새겨진 생각은 데이터가 구축된 후에는 데이터를 사용해야 한다는 것입니다." dong fangying은 digital intelligence frontline에 말했습니다. 따라서 lingyang은 데이터를 종합하는 것뿐만 아니라 데이터를 더 잘 활용하는 것만으로는 자산 운영을 매우 중요하게 생각합니다.

기업이 데이터를 잘 활용하기 위해서는 큰 격차가 있습니다. dong fangying은 표면적으로는 회사에 데이터가 있고 비즈니스에 문제가 있다는 사실을 발견했습니다. 두 가지를 일치시키면 문제가 해결되지만 두 가지를 연결하는 방법은 큰 문제에 직면했습니다.

비즈니스맨의 경우,비즈니스를 이해하는 것과 데이터를 이해하는 것은 다른 것입니다.. 많은 경우 비즈니스 담당자는 데이터 사고력이 부족하고 여전히 데이터 수집을 위해 데이터 전문가에게 의존해야 하며, 이로 인해 많은 의사소통 및 시간 비용이 발생합니다.

데이터를 획득하는 특정 프로세스에서 데이터 팀도 큰 압박을 받고 있습니다. 그들은 데이터가 어디에 있는지, 그것이 무엇을 의미하는지, 어떻게 사용해야 하는지, 어디에 사용해야 하는지에 대해 많은 문의를 받는 경우가 많습니다. 게다가 방대한 데이터 자산 중에서 원하는 데이터를 찾는 것도 쉽지 않습니다.

이는 기업의 데이터 요구 사항이 챗봇을 통해 특정 데이터 결과를 얻는 것뿐만 아니라비즈니스 요구사항에 따라 내부 데이터 자산을 찾아 활용해야 할 필요성. dong fangying은 고객으로부터 자주 질문을 받는 경우를 언급했습니다. 회사의 비즈니스 기회 전환율이 낮다면 어떤 종류의 데이터가 문제를 해결할 수 있습니까?

문제 해결의 핵심은 비즈니스 프로세스에 있습니다. 먼저 비즈니스로 돌아가 문제에 어떤 사람과 조직이 관련되어 있는지, 어떤 프로세스가 관련되어 있는지 알아보세요. 그래야만 사용자에게 가치 있는 지침을 제공할 수 있습니다. 데이터를 기반으로 데이터 결과를 반환합니다.

이 pain point부터 시작하여,올해 ling yang은 업계 최초의 데이터 자산 인텔리전스 에이전트인 dataphin·dataagent를 출시했습니다., 대형 모델 지원으로 사용자는 자신만의 agent를 커스터마이징할 수 있으며, 실무자는 보다 편리하게 구현할 수 있습니다.질문부터 아이디어, 데이터, 활용까지 풀링크 셀프서비스 운영.