内容字号: 默认 大号超大号

段落设置: 段首缩进取消段首缩进

字体设置:切换到微软雅黑切换到宋体

中国移动江勇:提升数据治理效能,数据全生命周期管理扛大旗

2022-09-14 08:56 出处:人气: 评论(

数据全生命周期管理依据不同数据在不同阶段的价值,实施不同的管理策略,用于管理数据在整个生命周期内的流动,根据价值适配存储资源。日前,中国移动信息技术中心大数据平台部副总经理江勇在专访时表示,中国移动结合梧桐大数据平台及应用情况,提出了按照数据域的划分来对数据实施分集群管理的策略,通过科学的管理维护数据全生命周期,深化运维体系改革,降低数据运维成本,提高数据使用率,推进运维智能化转型;在安全合规的前提下,强化数据赋能管理,推进数据资源依法向资产、资本转变。

建立数据全生命周期管理规范 实行分级存储管理

中国移动在依法合规汇聚、融合全域数据的过程中,积累了越来越庞大的数据,这是数字经济时代的“新石油”。作为数字中国、智慧社会建设的主力军,如何更加科学有效地管理和使用数据,利用现有资源实现数据资产价值的最大化,赋能企业和社会数智化转型,对于中国移动来说是一个非常重要的课题。

数据全生命周期管理,是中国移动数据治理的核心领域之一。据悉,中国移动建立了一套完整的数据标准管理体系——数据全生命周期管理规范,该管理规范提出了数据全生命周期管理的中长期规划,通过对数据进行冷热温划分,依托不同性能、不同成本的存储介质,结合东数西算战略布局,来实现数据的分类分级存储管理。冷热温划分的目的,在于控制成本,优化资源配置。冷热温的划分依据主要是数据的访问频次,数据的热度标签之间可进行动态转换。通常情况下,热数据需要具备较好的硬件配置,比如高性能CPU、SSD固态硬盘等;冷温数据可采用中低成本、中性能的介质存储,比如HDD机械硬盘、磁带、光盘等。

同时,梧桐大数据平台依据现阶段具备的技术条件,制定适配各集群的存储周期管理方案,包括各集群的存储周期管理矩阵、数据清理机制及清理策略、数据容灾恢复机制、数据全生命周期流程管理等。此外,基于“通用+定制”原则,建立个性化存储需求的评审管控机制,不适配实际生产的特殊数据可进行存储周期的个性化定制,并对其成本和收益进行评估反馈,辅助管理者进行评审管控以及后续全生命周期管理方案的迭代优化。

在数据的全生命周期管理过程中,不同阶段的数据,对于其查询使用性能、存储周期的要求不同。那么,中国移动梧桐大数据平台如何对这些不同阶段的数据进行管理?

据江勇介绍,梧桐大数据平台对依法合规汇聚的数据,打造了横向分层+纵向分域的数据管理体系。

数据横向分层,旨在实现清晰掌控数据结构及其流向,满足不同场景的数据使用需求。数据分层架构的价值在于:一是各层级规范化、作用域明确,数据使用更易定位;二是复杂问题拆解为多个步骤逐层加工,各层处理特定问题,简化逻辑方便维护;三是分层数据血缘清晰,通过上下游信息,快速准确定位问题并梳理影响范围;四是数据逐层加工,共有逻辑沉淀至中间层,减少重复计算和数据冗余,降低企业的存储和计算成本;五是分层实现业务逻辑拆解解耦,屏蔽上层应用对源业务变化的感知,降低依赖,提高数据的健壮性及迭代效率。

数据纵向分域,是站在业务系统、分析对象、部门等角度对数据进行细分、归纳,抽象出主题,企业最终围绕主题域进行数据建设。

梧桐大数据平台的数据架构体系,自下而上是:基础数据层、轻度汇总层、融合视图层、业务应用层。

基础数据层存储清洗后的贴源数据,数据结构与源端系统基本保持一致,数据颗粒度最细,信息量最大,但数据处理成本高,数据应用使用效率低。

汇总层存储分主题分维度的轻度聚合数据,以需求应用为建模驱动,做较细粒度的降维处理,数据存储量相较基础层有所降低,数据使用效率提升,可灵活支撑运营分析场景。

融合视图层存储重度聚合的统一业务视图数据,可跨域融合建设。

业务应用层存储需求和应用所需的查询展示数据,一般为报表指标级数据。

梧桐大数据平台的数据,在依法合规逐层加工萃取的过程中,资产价值度逐层递增,存储规模逐层递减,存储周期逐层扩展。

除了对各阶段数据设定不同的存储周期外,也会采取不同的管理手段。比如:逐层加强对数据的监控稽核,提升数据质量;加大对高价值萃取后模型的依法合规开放共享,提升数据复用度,助力数据资产价值转化;加强对底层数据的多维数据建设及治理,从源头提升整体数据体系的质量及复用度。

BOMS域数据深度融合 打造纵深横阔的数据资产体系

梧桐大数据平台持续依法合规汇聚BOMS四域数据,BOMS分别是运营商的业务域、网络域、管理域、增值域。

中国移动打造建设了丰富的BOMS垂类模型体系,因各域数据特性及服务场景的不同,模型的构建思路存在差异。

BMS三域模型,站在逐层加工萃取的角度,构建的模型主要分为2类:

1.垂类主题模型:即按照主题或业务划分,基于使用需求场景,逐层聚合汇总,形成特定主题或业务的数据模型。

2.横向融合模型:即融合同一主体在不同业务域的数据,依法打造全方位的主体画像模型。

分享给小伙伴们:

更多文章

相关文章