内容字号: 默认 大号超大号

段落设置: 段首缩进取消段首缩进

字体设置:切换到微软雅黑切换到宋体

企业可以不要大数据,但必须要有“数据中台”

2019-10-21 02:55 出处:人气: 评论(

2015年,马云拜访名为Supercell的芬兰游戏公司,虽然这家公司仅有180人,但是他们开发新游戏的速度特别快,公司旗下游戏DAU已经突破1亿。2016年,腾讯以86亿美元收购了其84%的股权,这不仅是腾讯历史上,也是近年全球手机游戏行业最大金额的并购。这家“小公司”为什么这么牛逼?因为他们把游戏需要的通用数据、素材都放在一起供大家使用,实现了业务互通,大大提高了每个团队的效率。不久之后,阿里就成立了数据中台的团队,随后国内的公司也都纷纷效仿,开始架构属于自己的数据中台。

什么是数据中台:

基于那次拜访产生的灵感,阿里提出了“大中台,小前台”的概念,即将业务数据化,数据业务化,真正实现数据和业务进行打通。阿里数据技术和产品部门的负责人曾说过:“很多人会把数据比作石油,马云也说过,阿里巴巴要成为全球电子商务的水电煤。我们现在搭建的数据中台,就是希望扮演发电厂的角色。”

数据中台绝对不等于数据平台,差别之一就在于是否具有业务属性,这也是数据中台出现的一个非常重要的原因,它可以支撑多个前台业务,使得数据不再是各前端业务独立管理,真正实现不同业务之间的互通互融。

我就曾经参加过的一个项目给大家讲讲数据中台包含那些东西。

r2i6jif

1.数据采集

为数据中台提供汇集数据的能力,应提供统一的数据获取接入方式,数据来源包括内部数据和外部数据,数据类型应支持结构化和非结构化数据采集。传统的ETL工具仍然可以复用,实现数据采集、转换、加载等关键处理过程。

2.数据计算

为数据中台提供统一的大数据计算能力,针对不同大数据处理场景,所需提供的数据计算能力也不同,一般主要包括批量离线计算、内存计算、在线流式计算等,可用到的技术有数据挖掘,大数据分析,云计算等。

3.数据存储

数据中台中全域数据的存储中心,按照不同的数据类型,可以采用图中一种或多种数据存储系统的“混搭”架构。传统数据仓库(如DB2/ORACLE)是最为稳定的数据存储方式,承载着及时性、准确性要求高的企业核心应用。分布式关系数据库,也常简称为MPP数据库,相较于传统的关系型数据库,具有高性能处理能力、高数据吞吐能力的优势。

NoSQL分布式数据库属于非关系型数据库管理系统,在大数据简单存取上具备关系型数据库无法比拟的性能优势。分布式文件系统(HDFS)是当前最常见的大数据存储方式,它具极高的性价比,扩展性强。数据湖作为一种新的存储大量复杂格式数据,避免企业数据孤岛化的数据架构方案,可用来将不同结构的数据统一聚合和存储。

4.数据治理

指的是为了实现对企业中数据资产价值的获取、管控、交付等目的,基于制定的数据规范,对数据资产所做的一系列管理活动。数据标准管理指对数据口径、公共术语、参考数据、数据编码等制定和实施标准化的管理活动。数据模型管理负责对系统中核心的逻辑模型、物理模型、数据库表、字段、视图等进行统一管控、促进其规范化。

5.数据服务

包括了与业务相关的、可复用的一些公共技术组件或产品,如数据目录、数据标签、数据分析、数据开放接口、机器学习算法模型等,它们可以使用SAAS方式直接对外提供服务,也可以以更小粒度如API、消息接口、文件接口、服务接口、SDK软件包等方式只提供组件能力或数据服务,内部或外部第三方应用不必关心底层数据准备情况,直接调用数据服务模块对外提供的服务接口,就可以方便进行二次开发,借以增强自身的能力。

为什么要建立数据中台:

业内对于数据中台建设的经验还是不足的,我这里给大家讲讲如何建立数据中台。

我经在手机上常看见各种公众号文章提及数据中台这个概念,我也跟各个行业的一些大公司的 CIO 交流过,发现很多行业的大公司都开始组建大数据团队,建设数据中台。结合文章和交流获取的信息,我切身感受到宏观经济对技术的影响。2018 年开始经济下行,生意不好做了,粗放的经营已经不行了,随着数据时代的来临,越来越多的企业想通过数据驱动来进行精细化的运营和数据化转型。

ZBraiuj

对于20人以上的企业来讲,如果不进行精细化运营,那么各种问题可能层出不穷,譬如:小到上演会议室争夺战,大到各种业务团队不互相、办公沟通增加成本、办公室物资损耗现象严重等等,日复一日地恶性循环,最终不但会使管理者和员工感到精疲力尽,还会惊讶地发现:企业业绩没有翻番,管理成本和经营成本等费用反倒是陡然蹿高,企业陷入了持续亏损的泥潭。

分享给小伙伴们:

更多文章

相关文章