数据中台概述

SOA团队 2020-03-16

数据中台是一套可持续的让企业的数据用起来的机制,是一种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论支撑,构建的一套持续不断的把数据变成资产并服务于业务的机制。数据来源于业务并反哺业务,不断的迭代循环,实现数据可见,可用和可运营。

这里面最核心的就是将数据变化为资产并服务于业务的机制,数据来源于业务并反哺业务。我们基于这个核心内容可以进一步抽象下数据中台对核心的定义,我个人理解和定义如下:

数据中台本质是一个能够实现跨域数据融合,并在数据融合后对数据进行整合加工和分析,提供增值的数据服务能力给业务使用的一个平台。在我这个概念里面多强调了两点,一个是实现跨域数据融合,一个是提供增值的数据API服务能力给业务使用。

书籍里面提到了书籍中台四个方面的关键能力:

书籍中台需要具备数据汇聚整合,数据加工提纯,数据服务可视化,数据价值变现4个核心能力,让企业员工,客户,伙伴能够方便的应用数据。而这个里面的数据提纯加工对应的是数据资产管理的核心内容,即数据中台必须通过连通全域数据,通过统一的数据标准和质量体系,建设提纯加工后的标准数据资产体系,以满足企业业务对数据的需求。

对于数据中台必须要理清楚的一些关键概念差异

数据中台和业务中台的关系

我们先看下书里面的一些解释,即业务中台更加偏向于业务流程管控,将业务流程中的共性服务能力抽象出来,形成通用服务能力。而数据中台则是抽象数据能力的共性,形成统一的数据服务能力。

对于上面这个解释不足够准确,为什么呢?因为业务中台本书也回抽象数据共性提供数据服务能力,类似业务中台的供应商中心,客户中心本身也提供数据服务能力。那么时间最大的差异点在哪里呢?

即我们前面提到的,数据中台是实现业务中台核心共享数据的跨域整合,再通过加工后提供整合后的数据服务能力。这里面有两个重点,即第一数据要跨域整合,第二数据要加工处理后再提供增值服务能力,这个加工可能简单的汇总表,也可能是复制的底层数据模型和智能分析算法。

业务中台重点是业务数据化,而数据中台重点是数据业务化,数据来源于业务又反哺业务。就建设和支撑层面来说我原来也总结过,即业务中台是基础业务能力支撑,必须要有,数据中台是增值能力支撑,刚开始没有也不会影响到业务本身的运作。

再简单来说,以电商平台来举例,业务中台关键功能缺失导致的是业务流程走不下去,在业务协同上出现问题。而数据中台能力缺失导致的是没能够为用户提供增值服务,让用户顺带多买点东西。

两者的联系,书里面有一句总结还是比较准确,即数据中台和业务中台本身是相辅相成的,业务中台中沉淀的业务数据进入到数据中台进行体系化加工,再以服务化的方式支撑业务中台上的应用,而这些应用产生的新数据又流转到数据中台,形成循环不息的数据闭环。

数据中台和数据仓库和大数据平台

对于数据中台和数据仓库的区别,书里面的总结比较到位。即数据仓库的主要场景是支持管理决策和业务分析,而数据中台则是将数据服务化之后提供给业务系统,目标是数据能力渗透到各个业务环节,不限于决策分析类应用场景。数据中台持续不断的将数据进行资产化,价值化并应用到业务,而且关注数据价值的运营。

这里面的关键区别就在于数据中台能力要服务于业务系统准实时协同需要。

为了准实时,一方面你会看到数据中台架构上实际上是包括了大数据平台的核心架构和分布式存储内容,同时还包括了大数据平台中的实时计算和流处理能力。其次,为了将能力提供给业务系统,往往数据中台整体架构上一定会体现一个统一的数据服务能力开放层,这个在传统的数据仓库或大数据平台上是没有的。

数据中台和BI数据仓库有重合,也有交集。相同的就是整个数据采集集成,数据存储,数据模型构建,数据开发和分析,这些都需要。差异点在于数据中台需要有统一的数据服务能力开放层,提供给业务使用,而弱化了传统BI里面的数据分析和报表展现层。

所以我们首先搞清楚数据中台是为增值业务需求服务,BI平台为管理经营决策服务。这使得两者在数据模型构建,数据开放和提供策略上有差异,但是核心的技术平台能力则是相同的。即你可以基于Hadoop整个技术框架体系来构建数据中台,也可以用来构建BI数据仓库。

数据中台的业务赋能

简单总结就是:业务数据化,数据资产化,资产服务化,服务业务化,业务智能化持续赋能业务闭环。

数据中台作为整个企业各个业务所需数据服务的提供方,通过自身的平台能力和业务对数据的不断滋养(业务数据化),会形成一套高效可靠的数据资产体系和数据服务能力(数据资产化和资产服务化)。这样当面对市场变化,需要构建新的前台应用的时候,数据中台能够迅速的提供数据服务能力。

数据中台要求整个企业共用一个数据技术平台,共建数据体系,共享数据服务能力。数据中台的目标是实现企业经营的数据化,精细化,智能化,本质是建立一套可持续让企业数据用起来的机制。

数据中台的建设

对于数据中台的建设,实际上我们要看到两个方面的内容,第一就是单纯的数据技术平台的建设,第二就是数据内容的建设。我刚才说了单纯的数据技术平台还可以用于BI分析,技术平台能力本身就是相通的。对于技术平台我们要考虑就是数据采集集成,数据存储,数据处理加工和计算,数据分析各个层面的技术工具和组件。

对于数据内容的建设,实际上包括了四个方面的内容,书里面总结如下:

1. 技术体系(包括大数据存储计算技术和数据中台工具技术组件)

2. 数据体系(围绕数据模型为核心,并围绕数据资产全生命周期展开)

3. 服务体系(通过数据中台的服务组件能力,将数据变为服务)

4. 运营体系(将数据服务做为可运营的商品一样,来构建一套运营服务和管理体系)

数据中台的架构

对于数据中台架构后面还要单独写文章详细描述,从书里面给出的架构图我们可以看到基本模式都是一样的,即最底层事数据基础设施和数据技术平台。再往上分别是数据汇集,数据开发,数据体系,数据资产管理,数据服务几个大模块的内容。

所以我们先看下整个数据中台架构里面大模块分法上的一些思路。

数据汇聚和数据开发

这个分开为两个大模块是合理的,即数据汇聚仅仅只复制数据集成的事情,比如我们常说的数据采集,ETL方面的事情。而数据开发即是数据采集过来后还需要对数据进行加工处理,比如形成宽表或汇总表,基于数据分析算法进行数据汇聚计算形成新的数据结果等。

数据资产管理和数据体系

首先我们可以看到数据资产管理即我们常说的数据全生命周期管理,类似我们原来谈MDM主数据管理经常谈到的元数据管理,数据标准,数据质量管理,数据安全,数据创建变更全生命周期流程管理等都在该模块能够看到。

对于数据体系是否理解为不同的数据应用域,书里面提到的数据体系包括了贴源数据,统一数仓,标签数据和应用数据。可以看到数据本身分层,数据也可以分数据域。

从全生命周期如何看数据?

如果从数据全生命周期来看,实际上我们可以看到可以分为数据的入库过程,数据的存储和模型构建,数据的对外能力提供过程。对于数据的入库包括了数据汇聚,数据开发;对于数据的存储包括了数据模型和数据体系,对于数据对外能力提供包括了数据服务层构建。

而实际的数据全生命周期管理刚好应该是贯通前面几个阶段的一个完整管理和管控流程。

返回上页