【云表】浅谈数据中台
terry
2020-04-24
次浏览
一、什么是数据中台
阿里提出来数据中台的概念,实现数据的分层和横向解耦,数据服务能力。看了这么多中台的概念,对中台也有些属于自己的了解,目的就是为客户提供全方位服务的数据服务。它有以下四个部分:数据资产,数据管理,数据模型和数据服务。
通过数据建模沉淀全局数据形成数据资产,从而提供统一的数据服务..
二、如何建立数据中台
主要是从数据模型,数据资产,数据管理,数据服务分为四个部分建设数据集。
第一的是需要做一个整体经济发展战略规划,哪些信息系统数据我们需要纳入到数据中台中,其次根据相关的数据管理可以接入的情况,进行比较分析处理技术选型,评估集群的配置,规划至少三年的计算和存储资源。
1、数据模型
数据模型,也就是我们所熟悉的数据仓库模型,可以根据数据仓库规范分层模型开发,数据标准化,多维建模。一些挖掘模型,要是有更多的数据,也可以沉淀到中台中。数据中台中的模型是具有通用性的。
数据建模一般分为2个步骤:
-
确认事实的表单,分析业务的生命周期,明确业务的关键步骤..定义指标进行分析,在进行指标定义的时候是否覆盖了本主题语中的全部指标,判断哪些的指标是可以通过加减乘除的计算得到等。
-
确定维度,粒度是模型设计的关键,粒度过细不利于上层数据的分析和汇总,粒度过粗不能满足之前多维个性化查询的要求。模型进行设计的时候我们一般就可以考虑分层,层级越往后,粒度越粗。冗余尺寸还需要考虑的设计,避免过度导致复杂的计算逻辑相关的冗余尺寸统计,影响性能。
2、数据资产
在数据仓库中建立了一些模型,只有打通数据孤岛才能被称为资产。所以需要规范化指标库,这些指标分析可以通过组合处理来满足企业人员个性化的指标。资产管理是要在做好元数据管理的基础上,元数据包括信息采集,型号信息,指标定义,作业的血缘关系,数据的存储和访问等。
3、数据治理
很多企业数据仓库管理人员已经沦为“表哥”“表姐”,每天忙着提取信息数据检查指标,时间长了,业务人员很容易不信任你的数据..数据治理研究的主要目的是为了保护资产,准确性,一致性和及时的数据分析的完整性。根据指定的规范进行开发技术研究分析模型、校验模型、管理信息系统模型,为业务发展统一的、准确的指标保驾护航。
4、数据服务
数据信息服务企业需要包括以下能力:
-
数据接口标准:能提供统一的数据服务在线查询视图,使开发人员能够快速简单地访问数据服务;
-
数据可视化的开发:提供可视化配置服务接口,开发者只需要配置SQL可生产API,降低界面开发技术要求,简化维护和管理接口。对于企业业务分析师可以让他们能够轻松算法进行分析,包括网络模型信息管理,可视化编排流程,算法模型发布等功能。
三、数据集和数据仓库的区别是什么
许多人在数据仓库和数据集的两个概念上可能不是特别的清楚,事实上,他们之间最重要的概念是不同的,数据仓库是“管理数据”,数据集是“业务数据”,为数据集提供服务(就是说专为前台而生)。