【大数据架构】浅谈数据中台

数据中台背景

大环境背景

近几年较火的数字化转型，很多企业也从信息化到数字化。

信息化时代：是信息化为物理世界活动服务的；更多的是为物理世界活动提升效率。例如我们现在很多系统其实也是信息化，例如OA系统、政府线上办理平台、医疗平台等等。

数字化时代：物理世界的物在为数字世界服务，同时数字实际也在服务物理世界，形成闭环。例如我们获取了业务数据进行分析后，智能推荐又服务于物理世界，形成闭环。

数字化是信息化的升级版，在为物理世界赋能的同时，自己能通过物理世界产生的数据，经过处理后，产生新的价值。这个过程是物理世界为数字实际赋能；之后产生新的价值后又赋能给物理世界，不断循环，形成一个闭环。他的高级感更多的是能通过这种形式创造新的价值，产生新的业务等等。能让原来没什么价值的数据产生更大的价值。

数字化转型带来的技术与业务深度融合，可能会诞生新的商业模式和业务架构体系。

那么在这个大环境下核心就是数据，如何对数据进行管理以及利用，最终发挥其价值。是每个企业在数字化转型中必须会面对的一个问题。当前企业在转型过程中又会遇到什么痛点呢？从痛点就能衍生出为什么企业要进行数据中台的搭建，为什么要做数据管理

数据中台背景

1.互联网企业面临则数据孤岛的问题，导致其数据价值没有真正的被挖掘出来。

2.企业内部业务间数据不互通，导致很多数据拿不到，重复开发等问题。

3.互联网企业越来越看重增效降本，提升效率，降低成本；越来越多的企业开始走精细化运营的道路。

4.互联网行业各个能做的点都已经形成了红海，企业寻求突破想孵化出一个新的商业模式和业务架构（探索新模式）

（说白了就是，企业现在有很多数据，那么如何让这些数据用起来，体现他们的价值，来为业务赋能呢？这个时候就要搭建数据中台）

数据中台的定义

数据中台是将企业数据资源转化为数据资产，再利用数据资产为业务创造价值，最终实现数据资产价值变现的解决方案或者说是一种机制。

数据中台不是技术也不是产品，而是一套“可持续让数据用起来”的机制。他依赖于企业现有的业务模式和组织架构，通过数据中台的机制，去对企业进行改变，会改变企业的业务模式和组织架构。

数据中台的价值：打破数据孤岛，将无用的数据，转化为数据资产，助力业务创新创造价值，为企业提供降本增效，精细化运营的能力。

数据中台建设要点

数据中台建设痛点：

1.数据口径不一致，不同指标可能不同业务对其的定义不一，导致口径不一，难以管理。

2,.数据质量可靠性差，数据链路不透明，不知道该数据的质量靠不靠谱，当前很多数据链路有问题不规范，也会导致数据治理可靠性有问题。

3.数据接入成本高，使用门槛高，大数据开发操作门槛高。学习成本、使用成本都高。

4.资源消耗浪费严重，在大数据开发过程中，可能由于选用的组件，并不是最适合的，导致资源浪费

5.数据资产管理混乱，各个业务各自做各自的大数据开发，导致数据资产没有统一管理，导致管理混乱

6.数据业务打通难，上面说到企业发展的趋势是场景融合，那么如何打通2个业务间的数据是一个很大的课题

中台又要如何解决这些问题？

1.打造一站式数据开发平台，降低数据接入门槛和成本

2.建立统一的元数据管理中心，通过对元数据进行管理，了解全链路的处理过程，对数据资产进行管理

3.提供数据服务的能力，降低业务使用门槛，数据开发的事情交给专业人员，业务方只需要使用封装后的接口即可

4.建立覆盖全生命周期的数据治理体系，对数据资产进行管理，进行数据标准化建设；保证数据的稳定性和准确性，提升资源利用率

5.制定数据生产、采集标准；从源头规范数据格式，有利于后续管理

6.搭建数据湖、数仓、周边体系，拓展数据中台能力

7.推动从平台化变成自动化的演进

数据中台架构

大数据产品架构

简单介绍下分为几个模块

1.数据开发运维：是大数据处理的技术底座，分为数据集成、数据存储、数据计算、任务调度、运维模块。对应数据的采集-开发-存储-维护。该模块偏技术，底层一般都是引用开源组件进行支持，包括我们熟悉的hadoop组件，hive、hbase、hdfs、kafka、pulsar、flink、spark、clickhouse、presto、iceberg、hudi等等。

2.数据管理：主要是对数据进行治理大数据时代，包括数据标准、数据模型、数据质量、数据资产管理、数据安全、元数据管理、数据成本治理、数据血缘等。在该模块将数据进行梳理，形成分类清晰，可管理，可理解的数据资产。方便后续应用

3.统一数据服务：指的是对外提供服务，包括数据共享、数据服务、OLAP即系分析。对外提供数据的支持。

4.数据应用：基于数据中台，对外封装成各自类型的应用去服务于业务，包括用户画像、DMP、BI、标签系统、埋点系统、UBS、指标系统、机器学习。

（编辑：温州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!