数据网格是什么
数据网格是面向分析数据的组织与架构原则:按业务域划分数据所有权,把数据作为产品交付(有明确的服务水平、文档与使用方式),平台团队提供自助式的采集、存储与发布能力,治理以联邦方式由中心与领域共同制定并由自动化手段落地。它强调的是组织与架构协同,而不是某一套具体的技术选型。
为什么不能只当工具项目做
数据网格要解决的是中心化数据团队成为交付瓶颈、而领域知识却掌握在业务团队手里的矛盾。如果领域团队不承担数据质量与交付责任,只引入目录工具与数据管道框架,落地结果会退化成又一套平台建设,数据质量仍然无人负责。因此推进顺序通常是先明确领域数据产品的责任人与服务标准,再配套平台能力与自动校验。
基本信息
| 领域所有权 | 数据由最了解它的业务域团队负责质量与交付 |
|---|---|
| 数据即产品 | 有明确的服务水平、文档、示例与使用方式 |
| 自助平台 | 平台团队提供标准化的采集、存储与发布能力 |
| 联邦治理 | 统一标准由中心与领域共同制定并自动校验 |
| 前置条件 | 领域团队愿意承担数据责任,否则会退化为工具建设 |
四项原则
| 原则 | 含义 | 落地信号 |
|---|---|---|
| 领域所有权 | 数据由最了解它的团队负责 | 有明确的领域数据负责人 |
| 数据即产品 | 交付物有服务水平与文档 | 数据资产有版本与变更记录 |
| 自助平台 | 提供标准化能力与模板 | 领域团队可自行上线数据产品 |
| 联邦治理 | 标准共同制定并自动校验 | 规范检查进入交付流水线 |
典型使用场景
- 中心数据团队成为交付瓶颈,业务域诉求长期排队等待
- 各业务域已有数据能力,但指标口径与标准各自为政
- 需要为分析团队与算法团队提供可信、可发现的数据资产
- 组织已完成领域拆分,希望数据职责与业务职责对齐
数据网格首先是组织变革:领域团队不承担数据责任时,落地会退化成平台工具建设,数据质量依然无人负责。
领域数据产品缺少统一标准与自动校验,会形成新的数据烟囱,只是把集中式的混乱换成了分布式的混乱。