首页/开发/系统分析与架构设计速查/数据网格(Data Mesh)
架构风格与模式58 条

数据网格(Data Mesh)

面向分析数据的组织与架构原则:按业务域划分数据所有权、把数据作为产品交付、提供自助式数据平台、以联邦方式治理;强调组织与架构协同。

数据网格是什么

数据网格是面向分析数据的组织与架构原则:按业务域划分数据所有权,把数据作为产品交付(有明确的服务水平、文档与使用方式),平台团队提供自助式的采集、存储与发布能力,治理以联邦方式由中心与领域共同制定并由自动化手段落地。它强调的是组织与架构协同,而不是某一套具体的技术选型。

为什么不能只当工具项目做

数据网格要解决的是中心化数据团队成为交付瓶颈、而领域知识却掌握在业务团队手里的矛盾。如果领域团队不承担数据质量与交付责任,只引入目录工具与数据管道框架,落地结果会退化成又一套平台建设,数据质量仍然无人负责。因此推进顺序通常是先明确领域数据产品的责任人与服务标准,再配套平台能力与自动校验。

基本信息

领域所有权数据由最了解它的业务域团队负责质量与交付
数据即产品有明确的服务水平、文档、示例与使用方式
自助平台平台团队提供标准化的采集、存储与发布能力
联邦治理统一标准由中心与领域共同制定并自动校验
前置条件领域团队愿意承担数据责任,否则会退化为工具建设

四项原则

原则含义落地信号
领域所有权数据由最了解它的团队负责有明确的领域数据负责人
数据即产品交付物有服务水平与文档数据资产有版本与变更记录
自助平台提供标准化能力与模板领域团队可自行上线数据产品
联邦治理标准共同制定并自动校验规范检查进入交付流水线

典型使用场景

  • 中心数据团队成为交付瓶颈,业务域诉求长期排队等待
  • 各业务域已有数据能力,但指标口径与标准各自为政
  • 需要为分析团队与算法团队提供可信、可发现的数据资产
  • 组织已完成领域拆分,希望数据职责与业务职责对齐
数据网格首先是组织变革:领域团队不承担数据责任时,落地会退化成平台工具建设,数据质量依然无人负责。
领域数据产品缺少统一标准与自动校验,会形成新的数据烟囱,只是把集中式的混乱换成了分布式的混乱。

易错点

  • 把数据网格当作一种技术选型,忽略组织与职责的同步调整
  • 领域数据产品缺少统一标准与校验,形成新的数据烟囱
  • 只建设目录与管道工具,数据质量责任仍然悬空无人承担
  • 服务水平只写在文档里没有校验手段,交付后无人对质量负责
  • 平台团队替领域团队承担数据开发,中心化瓶颈原样重现

数据来源与参考

  • Zhamak Dehghani《Data Mesh》(O'Reilly)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌