首页/数据/数据工程与 ETL 速查/数据质量事故复盘

数据质量事故复盘

数据质量事故在止血之后要做复盘:还原时间线(何时出错、何时告警、何时恢复)、界定影响面(哪些表与下游、影响哪些业务日期)、定位根因(代码 / 数据 / 流程 / 工具)、产出可验收的改进项并跟踪闭环。

数据质量事故复盘

数据事故的复盘发生在止血之后,目标是让同类问题不再发生。要写清四件事:时间线(何时出错、何时产生脏数据、何时被发现、何时止血、何时修复完成)、影响面(哪些表与下游任务、影响哪些业务日期、哪些指标口径)、根因(直接原因、系统原因如缺少卡点、管理原因如变更未评审)、改进项(负责人、截止时间、验收方式)。衡量复盘质量的不是文档厚度,而是改进项是否在后续演练中被验证有效。

基本信息

复盘时机止血完成后,数据修复前或并行进行
核心内容时间线、影响面、根因、改进项
根因层次直接原因、系统原因、管理原因
改进项要求有责任人、截止时间与验收方式
跟踪机制定期回看改进项是否落地并验证

复盘模板

复盘模板
时间线:T0 异常发生 → T1 产出脏数据 → T2 下游发现或告警 → T3 止血 → T4 数据修复完成
影响面:受影响表 / 下游任务 / 业务日期区间 / 受影响的指标口径
根因:直接原因(代码逻辑、数据异常)→ 系统原因(缺失的卡点与校验)→ 管理原因(变更未评审、无人值守)
改进项:每项写清 责任人 + 截止时间 + 验收方式(新增规则 / 新增卡点 / 演练验证)

复盘要素清单

要素要写清的内容常见缺失
发现路径是告警发现还是业务方反馈只写结果不写发现方式
发现延迟从产生脏数据到被发现的时间忽略延迟,掩盖监控缺口
影响范围表、任务、业务日期、对外交付只写内部表,漏对外口径
止血动作停了哪些任务、冻结了哪些写入未记录临时处置导致二次事故
复盘的产出是可执行的改进项而不是检讨:每一项都要有责任人与验收方式,下次演练时回看是否真的生效。
只修复数据不做根因修复,同类事故会按季度重复发生;复盘要专门追问为什么没能更早发现,这一条往往指向最有价值的改进项。
发现延迟本身值得单独统计:如果每次都是业务方先发现,说明监控覆盖或告警通道存在系统性缺口,比单个数据错误更值得处理。

易错点

  • 复盘只写加强检查这类口号,没有可验收的改进项,下次照旧
  • 只修复数据不做根因修复,同类事故按季度重复发生
  • 不记录临时处置动作(停了哪些任务、冻结了哪些写入),恢复时产生二次事故
  • 不追问发现延迟,掩盖监控与告警的覆盖缺口,问题总是被业务方先发现

数据来源与参考

  • DAMA-DMBOK(数据质量管理)
  • 行业数据治理事故复盘实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌