首页/数据/数据工程与 ETL 速查/血缘辅助问题定位

血缘辅助问题定位

血缘把数据不对转成哪个任务、哪次变更导致的:从出问题的表出发看上游任务与最近代码变更,再看下游受影响清单;配合任务运行记录可快速圈定变更时间窗。

上游定位问题引入点(任务、DDL、数据源)
下游评估影响面与需回刷范围
时间线任务运行记录与代码提交记录对齐
工具元数据平台血缘图、调度平台依赖图

排查时间线示例

排查时间线示例
10-11 09:00 报表反馈支付金额异常
10-11 09:10 查血缘:金额来自 dwd_trade_order_detail_di → dws_trade_category_1d
10-11 09:20 查上游任务:08:30 上线了一版过滤条件变更
10-11 09:40 确认该变更误过滤掉退款冲正单,回滚并回刷当日分区
把每次发布记录与任务运行记录对齐做成固定动作,定位速度会明显提升。

易错点

  • 血缘不完整时只凭经验猜上游,容易修错表
  • 忽略变更时间线,反复在数据里找原因

数据来源与参考

  • Apache Atlas 血缘能力文档
  • 行业数据故障定位实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌