首页/开发/系统分析与架构设计速查/变更数据捕获(CDC)

变更数据捕获(CDC)

从数据库日志解析数据变更并发布为事件流,让下游准实时同步而无需侵入业务写入路径;注意去重、顺序与快照初始化的配合。

原理解析 binlog/WAL 等日志,输出变更事件
初始化先快照后增量,或一致性快照加位点衔接
消费下游按主键幂等落库,处理乱序与重复

落地要点

阶段要点
初始化一致性快照 + 位点衔接,避免重复与丢失
运行去重键、乱序处理与延迟监控
变更防护DDL 评审纳入管道影响评估
恢复位点可回溯,支持从指定时间重放
DDL 变更、字段类型调整会破坏下游解析;变更发布前要评估对 CDC 流的影响。

易错点

  • 快照与增量衔接位点错误,数据重复或丢失
  • 未评估 DDL 变更影响,下游解析管道中断

数据来源与参考

  • Debezium 文档:Change Data Capture
  • 《数据密集型应用系统设计》(Kleppmann)第 11 章
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌