| 原理 | 解析 binlog/WAL 等日志,输出变更事件 |
|---|---|
| 初始化 | 先快照后增量,或一致性快照加位点衔接 |
| 消费 | 下游按主键幂等落库,处理乱序与重复 |
落地要点
| 阶段 | 要点 |
|---|---|
| 初始化 | 一致性快照 + 位点衔接,避免重复与丢失 |
| 运行 | 去重键、乱序处理与延迟监控 |
| 变更防护 | DDL 评审纳入管道影响评估 |
| 恢复 | 位点可回溯,支持从指定时间重放 |
DDL 变更、字段类型调整会破坏下游解析;变更发布前要评估对 CDC 流的影响。
从数据库日志解析数据变更并发布为事件流,让下游准实时同步而无需侵入业务写入路径;注意去重、顺序与快照初始化的配合。
| 原理 | 解析 binlog/WAL 等日志,输出变更事件 |
|---|---|
| 初始化 | 先快照后增量,或一致性快照加位点衔接 |
| 消费 | 下游按主键幂等落库,处理乱序与重复 |
| 阶段 | 要点 |
|---|---|
| 初始化 | 一致性快照 + 位点衔接,避免重复与丢失 |
| 运行 | 去重键、乱序处理与延迟监控 |
| 变更防护 | DDL 评审纳入管道影响评估 |
| 恢复 | 位点可回溯,支持从指定时间重放 |