分层落地示意
分层落地示意
binlog → CDC → Kafka(变更流)
→ ODS:变更日志表(append + 位点列)或贴源镜像表(upsert)
→ DWD:去重 / 清洗 / 维度关联
→ DWS / ADS:聚合与指标| 日志表优点 | 变更全历史,可重放、可回溯、可审计 |
|---|---|
| 镜像表优点 | 查询即用,省去加工层 |
| 位点列 | 建议保留 source 的 file/pos 或 GTID,便于对账与续传 |
| 权衡 | 追溯需求强选日志表,只读快照需求可选镜像表 |
变更日志表要配分区与生命周期策略,否则存储增长会超出预期。