首页/数据/数仓建模速查/ODS 同步方式对照:全量/增量/CDC
分层与规范64 条

ODS 同步方式对照:全量/增量/CDC

三种同步方式按表特征选择:小表全量快照、带更新时间的大表按时间戳增量、要求删除感知与低延迟的走 CDC;下表给出适用与风险。

数仓建模速查数据更新于 2026-10-12

同步方式对照

方式适用主要风险
全量快照小表、维度表大表 IO 与耗时高
时间戳增量有 update_time 的表漏删、时钟漂移
CDC 日志大表、要删除感知运维复杂度高

增量抽取条件

增量抽取条件
SELECT *
FROM src_order
WHERE update_time >= '2026-10-12 00:00:00'
  AND update_time <  '2026-10-13 00:00:00';
时间戳增量抓不到物理删除,需要配合源端删除表或 CDC 补齐。

易错点

  • 用 create_time 当增量字段,历史数据的更新全部丢失

数据来源与参考

  • 阿里《大数据之路:阿里巴巴大数据实践》
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌