按分区重写(幂等回补示例)
按分区重写(幂等回补示例)
-- 目标端按分区覆盖重写:先覆盖待回补分区,再校验行数
INSERT OVERWRITE TABLE dwd_trade_order_di PARTITION (dt = '2026-10-10')
SELECT ... FROM ods_trade_order_change_log
WHERE dt = '2026-10-10';| 幂等 | 重跑结果一致:覆盖写、upsert 或先删后写 |
|---|---|
| 顺序 | 先回补历史,再让增量追平;或冻结该时段写入 |
| 限速 | 拆批 + 并发上限,避免与在线业务抢资源 |
| 验收 | 行数/校验和比对,并记录回补批次与结果 |
回补与增量同时写同一分区会造成结果不可预期:先冻结或明确先后顺序。