幂等写入是什么

同一批数据重复写入多次，最终结果与只写一次完全一致，就称为幂等写入。它是数据管道里最实用的容错手段：任务失败后不必精确知道执行到哪一步，直接整段重跑即可，重复部分会被自然收敛掉。

三种常用手段

一是按业务主键 upsert，重复记录覆盖而不新增；二是分区覆盖写入，重跑时先按分区删再写，保证该分区的数据只有这一次作业的结果；三是写临时表后原子切换（或重命名为正式表），失败时正式表不受影响。三者共同的前提是存在稳定的主键或分区键。

基本信息

典型使用场景

• 实时链路至少一次投递后，落库端用主键 upsert 收敛重复
• 离线日批重跑：按当天分区整体覆盖，不需要逐条判断是否需要更新
• 维表加工：写临时表校验通过后再重命名，避免下游读到中间态
• 补数场景：重刷受影响的历史分区，其他分区不受影响
• 多来源合并落地：不同来源写同一张表时按主键归并

MySQL 幂等写入

-- 主键冲突时更新，重复写入结果一致
INSERT INTO dwd_order (order_id, amount, updated_at)
VALUES (%s, %s, %s)
ON DUPLICATE KEY UPDATE amount = VALUES(amount), updated_at = VALUES(updated_at);

数仓分区覆盖

-- 只覆盖当天分区，重跑多少次结果都相同
INSERT OVERWRITE TABLE dwd_order PARTITION (dt = '2026-10-11')
SELECT order_id, amount, updated_at FROM ods_order WHERE dt = '2026-10-11';

-- 注意：不写 PARTITION 子句的 INSERT OVERWRITE 会清空整表重建

三种手段对比