| 批处理去重 | ROW_NUMBER() OVER (PARTITION BY 主键 ORDER BY 更新时间 DESC) |
|---|---|
| 流式去重 | 按主键维护最近 N 条或状态 TTL |
| 兜底 | 落库端按主键 upsert |
SQL 去重取最新
SQL 去重取最新
SELECT *
FROM (
SELECT o.*, ROW_NUMBER() OVER (
PARTITION BY order_id ORDER BY updated_at DESC) AS rn
FROM ods_order o
) t
WHERE rn = 1;去重键要覆盖完整业务主键；组合主键只取其中一列去重会误删不同业务实体的记录。