首页/数据/数仓建模速查/事件时间与处理时间的边界
维度与事实设计149 条

事件时间与处理时间的边界

业务统计用事件时间(用户何时发生),运维监控用处理时间(何时到达);分区与回溯一致性依赖事件时间,处理时间仅作辅助列。

数仓建模速查数据更新于 2026-10-12
事件时间业务口径,可回溯
处理时间延迟监控,辅助
分区按事件时间切

双时间列

双时间列
CREATE TABLE dwd_click (
  click_id string, user_id string,
  event_ts  timestamp COMMENT '事件时间',
  proc_ts   timestamp COMMENT '入仓处理时间'
) PARTITIONED BY (dt string COMMENT '按 event_ts 折算') STORED AS ORC;
用处理时间分区会造成「数据落在错误日期」,追数后历史分区被动变化。

易错点

  • 按处理时间分区,追数改变历史口径
  • 事件时间缺失无兜底,脏时间写入未来分区

数据来源与参考

  • 流处理实践:事件时间语义
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌