首页/数据/数仓建模速查/小时级分区设计要点
分层与规范64 条

小时级分区设计要点

实时落仓或准实时链路用小时分区:dt + hh 两级,写入按小时覆盖;小时分区数量是日分区的 24 倍,需要更严格的保留策略。

数仓建模速查数据更新于 2026-10-12
用例准实时落仓
结构dt+hh
写入按小时覆盖
保留滚动清理过期

小时分区写入

小时分区写入
INSERT OVERWRITE TABLE dwd_flow_event_di PARTITION (dt='2026-10-12', hh='08')
SELECT event_id, user_id, event_time
FROM stg_flow_event
WHERE dt='2026-10-12' AND hh='08';
小时分区保留期设得过长会迅速堆高文件数与元数据量,务必配置滚动清理。

易错点

  • 小时分区不做清理,元数据服务响应变慢

数据来源与参考

  • Flink 官方文档:Streaming File Sink
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌