频率怎么选
周期快照的粒度按「实体变化速度 × 回看需求」定:需要任意日期回看的实体用日快照,只做月度考核、变化缓慢的实体用月快照。存储量随快照次数线性增长,所以高频实体通常用混合策略,近期保留日快照支撑运营排查,历史归档折叠为月快照支撑长期趋势。频率一旦定下就属于口径的一部分,中途变更会让前后区间不可比,所以要在建模时一次性定清并写进指标卡。
基本信息
| 日快照 | 支持任意日回看,存储成本最高 |
|---|---|
| 周快照 | 按周考核,成本约为日快照七分之一 |
| 月快照 | 只保留期末视图,月中不可查 |
| 混合策略 | 近期日快照 + 历史月快照归档 |
典型使用场景
- 账户余额、库存等在途状态需要任意日回看,选日快照
- 会员等级、合同状态按月度考核口径取数,选月快照
- 审计要求保留每日明细但只查最近一年,用热冷分层的混合策略
- 上线前做存储与分区数估算,避免日快照把集群容量吃满
- 归档时按规则把日快照折叠为月快照,保留折叠清单便于复核
存储估算
存储估算
# 存储量 = 实体数 × 快照次数 × 单行字节数(未压缩)
# 示例:100 万账户 × 365 天 × 100B ≈ 36.5 GB/年
# 折叠为月快照后:100 万 × 12 × 100B ≈ 1.2 GB/年
# 同时估算分区数与小文件数,决定是否需要分区合并
# 日快照的每日增量行数 = 快照实体数 × 每日快照次数频率对照
| 频率 | 回看能力 | 主要代价 |
|---|---|---|
| 日快照 | 任意日回看 | 存储最高,需管分区与小文件 |
| 周快照 | 按周回看 | 月中需求无法满足 |
| 月快照 | 仅期末回看 | 月中审计与取证缺数据 |
| 混合策略 | 近期细、历史粗 | 依赖归档折叠任务稳定运行 |
频率变更属于口径变更:变更前只有月快照,变更后再做月内对比会缺少基准,指标卡里要注明可用的时间区间。
日快照对分区数量敏感,长期积累会产生大量小文件,通常配合分区合并、冷数据高压缩一起规划。