基线是判断的起点
没有基线的监控数据只能看「当下是否报错」,无法回答「现在是不是不正常」。存储性能指标的基线本质是一组在已知正常时段采集的分布:同一业务、同一时段、同一采集口径下的吞吐、时延分位、队列长度与容量水位。有了它,任何一次性能变化都能换算成「相对正常状态偏移了多少」,告警阈值也才有依据,而不是凭感觉填写。
基本信息
| 采集对象 | 吞吐、IOPS、时延分位、队列长度、容量水位、错误计数 |
|---|---|
| 采集粒度 | 秒级用于排障,分钟级用于趋势与容量规划 |
| 保留策略 | 原始数据短期、聚合数据长期,覆盖至少一个业务周期 |
| 基线维度 | 分业务、分时段、分设备/池,不能只做全局平均 |
| 输出物 | 正常区间、阈值建议、异常与典型事件的对照记录 |
典型使用场景
- 容量规划:用历史峰值与增长斜率推算扩容时间点
- 告警定阈值:以正常区间的分位值设线,减少误报
- 故障复盘:对比故障前后同一维度的偏移量
- 变更验证:上线后确认指标回到基线区间
- 多环境对比:找出测试与生产之间的性能落差
建立基线的步骤
建立基线的步骤
# 1) 选维度:业务、时段(含业务高峰与批处理窗口)、设备或存储池
# 2) 定口径:采集频率、聚合方式、时延取平均还是分位,全流程统一
# 3) 采正常期:至少覆盖一个完整业务周期,含峰值与低谷
# 4) 算区间:给出正常区间的下界、上界与分位值,而不是单一均值
# 5) 设阈值:预警取略高于正常上界,严重告警取明确影响业务的水平
# 6) 定期复核:业务与硬件变化后基线会失效,需按季度或变更后重采
# 7) 记录事件:把扩容、迁移、大促等事件标注在时间轴上,便于解释偏移常用指标与基线用途
| 指标 | 基线用途 | 异常含义 |
|---|---|---|
| 时延分位(95/99) | 用户感受的参考线 | 分位抬升而均值正常,说明存在排队毛刺 |
| 吞吐与 IOPS | 确认正常业务量级 | 偏离基线需先排除业务变化再怀疑存储 |
| 队列长度 | 识别是否长期接近饱和 | 持续非空意味着延迟被排队主导 |
| 容量水位 | 扩容决策依据 | 短时间快速上涨需查是否有异常写入或残留数据 |
| 错误与重试计数 | 硬件健康趋势 | 缓慢增长往往早于明显故障出现 |
基线要分时段:白天在线业务与夜间批处理的正常区间差异很大,用同一条阈值往往白天误报、夜间漏报。
指标口径必须在团队内达成一致,尤其是时延是平均还是分位、吞吐按应用层还是设备层统计;口径不同会让两份报告得出相反结论。