演练验证什么
电源故障演练验证的是冗余的真实性:按脚本断开一路供电,核对系统继续运行、告警正确产生、业务无感知,随后恢复并输出复盘记录。没有告警的冗余等于不可观测,所以“告警是否产生”要和“系统是否存活”一起验证。
基本信息
| 目的 | 验证冗余与监控告警联动是否真实有效 |
|---|---|
| 判据 | 业务无感、告警正确、恢复完整 |
| 频次 | 重大变更后加定期抽样 |
| 产出 | 演练报告与改进项清单 |
| 前提 | 与业务约定窗口,准备回退方案 |
| 记录 | 断开、告警出现与恢复完成三个时间点 |
典型使用场景
- 新机交付:验证供电冗余确实生效
- 年度演练:纳入应急演练计划定期执行
- 变更复验:配电改造或更换模块后重做
- 故障复盘:市电异常后核对当时行为与预期
- 流程交接:把演练流程写入运维手册
- 值班训练:让值班人员熟悉断电处置步骤
- 监控验证:确认告警能到达值班渠道
演练脚本框架
演练脚本框架
1. 与业务确认窗口,记录基线:功耗与告警状态
2. 断开 B 路:优先操作 PDU 断路器,缩小影响范围
3. 观察:系统运行状态、BMC 告警、业务监控指标
4. 恢复 B 路,确认冗余状态已还原
5. 对 A 路重复同样的步骤,验证另一路冗余
6. 输出演练报告:时间线、告警记录与改进项清单演练阶段与记录
| 阶段 | 观察内容 | 记录要点 |
|---|---|---|
| 准备 | 基线与窗口确认 | 记录当时功耗与告警状态 |
| 断开 | 系统是否继续运行 | 记录断开时刻 |
| 观察 | 告警与业务指标 | 记录告警到达时间 |
| 恢复 | 冗余状态是否还原 | 记录恢复完成时刻 |
| 复盘 | 问题与改进项 | 明确责任人与完成时间 |
演练要同时验证告警是否产生:没有告警的冗余,等于不可观测。
演练前必须通知业务并准备回退方案:断电动作在监控上看起来与真实故障没有区别。
演练报告比演练本身更有价值:时间线与改进项写清楚,下一次演练才有可对比的基准。