演练要验证什么
日常最容易被高估的就是恢复能力：文档写得完整，真出事时才发现无人执行过、步骤有依赖缺失、耗时远超预期。演练的作用是把纸面流程变成有实测数据的结论。它验证的不只是技术动作，还包括角色分工、沟通路径、决策权限与外部依赖（厂商支持、备件到货）。
基本信息
| 演练类型 | 控制路径切换、盘与链路故障模拟、节点重启、完整恢复流程演练、桌面推演 |
|---|---|
| 设计要素 | 目标、范围、风险、中止条件、观察指标、时间记录、参与角色 |
| 必备前置 | 数据与配置备份可用、变更授权、业务知会、避开业务高峰 |
| 观察指标 | 恢复耗时、数据丢失窗口、业务错误率、路径与卷状态恢复情况 |
| 输出物 | 实测结果、暴露的问题清单、文档修订与责任人、复演计划 |
| 风险约束 | 尚未验证的关键假设不要在业务高峰期首次验证 |
典型使用场景
- 年度容灾与高可用演练计划的一部分
- 新架构或新存储上线前，验证切换与恢复流程是否成立
- 故障复盘后补充验证，确认改进项真的有效
- 人员交替期间验证交接质量，确认新人能按文档执行
- 与厂商联合验证支持流程与备件响应时间
演练中的记录方式
演练中的记录方式
# 演练全程带时间戳记录，用于事后计算恢复耗时
ts() { date '+%F %T'; }
ts; echo '演练开始：模拟单侧控制器失效'
multipath -ll | tee /tmp/drill-$(date +%H%M)-paths.txt
ts; echo '记录业务侧错误率与延迟'
iostat -x 1 60 > /tmp/drill-iostat.txt
# 关键节点都要打时间戳：故障注入、服务恢复、验证通过
ts; echo '验证读写与数据一致性通过'
# 演练结束立刻归档记录，作为复盘与文档修订依据演练项与通过判据
| 演练项 | 观察指标 | 通过判据 |
|---|---|---|
| 控制路径切换 | 切换耗时、IO 中断时长 | 小于应用超时容忍值且无数据错误 |
| 盘故障模拟 | 降级状态、重建启动时间 | 降级后业务继续、重建按预期启动 |
| 链路中断 | 剩余路径数量、业务错误率 | 冗余路径独立支撑业务 |
| 恢复流程演练 | 整体恢复耗时与数据一致性 | 实测值与设计目标一致，数据可验证 |
演练必须预设中止条件：出现数据错误、影响面超出预期范围、或关键指标劣化到阈值时立即停止并回到稳态。没有中止条件的演练，本质是把风险引入生产。
演练结论要落回文档：把实测耗时、实际执行顺序、遇到的阻塞点补进去，下一次演练才有更高的起点。只做演练不改文档，等于重复交学费。