- 杀引擎进程:验证自愈策略、告警触达与重启时长
- 摘一台后端:验证负载均衡切换与剩余容量
- KV 压力:持续长请求打满水位,验证排队行为与限流
- 慢盘/断网(限预发):验证超时链路与降级
单变量演练示例(低峰单实例)
单变量演练示例(低峰单实例)
kill -9 <引擎PID>
# 记录:自愈是否触发、告警几分钟内抵达、
# 客户端错误率曲线与恢复到正常的时间演练前书面声明影响面与回退方案;生产环境演练需要审批,不要在业务高峰顺手做。
演练的目的不是搞坏系统,而是验证「监控能否发现、告警能否触达、处置能否执行」;在预发或低峰单实例上做,一次只注入一个变量。
kill -9 <引擎PID>
# 记录:自愈是否触发、告警几分钟内抵达、
# 客户端错误率曲线与恢复到正常的时间