首页/AI/大模型部署与运维速查/故障演练:验证监控与处置链路
运维监控与排障50 条

故障演练:验证监控与处置链路

演练的目的不是搞坏系统,而是验证「监控能否发现、告警能否触达、处置能否执行」;在预发或低峰单实例上做,一次只注入一个变量。

  • 杀引擎进程:验证自愈策略、告警触达与重启时长
  • 摘一台后端:验证负载均衡切换与剩余容量
  • KV 压力:持续长请求打满水位,验证排队行为与限流
  • 慢盘/断网(限预发):验证超时链路与降级

单变量演练示例(低峰单实例)

单变量演练示例(低峰单实例)
kill -9 <引擎PID>
# 记录:自愈是否触发、告警几分钟内抵达、
#       客户端错误率曲线与恢复到正常的时间
演练前书面声明影响面与回退方案;生产环境演练需要审批,不要在业务高峰顺手做。

易错点

  • 演练没有观测记录:等于白做,要拿到「发现时间/恢复时间」这类数字

数据来源与参考

  • Principles of Chaos Engineering(principlesofchaos.org)
  • Netflix Technology Blog:Chaos Engineering
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌