首页/云/可观测性速查/故障演练:用受控实验验证可观测性
本包目录(282 条)
监控体系与方法40 条
Prometheus 与采集64 条Grafana 与看板53 条日志平台52 条链路追踪23 条告警与响应50 条

故障演练:用受控实验验证可观测性

定期开展故障演练(注入延迟、杀掉实例、断开依赖),验证监控能否按预期发现、告警能否触达、预案是否可用;演练结果反哺告警与看板改进。

可观测性速查云更新于 2026-10-12
演练前明确假设(如主库宕机应在 2 分钟内触发告警)与回滚方案
演练中记录告警时间线、人工处置动作与数据缺口
演练后输出改进项:新告警、新看板、预案修订

演练记录模板(示例)

演练记录模板(示例)
实验:关闭订单库从库
预期:2 分钟内触发 ReplicaDown(P2),5 分钟内触发复制延迟告警
实际:ReplicaDown 在 1m12s 触发;延迟告警未触发(阈值偏高)
改进:调整 slave lag 阈值;补充复制中断看板注释
从只读演练(如观察注入的延迟)做起,验证链路通畅后再提高实验强度,避免影响真实用户。

易错点

  • 演练没有回滚预案或选在业务高峰执行,会把演练变成真实事故
  • 只演练不记录,无法验证告警覆盖是否真的改进了

数据来源与参考

  • Google SRE Book 第 17 章 Testing for Reliability(演练理念)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌