混沌工程

在可控范围内主动注入故障(延迟、宕机、网络分区),验证系统韧性假设;以稳态假设、有限爆炸半径与随时可中止为原则,可从只读实验起步。

流程

流程
1. 定义稳态指标(成功率、P99)
2. 提出假设:注入 X 故障,稳态不破
3. 从小范围注入(单实例、单依赖)
4. 观察并支持自动中止
5. 修复暴露的问题,纳入回归演练

实验设计检查

项要点
稳态假设用可观测指标定义“系统正常”(成功率、P99)
爆炸半径单实例 → 单依赖 → 小比例流量,逐步扩大
中止条件指标越界自动终止,人工一键停止可用
复盘闭环暴露问题进缺陷跟踪,修复后排期复验
混沌实验必须有终止条件与影响开关;先验证演练平台本身,再逐步扩大范围。

易错点

  • 实验范围失控波及核心链路,造成真实事故
  • 只注入故障不修复问题,演练流于形式

数据来源与参考

  • Principles of Chaos Engineering(principlesofchaos.org)
  • Netflix Chaos Monkey 文档
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌