首页/开发/CI/CD 与发布速查/故障演练日(Game Day)
质量门禁与回滚51 条

故障演练日(Game Day)

有组织地向系统注入故障(依赖中断、实例淘汰、慢查询等),验证检测、响应与回滚链路;在可控时间窗内发现真实的薄弱点。

CI/CD 与发布速查开发更新于 2026-10-12
形式计划性演练:明确范围、时间窗与回退开关
注入流量消减、依赖故障、实例终止等,按风险选择
观测检测时间、响应动作、恢复时长、协作链路
产出改进项进入可靠性待办

演练计划要点

演练计划要点
范围:支付链路(预发环境)
注入:中断第三方支付回调 5 分钟
预期:熔断生效 < 30s,告警触达值班
中止开关:立即恢复注入的开关
未设中止条件的演练风险高:先明确回退开关与责任人,再开始注入。

易错点

  • 一次性大规模注入:影响面超出预期,演练变成真实事故
  • 只练技术不练协作:沟通与升级链路的缺陷依旧

数据来源与参考

  • Google SRE Workbook《Disaster Recovery》
  • AWS《Well-Architected Framework》(可靠性)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌