排障四问是什么
排障四问用四个问题检验可观测性是否够用:故障能否被及时发现、能否快速定位到组件、能否用数据解释根因、能否留下防复发的证据。它适合放进复盘模板,逐条记录数据缺口,答不出来的地方就是下一步建设重点。相比泛泛写一句「加强监控」,它的价值在于每个问题都要求指名道姓地说清缺了哪个数据源、哪张看板或哪条告警。
基本信息
| 四个问题 | 发现、定位、解释、预防 |
|---|---|
| 常用度量 | 发现耗时、恢复耗时、下钻跳数 |
| 使用场合 | 事故复盘、演练评估、可观测性建设评审 |
| 输出物 | 数据缺口清单与改进项 |
| 权限要求 | 各数据源的读权限 |
四问逐条
- 发现:这次故障是告警发现还是用户上报?从发生到发现用了多久?
- 定位:从告警到下钻到问题组件用了几步、跨了几个系统?
- 解释:根因是否有数据支撑,指标、日志、链路三者能否互证?
- 预防:是否留下可验证的改进项,比如新告警、新看板、新预案?
使用要点
- 每个问题都要写出具体缺口,例如「缺少连接池等待时长指标」
- 复盘取数走统一入口:指标看突变点、日志按请求标识串联、链路找慢调用
- 四问结果要转成带责任人与时间的改进项,否则复盘只是纸面动作
- 同类缺口反复出现时调整建设优先级,而不是重复记录
- 演练时同样可以用四问评估真实的发现与定位能力
复盘数据入口
复盘数据入口
指标:在 Explore 里查 1 小时窗口内的错误率突变点
日志:按 trace_id 或 request_id 检索同一请求的全部日志行
链路:按时间与错误标记检索慢调用与失败调用
# 四问逐个填数据,缺哪一项就在改进项里补哪一项四问与缺口表现
| 问题 | 要回答的 | 缺数据时的表现 |
|---|---|---|
| 发现 | 谁先发现、用了多久 | 靠用户反馈才知道 |
| 定位 | 下钻到问题组件用了几步 | 在多个系统之间来回切换 |
| 解释 | 根因是否三支柱互证 | 只能凭经验猜 |
| 预防 | 改进项是否可验证 | 只写加强监控,没有具体动作 |
把四问放进复盘模板比临时想问题更可靠:每条结论都要落到具体缺口与具体动作,否则复盘会停在「下次注意」这一层。