首页/云/可观测性速查/排障四问:发现、定位、解释、预防
监控体系与方法40 条

排障四问:发现、定位、解释、预防

用四个问题检验可观测性是否够用:故障能否被及时发现、能否快速定位到组件、能否解释根因、能否留下防复发证据;答案缺失之处就是建设重点。

可观测性速查云更新于 2026-10-12
  • 发现:这次故障是告警发现还是用户上报?MTTD 是多少?
  • 定位:从告警到下钻到问题组件用了多久?需要在几个系统间切换?
  • 解释:根因是否有数据支撑(指标、日志、链路三者互证)?
  • 预防:是否留下了可验证的改进项(新告警、新看板、新预案)?

复盘时常用数据入口

复盘时常用数据入口
指标:Grafana Explore 查 1h 窗口错误率突变点
日志:按 trace_id 或 request_id 检索同一请求的全部日志行
链路:在 Jaeger/Tempo 按时间与错误标记检索慢链路
四问适合放进复盘模板,逐条记录数据缺口比泛泛的'加强监控'更有落地性。

易错点

  • 复盘只写流程问题不写数据缺口,同类故障下次仍难快速定位
  • 三支柱缺位时容易用重启解决收尾,根因与防复发措施都会落空

数据来源与参考

  • Google SRE Workbook · Postmortem 模板(数据驱动复盘)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌