多因叠加是什么
现场常有两个独立问题同时发生:丢包叠加应用超时参数过短、DNS 变慢叠加上游变慢、双机同时故障。特征是修好一个后故障仍在,容易让人怀疑自己的结论甚至推翻正确判断。应对方法是维护一张假设清单,逐条标记证实或证伪,并且每修复一项就做一次全量复测并记录数字。
基本信息
| 典型叠加 | 网络丢包 + 超时参数过短;DNS 慢 + 上游慢;主备双机同时故障 |
|---|---|
| 识别方法 | 修复一项后全量复测,部分指标恢复、部分不变即还有第二因 |
| 工具 | 假设清单工作表,逐条标注证实/证伪与证据 |
| 纪律 | 一次只改一处,改完立即复测 |
典型使用场景
- 现象与解释对不上:已知有个小问题,但它的量级不足以解释全部症状
- 修复后『好像好点了』但指标仍未恢复:典型的第二因尚未被发现
- 计划内变更窗口:变更引入的问题与既有隐患同时发作
- 跨团队故障:两个团队各自的问题恰好叠加在同一时间窗
假设清单工作表
假设清单工作表
假设 1:出口丢包 [已证实] mtr 前 3 跳 5% 丢包
假设 2:服务端发布引入慢查询 [已证伪] 回滚发布后耗时不变
假设 3:证书链不完整 [待验证] openssl s_client 只显示 1 张证书
处置顺序:先修假设 1 → 全量复测 → 残留问题再验证假设 3叠加模式与识别线索
| 叠加模式 | 识别线索 | 验证方式 |
|---|---|---|
| 丢包 + 超时参数过短 | 少量丢包即触发大面积超时 | 恢复丢包后仍超时,再调超时参数 |
| DNS 慢 + 上游慢 | 解析耗时与业务耗时同时上升 | 分别压测 DNS 与应用上游 |
| 双机同时故障 | 切换备机后仍不可用 | 逐台摘除验证,不要同时重启 |
同一时刻改多处会让归因失效:即使故障恢复,也不知道是哪个动作生效,下次复发时只能重来一遍。
修复第一因后必须全量复测并记录数字,不要凭印象说『应该好了』;多因场景下『部分恢复』本身就是重要信息。