排障记录要记什么
排障过程本身就是一份证据链:谁在什么时间做了什么、观察到什么、由此得出什么结论。记录下来有三个用处:多班次交接时不必口头复述;复盘时能还原当时的判断依据;向上汇报或对外交涉时,时间线与证据比结论更容易被接受。格式不必复杂,一份纯文本的时间线加每条的操作、输出与结论即可,关键是当场写而不是事后补。
基本信息
| 用途 | 多班次交接、故障复盘、对外汇报与报障 |
|---|---|
| 格式 | 时间线,每条包含操作、输出与结论三段 |
| 工具 | 纯文本即可,不必上重系统 |
| 关键要求 | 命令原文与关键输出要写具体,避免笼统描述 |
| 附件管理 | 大批输出存成文件并记录路径与时间戳 |
典型使用场景
- 多人轮班排障:交接时直接沿用同一份记录继续写
- 故障复盘:按时间线还原决策依据,比凭记忆更可靠
- 向厂商报障:附时间线与证据清单,沟通效率明显提升
- 跨团队协作:把结论与证据分开列出,避免互相指认
- 知识沉淀:典型故障的记录可以直接整理成排查经验
最小可用记录模板(text)
最小可用记录模板(text)
【故障现象】影响范围 / 开始时间 / 报错样例
【时间线】
10:12 监控告警:X 业务 5xx 上升
10:15 执行 curl -v:TLS 握手超时
10:20 抓包:客户端 SYN 无响应(重传 3 次)
10:31 核查变更记录:10:05 有过出口防火墙策略变更
10:40 回滚策略后恢复
【结论】防火墙变更误封 443
【证据】pcap 文件 /tmp/443.pcap、防火墙配置差异、curl 输出
【待办】监控补充端口级告警;变更单增加回滚演练记录要素与常见缺失
| 要素 | 写法示例 | 常见缺失 |
|---|---|---|
| 时间 | 精确到分钟,与系统时间同源 | 只写先后顺序,无法与其他数据对齐 |
| 操作 | 命令原文与执行主机 | 写成检查了一下网络 |
| 观察 | 关键输出的摘要或文件路径 | 粘贴整段日志,正文被淹没 |
| 结论 | 一句话说明当前判断与依据 | 只有操作没有结论 |
| 证据 | 文件路径、抓取时间与范围 | 证据散落,事后找不到 |
记录要写命令原文加关键输出,不要写「检查了一下网络」这类无法复盘的描述;一句话级别的随手记,比事后补写一整页更准确。