故障处置清单是什么
故障处置固定五步：确认影响面、止损、取证、修复验证、复盘。每一步都有可照做的动作，写进 Runbook 后值班不需要临场发明流程。关键原则是止损与查因并行：先恢复服务，再慢慢定位根因，不要为了弄清楚原因让故障持续暴露。
基本信息
| 五步 | 确认影响面、止损、取证、修复验证、复盘 |
|---|---|
| 核心原则 | 先恢复服务，再定位根因；两件事并行推进 |
| 取证内容 | 日志、内核消息、监控指标快照、GPU 诊断信息 |
| 验证节奏 | 单点验证 → 小流量 → 全量，随时保留回退路径 |
| 复盘要求 | 时间线、根因、行动项与负责人，闭环跟踪 |
五步动作
- 确认影响面：哪些模型、实例、租户受影响，确定起止时间点，先对外同步一次
- 止损：摘流量、切备用通道、限流降级，目标是尽快恢复可用性
- 取证：日志、内核消息、指标快照、GPU 诊断信息归档到工单，避免现场被覆盖
- 修复验证：按单点、小流量、全量的节奏放量，逐步确认并保留回退路径
- 复盘：时间线、根因、行动项与负责人，逐项跟踪直到关闭
现场快照（示意）
现场快照（示意）
# 重启或清理现场之前先留证据
snap="/var/incident/$(date +%F-%H%M)"; mkdir -p "$snap"
dmesg -T > "$snap/dmesg.txt" 2>/dev/null || true # 内核层报错与掉卡记录
nvidia-smi -q > "$snap/nvidia-smi-q.txt" 2>/dev/null || true
nvidia-bug-report.sh "$snap" 2>/dev/null || true # GPU 侧完整诊断包
cp <服务日志> "$snap/" # 服务日志原件五步的产出
| 步骤 | 动作要点 | 产出 |
|---|---|---|
| 确认影响面 | 圈定范围与时间点 | 对外首条通报 |
| 止损 | 摘流量、切兜底、限流 | 服务恢复可用 |
| 取证 | 快照归档到工单 | 可追溯的证据集 |
| 修复验证 | 单点 → 小流量 → 全量 | 确认修复有效 |
| 复盘 | 时间线与行动项 | 改进措施闭环 |
止损与查因并行：摘掉故障实例的同时继续保留现场用于分析，两件事不必串行，串行只会延长故障时间。
取证要在重启、清缓存、重建容器之前完成：很多关键线索只存在于当时的内存与日志里，重启一次就永久丢失。