- 确认影响面：哪些模型/实例/租户受影响，确定起止时间点
- 止损：摘流量、切备用、限流降级——先恢复服务再查根因
- 取证：日志、dmesg、指标快照、nvidia-bug-report 归档到工单
- 修复验证：单点验证 → 小流量 → 全量，保留回退路径
- 复盘：时间线、根因、行动项与负责人，闭环跟踪
现场快照（示意）
现场快照（示意）
ts=$(date +%F-%H%M); mkdir -p /var/incident/$ts
(dmesg -T > /var/incident/$ts/dmesg.txt) 2>/dev/null || true
ipmitool sel list > /var/incident/$ts/bmc-sel.txt 2>/dev/null || true
cp <服务日志> /var/incident/$ts/止损与查因并行：不要为了查明原因让故障持续暴露，两件事可以同时进行。