交接模板（示意）
交接模板（示意）
1) 未闭环事件：现象/已做动作/下一步/等待谁
2) 当前风险：队列水位、显存碎片、降频卡、证书临期
3) 近期变更：时间/内容/回退点
4) 容量余量：可用实例数、预计高峰承受量- 未闭环事件必须带「下一步动作」而不是只有描述
- 风险项写清触发条件与预案入口（Runbook 链接）
- 交接记录留档：事后复盘的一手材料
交接不替代告警：风险项该立案的立案，别让交接清单成为唯一载体。
本包目录（267 条）
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条服务化与网关34 条
运维监控与排障50 条
- 四类必看指标
- CUDA OOM 排查：从止损到根因
- 读懂 PyTorch OOM 报错文本
- 服务超时：先定界再调参
- vLLM /metrics：Prometheus 抓取
- KV 水位指标与扩容信号
- 故障处置清单：五步法
- 告警规则：围绕四类指标
- 模型加载失败：排查顺序
- LLM 服务的 SLO 怎么写
- DCGM 指标：硬件层信号
- 显存碎片：成因与治理
- Xid 错误：含义与处置
- 错误分类：让错误率有意义
- 日志采集：三类分开
- 掉卡检测：nvidia-smi 与内核日志双确认
- 滚动重启：先排空再动手
- 崩溃循环：先停自愈再抓现场
- 容量余量：留多少、何时扩
- 升级流水线：镜像/权重/配置三件套
- 发布后冒烟：固定六个最小用例
- Grafana 面板布局：四栏对齐
- 用 systemd 托管引擎进程
- 模型加载慢：定位与加速
- 服务挂起：抓栈找卡点
- 性能回归：变量隔离法
- 多卡/多机通信挂起排查
- 延迟尖刺：按时间轴对齐排查
- 输出异常：乱码/复读/截断排查
- 队列积压：止损动作阶梯
- 维护窗口与变更管理
- 故障演练：验证监控与处置链路
- 配置漂移：热修参数的代价
- 客户端断开：499 与取消语义
- 磁盘写满：影响面与处置
- 调试端点暴露面：/metrics 与健康检查
- 日志关联：用请求 ID 串起全链路
- 模型制品备份与恢复
- 取证工具：nvidia-bug-report.sh
- 资源泄漏观察：三条曲线
- GPU 资产台账：serial 与位置登记
- 证书到期监控：提前 30 天告警
- 驱动回退：升级失败的退路
- BMC 硬件日志：ipmitool SEL 速查
- 时间同步：chrony 检查与漂移处置
- 容量周报：一张表看趋势
- 维护模式：503 与友好提示
- 值班交接：四件套模板
- 错误日志周审：聚合与闭环
- 固件版本登记：与驱动对齐核查
值班交接：四件套模板
交接面向下一班：未闭环事件、当前风险点、近期变更与容量余量四件套；格式固定后交接可以在十分钟内完成，避免关键信息只留在上一班脑子里。
易错点
- 口头交接：两班记忆不一致，遗漏项常在夜里爆发
数据来源与参考
- Google SRE 手册：Being On-Call（sre.google/sre-book）