面板清单（示意）
面板清单（示意）
延迟：TTFT / TPOT 的 P50·P95·P99
吞吐：tokens/s（注明口径）
资源：KV 使用率、队列长度、GPU 温度
健康：错误率、超时率、重启次数KV 水位与队列长度叠在同一时间轴：能直接看到「并发爬升 → KV 高位 → 排队上升」的因果链。
本包目录（267 条）
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条服务化与网关34 条
运维监控与排障50 条
- 四类必看指标
- CUDA OOM 排查：从止损到根因
- 读懂 PyTorch OOM 报错文本
- 服务超时：先定界再调参
- vLLM /metrics：Prometheus 抓取
- KV 水位指标与扩容信号
- 故障处置清单：五步法
- 告警规则：围绕四类指标
- 模型加载失败：排查顺序
- LLM 服务的 SLO 怎么写
- DCGM 指标：硬件层信号
- 显存碎片：成因与治理
- Xid 错误：含义与处置
- 错误分类：让错误率有意义
- 日志采集：三类分开
- 掉卡检测：nvidia-smi 与内核日志双确认
- 滚动重启：先排空再动手
- 崩溃循环：先停自愈再抓现场
- 容量余量：留多少、何时扩
- 升级流水线：镜像/权重/配置三件套
- 发布后冒烟：固定六个最小用例
- Grafana 面板布局：四栏对齐
- 用 systemd 托管引擎进程
- 模型加载慢：定位与加速
- 服务挂起：抓栈找卡点
- 性能回归：变量隔离法
- 多卡/多机通信挂起排查
- 延迟尖刺：按时间轴对齐排查
- 输出异常：乱码/复读/截断排查
- 队列积压：止损动作阶梯
- 维护窗口与变更管理
- 故障演练：验证监控与处置链路
- 配置漂移：热修参数的代价
- 客户端断开：499 与取消语义
- 磁盘写满：影响面与处置
- 调试端点暴露面：/metrics 与健康检查
- 日志关联：用请求 ID 串起全链路
- 模型制品备份与恢复
- 取证工具：nvidia-bug-report.sh
- 资源泄漏观察：三条曲线
- GPU 资产台账：serial 与位置登记
- 证书到期监控：提前 30 天告警
- 驱动回退：升级失败的退路
- BMC 硬件日志：ipmitool SEL 速查
- 时间同步：chrony 检查与漂移处置
- 容量周报：一张表看趋势
- 维护模式：503 与友好提示
- 值班交接：四件套模板
- 错误日志周审：聚合与闭环
- 固件版本登记：与驱动对齐核查
Grafana 面板布局：四栏对齐
面板按四栏布局：延迟（P50/P95/P99 同图）、吞吐、资源（KV 水位与并发）、健康（错误率与重启）；时间轴对齐后相关性一眼可见。
易错点
- 把平均值做成主视图：先出问题的是分位数与队列曲线，不是均值
数据来源与参考
- Grafana 官方文档（grafana.com/docs）
- vLLM 官方文档：Production Metrics（docs.vllm.ai）