四类指标
| 类别 | 代表指标 | 用途 |
|---|---|---|
| 延迟 | TTFT、TPOT、P95 | 体验与 SLA |
| 吞吐 | 输出 tokens/s、req/s | 容量与成本 |
| 资源 | KV 水位、显存、GPU 利用率 | 扩容与调参 |
| 健康 | 错误率、超时率、重启数 | 稳定性 |
指标不在多，在能用起来：面板与告警能对应到具体处置动作才有价值。
本包目录（267 条）
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条服务化与网关34 条
运维监控与排障50 条
- 四类必看指标
- CUDA OOM 排查：从止损到根因
- 读懂 PyTorch OOM 报错文本
- 服务超时：先定界再调参
- vLLM /metrics：Prometheus 抓取
- KV 水位指标与扩容信号
- 故障处置清单：五步法
- 告警规则：围绕四类指标
- 模型加载失败：排查顺序
- LLM 服务的 SLO 怎么写
- DCGM 指标：硬件层信号
- 显存碎片：成因与治理
- Xid 错误：含义与处置
- 错误分类：让错误率有意义
- 日志采集：三类分开
- 掉卡检测：nvidia-smi 与内核日志双确认
- 滚动重启：先排空再动手
- 崩溃循环：先停自愈再抓现场
- 容量余量：留多少、何时扩
- 升级流水线：镜像/权重/配置三件套
- 发布后冒烟：固定六个最小用例
- Grafana 面板布局：四栏对齐
- 用 systemd 托管引擎进程
- 模型加载慢：定位与加速
- 服务挂起：抓栈找卡点
- 性能回归：变量隔离法
- 多卡/多机通信挂起排查
- 延迟尖刺：按时间轴对齐排查
- 输出异常：乱码/复读/截断排查
- 队列积压：止损动作阶梯
- 维护窗口与变更管理
- 故障演练：验证监控与处置链路
- 配置漂移：热修参数的代价
- 客户端断开：499 与取消语义
- 磁盘写满：影响面与处置
- 调试端点暴露面：/metrics 与健康检查
- 日志关联：用请求 ID 串起全链路
- 模型制品备份与恢复
- 取证工具：nvidia-bug-report.sh
- 资源泄漏观察：三条曲线
- GPU 资产台账：serial 与位置登记
- 证书到期监控：提前 30 天告警
- 驱动回退：升级失败的退路
- BMC 硬件日志：ipmitool SEL 速查
- 时间同步：chrony 检查与漂移处置
- 容量周报：一张表看趋势
- 维护模式：503 与友好提示
- 值班交接：四件套模板
- 错误日志周审：聚合与闭环
- 固件版本登记：与驱动对齐核查
四类必看指标
监控围绕四类：延迟（TTFT/TPOT 与分位）、吞吐（统一口径）、资源（KV 水位、显存、利用率）、健康（错误率、超时率、重启次数）；每类钉一个面板加一条告警。
易错点
- 只看 GPU 利用率：服务健康要看延迟与错误率，利用率高不代表没故障
数据来源与参考
- vLLM 官方文档：Production Metrics（docs.vllm.ai）
- Google SRE 手册：监控分布式系统（sre.google/sre-book）