| 基线一 | 峰值并发与队列长度（含时间分布） |
|---|---|
| 基线二 | P95 延迟目标下的单实例吞吐 |
| 基线三 | KV 水位峰值，留 15%~20% 裕量 |
- 触发线：排队时长超过延迟预算的一半，或 KV 峰值水位连续 10 分钟超阈值
- 扩容延时：权重加载分钟级、预热与 CUDA Graph 捕获另计，写进 Runbook
- 缩容求稳：先降权重再观察，宁可慢一点避免抖动
容量评审按周看趋势：请求长度分布变化会直接改变单实例吞吐，不能照搬上周结论。
本包目录（267 条）
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条服务化与网关34 条
运维监控与排障50 条
- 四类必看指标
- CUDA OOM 排查：从止损到根因
- 读懂 PyTorch OOM 报错文本
- 服务超时：先定界再调参
- vLLM /metrics：Prometheus 抓取
- KV 水位指标与扩容信号
- 故障处置清单：五步法
- 告警规则：围绕四类指标
- 模型加载失败：排查顺序
- LLM 服务的 SLO 怎么写
- DCGM 指标：硬件层信号
- 显存碎片：成因与治理
- Xid 错误：含义与处置
- 错误分类：让错误率有意义
- 日志采集：三类分开
- 掉卡检测：nvidia-smi 与内核日志双确认
- 滚动重启：先排空再动手
- 崩溃循环：先停自愈再抓现场
- 容量余量：留多少、何时扩
- 升级流水线：镜像/权重/配置三件套
- 发布后冒烟：固定六个最小用例
- Grafana 面板布局：四栏对齐
- 用 systemd 托管引擎进程
- 模型加载慢：定位与加速
- 服务挂起：抓栈找卡点
- 性能回归：变量隔离法
- 多卡/多机通信挂起排查
- 延迟尖刺：按时间轴对齐排查
- 输出异常：乱码/复读/截断排查
- 队列积压：止损动作阶梯
- 维护窗口与变更管理
- 故障演练：验证监控与处置链路
- 配置漂移：热修参数的代价
- 客户端断开：499 与取消语义
- 磁盘写满：影响面与处置
- 调试端点暴露面：/metrics 与健康检查
- 日志关联：用请求 ID 串起全链路
- 模型制品备份与恢复
- 取证工具：nvidia-bug-report.sh
- 资源泄漏观察：三条曲线
- GPU 资产台账：serial 与位置登记
- 证书到期监控：提前 30 天告警
- 驱动回退：升级失败的退路
- BMC 硬件日志：ipmitool SEL 速查
- 时间同步：chrony 检查与漂移处置
- 容量周报：一张表看趋势
- 维护模式：503 与友好提示
- 值班交接：四件套模板
- 错误日志周审：聚合与闭环
- 固件版本登记：与驱动对齐核查
容量余量：留多少、何时扩
推理集群按「峰值并发 × 系数」预留余量，用队列时长与 KV 水位做扩容触发；扩容有加载与预热成本，触发线要按增长斜率提前量设计。
易错点
- 按 GPU 利用率扩容：解码阶段利用率天然不高，应以队列与 KV 水位为准
数据来源与参考
- Google SRE 手册：Capacity Planning（sre.google/sre-book）
- vLLM 官方文档：Production Metrics（docs.vllm.ai）