SLO 示例（数值按自身基线定）
| 维度 | SLI | 目标示例 |
|---|---|---|
| 可用性 | 成功响应占比（剔除 4xx/429） | ≥ 99.9%/月 |
| 首包延迟 | TTFT P95 | ≤ 目标毫秒数 |
| 解码速度 | TPOT P95 | ≤ 目标毫秒/token |
| 排队 | 等待时长 P95 | ≤ 目标秒数 |
错误预算
错误预算
错误预算 = 1 - SLO
月预算耗尽 → 冻结非必要发布，优先修复稳定性分位数先看 P95/P99：长尾体验问题藏在尾部，均值会把它们抹平。
本包目录（267 条）
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条服务化与网关34 条
运维监控与排障50 条
- 四类必看指标
- CUDA OOM 排查：从止损到根因
- 读懂 PyTorch OOM 报错文本
- 服务超时：先定界再调参
- vLLM /metrics：Prometheus 抓取
- KV 水位指标与扩容信号
- 故障处置清单：五步法
- 告警规则：围绕四类指标
- 模型加载失败：排查顺序
- LLM 服务的 SLO 怎么写
- DCGM 指标：硬件层信号
- 显存碎片：成因与治理
- Xid 错误：含义与处置
- 错误分类：让错误率有意义
- 日志采集：三类分开
- 掉卡检测：nvidia-smi 与内核日志双确认
- 滚动重启：先排空再动手
- 崩溃循环：先停自愈再抓现场
- 容量余量：留多少、何时扩
- 升级流水线：镜像/权重/配置三件套
- 发布后冒烟：固定六个最小用例
- Grafana 面板布局：四栏对齐
- 用 systemd 托管引擎进程
- 模型加载慢：定位与加速
- 服务挂起：抓栈找卡点
- 性能回归：变量隔离法
- 多卡/多机通信挂起排查
- 延迟尖刺：按时间轴对齐排查
- 输出异常：乱码/复读/截断排查
- 队列积压：止损动作阶梯
- 维护窗口与变更管理
- 故障演练：验证监控与处置链路
- 配置漂移：热修参数的代价
- 客户端断开：499 与取消语义
- 磁盘写满：影响面与处置
- 调试端点暴露面：/metrics 与健康检查
- 日志关联：用请求 ID 串起全链路
- 模型制品备份与恢复
- 取证工具：nvidia-bug-report.sh
- 资源泄漏观察：三条曲线
- GPU 资产台账：serial 与位置登记
- 证书到期监控：提前 30 天告警
- 驱动回退：升级失败的退路
- BMC 硬件日志：ipmitool SEL 速查
- 时间同步：chrony 检查与漂移处置
- 容量周报：一张表看趋势
- 维护模式：503 与友好提示
- 值班交接：四件套模板
- 错误日志周审：聚合与闭环
- 固件版本登记：与驱动对齐核查
LLM 服务的 SLO 怎么写
给 LLM 服务定 SLO：可用性（成功请求占比，剔除 4xx 与限流）、延迟（TTFT 与 TPOT 的分位）、队列等待；错误预算按 1 减 SLO 计算，预算耗尽冻结变更。
易错点
- 拿平均值宣布达标：均值掩盖长尾，体感与报表会长期脱节
数据来源与参考
- Google SRE Workbook：SLO 与错误预算（sre.google/workbook）