发布记录模板
发布记录模板
权重：revision / 路径 / 量化版本
启动：完整命令行或 config 文件哈希
路由：网关配置版本号回滚演练在低峰期做一次：确认快照可用、切换时间可预期。
本包目录（267 条）
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条
服务化与网关34 条
- OpenAI 兼容接口总览
- chat/completions：请求结构要点
- Nginx 反代 SSE：流式不缓冲
- API Key 鉴权：引擎与网关两层
- 超时链：逐层对齐
- 模型列表与健康探针
- finish_reason：结束原因的处理
- TLS 终结：证书放网关
- 背压：429/503 与重试语义
- LiteLLM Proxy：多后端统一入口
- 多实例负载均衡：upstream 配置
- 限流：Nginx 令牌桶入门
- 客户端重试：范围与预算
- 配额与计量：按 key 对账
- 并发限制：在途请求数上闸
- 客户端 SDK 接入三件事
- 按模型名路由到不同实例组
- 灰度发布：按流量比例切分
- 上游探活与被动摘除
- 网关日志：元数据与内容分级
- 请求 ID：串起全链路日志
- 版本锁定：权重 revision 与接口双固定
- 密钥分发网关（one-api 类）
- 回滚预案：三件套快照
- 到上游的连接复用
- 响应缓存与语义缓存
- Nginx 配置骨架：一页可抄
- SSE 心跳：防中间设备断流
- 模型别名：对外稳定内部可换
- 数据边界：监听地址与最小化
- 网关高可用：别让网关成单点
- 同机连接：Unix domain socket
- 浏览器直连：CORS 配置要点
- 网关容量：按常驻连接估算
回滚预案：三件套快照
回滚的前提是留痕：每次发布记录「权重版本 + 启动命令 + 路由配置」三件套快照；回滚即切回旧实例组或按快照重启旧配置。
易错点
- 发布不记参数快照：回滚靠记忆凑配置，容易引入二次故障
数据来源与参考
- Google SRE 手册：发布工程（sre.google/sre-book）
- vLLM 官方文档：部署（docs.vllm.ai）