形态示意
形态示意
负载均衡/虚拟 IP
├─ 网关副本 A ─┐
└─ 网关副本 B ─┴→ 引擎实例组副本间无状态是前提：会话与计数外置（Redis 等），配置与密钥集中管理。
本包目录（267 条）
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条
服务化与网关34 条
- OpenAI 兼容接口总览
- chat/completions：请求结构要点
- Nginx 反代 SSE：流式不缓冲
- API Key 鉴权：引擎与网关两层
- 超时链：逐层对齐
- 模型列表与健康探针
- finish_reason：结束原因的处理
- TLS 终结：证书放网关
- 背压：429/503 与重试语义
- LiteLLM Proxy：多后端统一入口
- 多实例负载均衡：upstream 配置
- 限流：Nginx 令牌桶入门
- 客户端重试：范围与预算
- 配额与计量：按 key 对账
- 并发限制：在途请求数上闸
- 客户端 SDK 接入三件事
- 按模型名路由到不同实例组
- 灰度发布：按流量比例切分
- 上游探活与被动摘除
- 网关日志：元数据与内容分级
- 请求 ID：串起全链路日志
- 版本锁定：权重 revision 与接口双固定
- 密钥分发网关（one-api 类）
- 回滚预案：三件套快照
- 到上游的连接复用
- 响应缓存与语义缓存
- Nginx 配置骨架：一页可抄
- SSE 心跳：防中间设备断流
- 模型别名：对外稳定内部可换
- 数据边界：监听地址与最小化
- 网关高可用：别让网关成单点
- 同机连接：Unix domain socket
- 浏览器直连：CORS 配置要点
- 网关容量：按常驻连接估算
网关高可用：别让网关成单点
网关按无状态服务部署：两副本起步 + 前置负载均衡/虚拟 IP，配额计数与配置放外部存储；任一副本可随时重启替换。
易错点
- 网关默默单副本运行：挂了才想起没有冗余，全部模型同时不可用
数据来源与参考
- LiteLLM 官方文档：部署（docs.litellm.ai）
- Nginx 官方文档：负载均衡（nginx.org/en/docs）