取值速查
取值速查
stop 正常结束 / 命中停止串
tool_calls 模型请求调用工具
length 达到 max_tokens 被截断
content_filter 内容过滤（部分实现）统计 length 占比是常见的质量观测：截断率高要么调 max_tokens，要么收紧提示词。
本包目录（267 条）
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条
服务化与网关34 条
- OpenAI 兼容接口总览
- chat/completions：请求结构要点
- Nginx 反代 SSE：流式不缓冲
- API Key 鉴权：引擎与网关两层
- 超时链：逐层对齐
- 模型列表与健康探针
- finish_reason：结束原因的处理
- TLS 终结：证书放网关
- 背压：429/503 与重试语义
- LiteLLM Proxy：多后端统一入口
- 多实例负载均衡：upstream 配置
- 限流：Nginx 令牌桶入门
- 客户端重试：范围与预算
- 配额与计量：按 key 对账
- 并发限制：在途请求数上闸
- 客户端 SDK 接入三件事
- 按模型名路由到不同实例组
- 灰度发布：按流量比例切分
- 上游探活与被动摘除
- 网关日志：元数据与内容分级
- 请求 ID：串起全链路日志
- 版本锁定：权重 revision 与接口双固定
- 密钥分发网关（one-api 类）
- 回滚预案：三件套快照
- 到上游的连接复用
- 响应缓存与语义缓存
- Nginx 配置骨架：一页可抄
- SSE 心跳：防中间设备断流
- 模型别名：对外稳定内部可换
- 数据边界：监听地址与最小化
- 网关高可用：别让网关成单点
- 同机连接：Unix domain socket
- 浏览器直连：CORS 配置要点
- 网关容量：按常驻连接估算
finish_reason：结束原因的处理
响应里的 finish_reason 说明生成终止原因：stop（正常或命中停止串）、length（达到上限被截断）、tool_calls（转为工具调用）等；网关与前端按它决定后续动作。
易错点
- 忽略 finish_reason 直接展示：被截断的回答当完整输出，用户侧表现为话说到一半
数据来源与参考
- OpenAI API 参考：finish_reason（platform.openai.com/docs）
- vLLM 官方文档：OpenAI 兼容服务器（docs.vllm.ai）