心跳行样例
心跳行样例
: ping
（以冒号开头的行为 SSE 注释，数据通道不受影响）心跳间隔参考链路最长空闲容忍度（常见 15~30 秒）；上线前把 CDN/代理的 idle 超时扫一遍对齐。
本包目录（267 条）
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条
服务化与网关34 条
- OpenAI 兼容接口总览
- chat/completions：请求结构要点
- Nginx 反代 SSE：流式不缓冲
- API Key 鉴权：引擎与网关两层
- 超时链：逐层对齐
- 模型列表与健康探针
- finish_reason：结束原因的处理
- TLS 终结：证书放网关
- 背压：429/503 与重试语义
- LiteLLM Proxy：多后端统一入口
- 多实例负载均衡：upstream 配置
- 限流：Nginx 令牌桶入门
- 客户端重试：范围与预算
- 配额与计量：按 key 对账
- 并发限制：在途请求数上闸
- 客户端 SDK 接入三件事
- 按模型名路由到不同实例组
- 灰度发布：按流量比例切分
- 上游探活与被动摘除
- 网关日志：元数据与内容分级
- 请求 ID：串起全链路日志
- 版本锁定：权重 revision 与接口双固定
- 密钥分发网关（one-api 类）
- 回滚预案：三件套快照
- 到上游的连接复用
- 响应缓存与语义缓存
- Nginx 配置骨架：一页可抄
- SSE 心跳：防中间设备断流
- 模型别名：对外稳定内部可换
- 数据边界：监听地址与最小化
- 网关高可用：别让网关成单点
- 同机连接：Unix domain socket
- 浏览器直连：CORS 配置要点
- 网关容量：按常驻连接估算
SSE 心跳：防中间设备断流
长生成期间链路可能被判空闲而断开：周期发送 SSE 注释行做心跳，并把各层 idle 超时设得大于心跳间隔；客户端需能忽略注释行。
易错点
- 只调 Nginx 超时：CDN 或企业代理的 idle 更短，流式仍被中途切断
数据来源与参考
- HTML 规范：Server-Sent Events（html.spec.whatwg.org）
- Nginx 官方文档：代理超时（nginx.org/en/docs）