| 表现 | 访问日志出现 499 / 客户端中止 |
|---|---|
| 服务端 | 多数引擎检测连接断开并终止生成 |
| 监控 | 取消率升高说明客户端侧体验或配置有问题 |
观察方法
观察方法
grep ' 499 ' <nginx访问日志> | tail -5
tail -f <引擎日志> | grep -i -E 'abort|cancel|disconnect'长回答场景让客户端与网关保持心跳；读超时放到覆盖生成时长的水平，减少「其实在生成、客户端先放弃」的浪费。
客户端断开：499 与取消语义
用户提前关闭页面或客户端超时，会产生「客户端断开」：nginx 语义记 499，引擎通常检测断开并中止该请求的生成；要观察的是取消率以及它对显存水位的释放。
易错点
- 把 499 一味归为网关故障：其语义是客户端先断开，要顺着客户端超时配置去找
数据来源与参考
- nginx 文档：ngx_http_log_module 与客户端中途断开日志（nginx.org）
- vLLM 官方文档：Production Metrics（docs.vllm.ai）