Nginx 反代 SSE：流式不缓冲

流式接口经 Nginx 常见坑是响应被缓冲：需要关闭 proxy_buffering、使用 HTTP/1.1、放宽读超时，并把到上游的连接头清空以复用长连接。

大模型部署与运维速查AI更新于 2026-10-12

关键 location 配置

location /v1/ {
    proxy_pass http://127.0.0.1:8000;
    proxy_http_version 1.1;
    proxy_buffering off;
    proxy_cache off;
    proxy_read_timeout 600s;
    proxy_set_header Connection "";
}

超时按生成时长设置：长输出场景读超时要大于最长生成时间，否则流中途被切断。

易错点

只改一层：CDN 或企业代理仍会缓冲，表现为流式「一块块来」或整段等待

数据来源与参考

Nginx 官方文档：proxy_buffering（nginx.org/en/docs）
vLLM 官方文档：流式与代理注意事项（docs.vllm.ai）

继续搜索

常用关键词：3389 traceroute iptables 子网掩码 docker

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌