服务化与网关34 条

到上游的连接复用

网关到引擎启用连接复用：upstream 配 keepalive 并清空 Connection 头，减少每次请求的连接建立开销，高 QPS 下对尾延迟有实际收益。

大模型部署与运维速查AI更新于 2026-10-12

完整片段

upstream llm {
    server 127.0.0.1:8000;
    keepalive 64;
}

location /v1/ {
    proxy_http_version 1.1;
    proxy_set_header Connection "";
    proxy_pass http://llm;
}

keepalive 数量按并发与实例数估算：过小无感、过大两侧都多占资源。

易错点

只配 keepalive 不清 Connection 头：连接依旧逐请求断开，配置形同虚设

数据来源与参考

Nginx 官方文档：keepalive（nginx.org/en/docs）

继续搜索

常用关键词：3389 traceroute iptables 子网掩码 docker

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌