首页/AI/大模型部署与运维速查/并发限制:在途请求数上闸
本包目录(267 条)

并发限制:在途请求数上闸

并发限制控制同时在途的请求数:Nginx limit_conn 按连接数上闸,应用网关用信号量/队列上限;它约束的是「同时干多少活」,与速率限流互补。

Nginx limit_conn 片段

Nginx limit_conn 片段
limit_conn_zone $binary_remote_addr zone=conn:10m;

location /v1/ {
    limit_conn conn 20;
    proxy_pass http://127.0.0.1:8000;
}
网关并发上限建议略高于引擎容量:多出的部分排队;超过则回 429,而不是无限等。

易错点

  • 只设速率限流:并发不受控时长连接堆积,抢占与尾延迟同时恶化

数据来源与参考

  • Nginx 官方文档:ngx_http_limit_conn_module(nginx.org/en/docs)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌