首页/AI/大模型部署与运维速查/网关容量:按常驻连接估算

网关容量:按常驻连接估算

网关容量按常驻连接而非 QPS 估:流式长连接下,连接数 ≈ 最长生成时长 × 并发;核对文件描述符上限、worker 连接数与上游 keepalive 数。

核对项

核对项
ulimit -n                      # 进程文件描述符上限
# nginx: worker_processes × worker_connections = 连接容量上限
# 常驻连接 ≈ 平均生成时长 × 到达速率
网关扩容成本远低于引擎:先保证网关不先于引擎打满。

易错点

  • 按 QPS 估网关:流式场景连接才是瓶颈,估算口径要先换

数据来源与参考

  • Nginx 官方文档:worker_connections(nginx.org/en/docs)
  • Linux ulimit 手册(man7.org)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌