首页/AI/大模型部署与运维速查/窗口与并发:同一预算的两种花法
本包目录(267 条)
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条
显存与并发估算40 条
服务化与网关34 条运维监控与排障50 条

窗口与并发:同一预算的两种花法

窗口与并发共享同一份 KV 预算:总量固定时窗口翻倍、并发约减半;max-model-len 的选择本质是「长文能力」与「同时服务量」的业务取舍。

相对关系示意

相对关系示意
窗口    可并发序列(相对)
4K      基准
8K      约一半
32K     约 1/8

设置窗口

设置窗口
vllm serve <模型路径> --max-model-len 8192
长短混合场景可把窗口定在覆盖档位,超出部分由网关排队或进长文专用实例。

易错点

  • 把窗口开到模型上限当卖点:并发能力被压到低位,高峰期全是排队

数据来源与参考

  • vLLM 官方文档:Engine 参数与显存调优(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌