设置示例
设置示例
vllm serve <模型路径> --max-num-seqs 256能不能真的容纳这么多序列，取决于窗口长度与 KV 池大小：先算 KV 账再定值。
max-num-seqs：在批序列数上限
限制同一时刻在批的序列数：调大提高吞吐上限但可能拉长排队，调小降低尾延迟与峰值压力；与 KV 池容量联动，是并发策略的主拨杆。
易错点
- 只调参数不看 KV：池不够时触发抢占与重算，吞吐反而下降
数据来源与参考
- vLLM 官方文档：调度与批处理（docs.vllm.ai）
限制同一时刻在批的序列数：调大提高吞吐上限但可能拉长排队，调小降低尾延迟与峰值压力；与 KV 池容量联动，是并发策略的主拨杆。
vllm serve <模型路径> --max-num-seqs 256