从指标观察批处理状态
从指标观察批处理状态
curl -s http://127.0.0.1:8000/metrics | grep -E 'num_requests_running|num_requests_waiting'
# vllm:num_requests_running / vllm:num_requests_waiting（指标名随版本可能微调）副作用是请求延迟随同批邻居变化：压测与容量评估看 P50/P95/P99 分布，而不是单请求耗时。
连续批处理（continuous batching）
每个解码步动态并入新请求、完成的请求立即退出，替代「一批跑完再开下一批」：混合长度请求下 GPU 利用率与总吞吐提升明显，是主流推理引擎的默认调度方式。
易错点
- 按单请求测性能：连续批处理下指标随并发与请求构成变化，容量结论必须基于固定并发与混合长度场景
数据来源与参考
- vLLM 官方文档：连续批处理与调度（docs.vllm.ai）
- Anyscale 博客：Continuous batching（anyscale.com/blog）