首页/AI/大模型部署与运维速查/vllm bench serve:服务端压测
本包目录(267 条)
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条
显存与并发估算40 条
服务化与网关34 条运维监控与排障50 条

vllm bench serve:服务端压测

vLLM 自带基准:vllm bench serve 对 OpenAI 兼容端点发压,输出吞吐与延迟分位,支持控制请求数与到达速率,是容量标定的起点工具。

典型用法(参数取值以版本文档为准)

典型用法(参数取值以版本文档为准)
vllm bench serve --backend openai-chat \
  --base-url http://127.0.0.1:8000 --model <模型名> \
  --num-prompts 500 --request-rate 20
先单实例基线,再扫并发档位(1/4/8/16/32/64)找饱和点;不同配置对比时保持数据集与参数一致。

易错点

  • 压测与生产用不同长度结构:数字好看、上量打脸,数据要贴近真实画像

数据来源与参考

  • vLLM 官方文档:Benchmarking(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌