典型用法(参数取值以版本文档为准)
典型用法(参数取值以版本文档为准)
vllm bench serve --backend openai-chat \
--base-url http://127.0.0.1:8000 --model <模型名> \
--num-prompts 500 --request-rate 20先单实例基线,再扫并发档位(1/4/8/16/32/64)找饱和点;不同配置对比时保持数据集与参数一致。
vLLM 自带基准:vllm bench serve 对 OpenAI 兼容端点发压,输出吞吐与延迟分位,支持控制请求数与到达速率,是容量标定的起点工具。
vllm bench serve --backend openai-chat \
--base-url http://127.0.0.1:8000 --model <模型名> \
--num-prompts 500 --request-rate 20