两类数据(示意)
两类数据(示意)
# 随机长度
vllm bench serve ... --dataset-name random --random-input-len 1024 --random-output-len 256 --num-prompts 500
# 数据集文件(如 ShareGPT 格式)
vllm bench serve ... --dataset-name sharegpt --dataset-path <本地路径>同组数据跨配置对比才有意义:换配置不换数据,或换数据全套重测。