首页/AI/大模型部署与运维速查/压测数据:随机与真实脱敏

压测数据:随机与真实脱敏

压测数据决定结论可信度:vllm bench 支持随机长度生成与 ShareGPT 类数据集;随机数据便于跨配置对比,真实脱敏数据更贴近生产画像。

两类数据(示意)

两类数据(示意)
# 随机长度
vllm bench serve ... --dataset-name random --random-input-len 1024 --random-output-len 256 --num-prompts 500
# 数据集文件(如 ShareGPT 格式)
vllm bench serve ... --dataset-name sharegpt --dataset-path <本地路径>
同组数据跨配置对比才有意义:换配置不换数据,或换数据全套重测。

易错点

  • 只用短 prompt 压测:长尾请求才是延迟杀手,数据里要混入长输入档位

数据来源与参考

  • vLLM 官方文档:Benchmarking Datasets(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌