数据决定结论可信度
压测数据决定结论的可信度：随机长度数据便于跨配置对比，真实脱敏数据更贴近生产画像。用哪一类取决于要回答什么问题，做参数对比用随机数据，做容量评估用真实画像；两类混着用，结论就无法归因。
基本信息
| 适用平台 | 自托管推理服务的压测工具 |
|---|---|
| 两类数据 | 随机长度生成与真实数据集文件 |
| 关键字段 | 输入长度分布、输出长度分布、请求数量 |
| 记录要求 | 数据集标识与压测参数一起写进报告 |
两类数据（示意）
两类数据（示意）
# 随机长度
vllm bench serve ... --dataset-name random --random-input-len 1024 --random-output-len 256 --num-prompts 500
# 数据集文件（如 ShareGPT 格式）
vllm bench serve ... --dataset-name sharegpt --dataset-path <本地路径>典型使用场景
- 参数调优对比：用固定随机数据集，排除内容差异的干扰
- 容量评估：用真实脱敏数据复现生产画像
- 长尾验证：专门构造长输入档位，观察尾延迟
- 回归基线：同一份数据反复使用，结论才可比
- 多实例对照：数据保持不变，只换实例配置
- 语种覆盖：多语种业务的长度分布差异大，要按主要语种分别构造数据
数据类型取舍
| 数据类型 | 优点 | 局限 |
|---|---|---|
| 随机长度 | 便于跨配置对比，长度可控 | 不代表真实内容与长度分布 |
| 真实脱敏 | 贴近生产画像 | 数据获取与脱敏有成本 |
| 混合档位 | 覆盖长尾与常见场景 | 结果解读要按档位拆分 |
同组数据跨配置对比才有意义：换配置不换数据，换了数据就全套重测。
把长度分布写进报告附录：只写平均长度会掩盖长尾，结论经不起追问。
长度档位按生产流量的分位数构造：只设一个平均值会低估长尾请求的占比，压出来的容量自然偏乐观。
数据集与结论绑定归档：数据集版本、参数与压测报告放在一起，半年后回头看才不会说不清当时压的是什么。