单请求延迟标定
固定形状请求的端到端延迟测试：压测工具按输入长度、输出长度与批大小逐档测量单次请求的耗时，用来建立逐词元延迟的基线与退化曲线。它测的是单次请求路径，不涉及并发排队，因此适合做版本之间的精细对照。
基本信息
| 适用平台 | 自托管推理服务与配套压测工具 |
|---|---|
| 测试维度 | 输入长度、输出长度、批大小 |
| 产出指标 | 单次请求耗时与逐词元延迟 |
| 参数细节 | 参数名以所用版本的文档为准 |
示意
示意
vllm bench latency --model <模型路径> --input-len 1024 --output-len 256 --batch-size 1
# 参数以版本文档为准；再逐档扫描批大小观察退化典型使用场景
- 建立基线：新机型上线先测一组标准形状
- 版本对照：升级前后用同一组形状复测
- 退化定位：把预填充与解码两段的变化分开看
- 容量参考：为并发压测提供单请求的参考值
- 结果归档：把命令与原始输出一起存档，便于复算
形状与观察重点
| 形状 | 观察重点 | 说明 |
|---|---|---|
| 长输入短输出 | 预填充与首 token 延迟 | 适合观察输入处理能力 |
| 短输入长输出 | 解码速度与逐词元延迟 | 适合观察解码路径 |
| 批大小递增 | 延迟随批次的退化 | 用来找吞吐与延迟的平衡点 |
批大小为一时看单流底线，扫描批次看退化曲线：两者结合才完整。
同一形状下比较不同版本才有意义：输入与输出长度对齐是前提，否则两组数字不可比。
记录环境信息：驱动版本、是否开启图捕获、量化方案，都会影响测出来的结果。
同一台机器重复测也要看离散程度：波动大说明环境不干净，先排除邻居任务与降频，再拿来比较版本。
对比要对齐整套软件栈：引擎版本、驱动版本与量化方案任意一项不同，数字就不能直接拿来比较。