跨引擎压测工具
面向生成式服务的压测工具：对兼容接口输出吞吐、首 token 延迟与逐词元延迟的分位数，支持配置并发数与合成的输入输出长度，便于在不同引擎之间做横向对比。参数名随版本调整，使用时以版本文档为准。
基本信息
| 适用平台 | 提供兼容接口的生成式服务 |
|---|---|
| 输出指标 | 吞吐、首 token 延迟、逐词元延迟分位 |
| 配置项 | 并发数、合成输入长度与输出长度 |
| 注意 | 参数名以所用版本文档为准 |
典型用法（示意）
典型用法（示意）
genai-perf profile -m <模型名> --endpoint-type chat --service-kind openai \
-u http://127.0.0.1:8000 --concurrency 16 \
--synthetic-input-tokens-mean 512 --output-tokens-mean 128典型使用场景
- 跨引擎对比：同一组参数下测不同引擎
- 并发扫描：逐档提高并发，观察延迟与吞吐的拐点
- 容量验证：上线前确认目标并发下的分位数
- 回归对照：版本升级后重复同一组压测
- 结果留档：把命令与输出文件一起归档，便于复算与对照
指标读法
| 指标 | 含义 | 异常表现 |
|---|---|---|
| 吞吐 | 单位时间完成的生成量 | 并发升高但不涨，说明已到瓶颈 |
| 首 token 延迟 | 从请求到首字的时间 | 随并发显著上升，多为排队 |
| 逐词元延迟 | 每个输出词元的耗时 | 升高说明解码变慢或降频 |
与引擎自带的压测工具互相印证：报告里注明工具与版本，避免跨工具直接横比。
合成长度要覆盖长尾：只测短输入会高估容量。
记录环境与预热状态：压测前先跑一段预热流量，结果才稳定。
报告要写明长度与并发：脱离这两个条件的吞吐数字没有意义，也无法和别的结论对照。
压测前清掉干扰项：同机其他任务、后台备份与日志切割都会影响结果。
确认压测用的连接方式：长连接与每次新建连接的开销差别很大，结果不具备可比性。
对比要固定数据集与并发档位：两者任一变化都会改变结论，报告里必须写清。