首页/AI/大模型部署与运维速查/genai-perf:跨引擎压测工具
本包目录(267 条)
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条
显存与并发估算40 条
服务化与网关34 条运维监控与排障50 条

genai-perf:跨引擎压测工具

NVIDIA genai-perf 面向生成式服务压测:对 OpenAI 兼容端点输出吞吐、TTFT 与逐 token 延迟分位,支持并发与合成输入输出长度配置,便于跨引擎对比。

典型用法(参数名以版本文档为准)

典型用法(参数名以版本文档为准)
genai-perf profile -m <模型名> --endpoint-type chat --service-kind openai \
  -u http://127.0.0.1:8000 --concurrency 16 \
  --synthetic-input-tokens-mean 512 --output-tokens-mean 128
与 vllm bench 结果互相印证:报告里注明工具与版本,避免跨工具直接横比。

易错点

  • 不同工具数字直接横向比较:口径与实现不同,先核对字段定义

数据来源与参考

  • NVIDIA genai-perf 文档(docs.nvidia.com/deeplearning/genai-perf)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌