典型用法(参数名以版本文档为准)
典型用法(参数名以版本文档为准)
genai-perf profile -m <模型名> --endpoint-type chat --service-kind openai \
-u http://127.0.0.1:8000 --concurrency 16 \
--synthetic-input-tokens-mean 512 --output-tokens-mean 128与 vllm bench 结果互相印证:报告里注明工具与版本,避免跨工具直接横比。