口径换算
口径换算
输出吞吐 ≈ 并发请求数 ÷ TPOT
总吞吐 = (输入 + 输出 tokens) / 时间
req/s = 完成请求数 / 时间网关与引擎指标抽查对齐：同一时段对不上，先查口径与采样点差异。
吞吐口径：把账算对
吞吐口径必须先定义：输出 tokens/s、总 tokens/s 还是 req/s；对外承诺与容量规划用同一口径，否则网关与引擎的数字永远对不上。
易错点
- 拿总 token 吞吐对比输出吞吐：口径混用让容量比较失去意义
数据来源与参考
- vLLM 官方文档：Production Metrics（docs.vllm.ai）