换算示例（示意）
换算示例（示意）
需求：10 req/s × (输入 1K + 输出 0.3K)
≈ 13K tokens/s（总口径，按目标统一）
单实例实测：约 5K tokens/s（同口径）
→ 至少 3 实例，再加冗余与峰谷系数统一口径贯穿网关、引擎与压测报告：建议固定「输出 tokens/s」或「总 tokens/s」之一。
容量规划：从业务指标到卡数
容量规划链条：业务 QPS 与长度画像 → 换算总 token 吞吐 → 用单实例实测吞吐折算 → 得实例数与卡数 → 叠加冗余与峰谷系数。
易错点
- 按均值规划不带峰谷系数：高峰排队、低峰空转，容量结论失真
数据来源与参考
- vLLM 官方文档：性能与调优（docs.vllm.ai）
- NVIDIA 开发者博客：LLM 推理部署（developer.nvidia.com/blog）