总时长估算
总时长估算
响应时间 ≈ TTFT + TPOT × 输出 token 数
生成速率（tokens/s）≈ 1 / TPOTTPOT 随批增大通常变差：延迟与吞吐的折中档在压测里标定。
本包目录（267 条）
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条
显存与并发估算40 条
- 显存预算四块构成
- KV 缓存公式：逐项拆解
- 权重显存公式：参数量 × 字节数
- 并发估算流程：从 KV 池倒推
- TTFT：首 token 延迟拆解
- 每 token KV 心算算例
- 张量并行：单卡装不下的标准解法
- TPOT：每输出 token 的时间
- 窗口与并发：同一预算的两种花法
- vllm bench serve：服务端压测
- gpu-memory-utilization：显存用量比例
- 容量规划：从业务指标到卡数
- max-num-seqs：在批序列数上限
- 批大小与吞吐曲线：找饱和点
- 起步配置算例：8B 模型 24G 卡
- 显存曲线：峰值出现在哪个阶段
- 按长度分布做容量表
- 延迟与吞吐：方向先定再调参
- 选型算例：8B 与 70B 两档
- 激活与工作区：不可忽略的第三块
- 量化收益的正确预期
- KV 降精度：减半的并发账
- TP 大小怎么选：三步决策
- 吞吐口径：把账算对
- 上线前 OOM 检查表
- 估算余量：理论值到落地值
- 流水并行：按层分段跨卡
- 压测数据：随机与真实脱敏
- 估算与实测闭环
- TP 与 PP 取舍对照
- vllm bench latency：单请求延迟标定
- 主机内存需求：别只盯显存
- genai-perf：跨引擎压测工具
- 长稳观察：显存漂移与延迟漂移
- 磁盘与下载空间的估算
- 单卡多实例：先做减法再分配
- 推测解码的显存附加账
- 专家并行：MoE 的额外切法
- 多模态模型显存：加上视觉侧账目
- MIG 切片的显存预算
TPOT：每输出 token 的时间
TPOT 是解码阶段平均步时：受显存带宽、批大小与算子效率影响；与 TTFT 组合能还原用户感知的总时长（流式场景主要看生成速率）。
易错点
- 只看平均 TPOT：混合负载下 P95 与均值差距明显，SLA 应按分位数定
数据来源与参考
- vLLM 官方文档：Production Metrics（docs.vllm.ai）
- NVIDIA 开发者博客：LLM 推理延迟（developer.nvidia.com/blog）