方向对照
| 目标 | 主要手段 | 代价 |
|---|---|---|
| 低延迟 | 小批、限制并发、优先调度 | 吞吐下降 |
| 高吞吐 | 大批、拉高并发 | 尾延迟上升 |
常见解法是分池：交互池守延迟，离线池吃吞吐，互不干扰。
本包目录（267 条）
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条
显存与并发估算40 条
- 显存预算四块构成
- KV 缓存公式：逐项拆解
- 权重显存公式：参数量 × 字节数
- 并发估算流程：从 KV 池倒推
- TTFT：首 token 延迟拆解
- 每 token KV 心算算例
- 张量并行：单卡装不下的标准解法
- TPOT：每输出 token 的时间
- 窗口与并发：同一预算的两种花法
- vllm bench serve：服务端压测
- gpu-memory-utilization：显存用量比例
- 容量规划：从业务指标到卡数
- max-num-seqs：在批序列数上限
- 批大小与吞吐曲线：找饱和点
- 起步配置算例：8B 模型 24G 卡
- 显存曲线：峰值出现在哪个阶段
- 按长度分布做容量表
- 延迟与吞吐：方向先定再调参
- 选型算例：8B 与 70B 两档
- 激活与工作区：不可忽略的第三块
- 量化收益的正确预期
- KV 降精度：减半的并发账
- TP 大小怎么选：三步决策
- 吞吐口径：把账算对
- 上线前 OOM 检查表
- 估算余量：理论值到落地值
- 流水并行：按层分段跨卡
- 压测数据：随机与真实脱敏
- 估算与实测闭环
- TP 与 PP 取舍对照
- vllm bench latency：单请求延迟标定
- 主机内存需求：别只盯显存
- genai-perf：跨引擎压测工具
- 长稳观察：显存漂移与延迟漂移
- 磁盘与下载空间的估算
- 单卡多实例：先做减法再分配
- 推测解码的显存附加账
- 专家并行：MoE 的额外切法
- 多模态模型显存：加上视觉侧账目
- MIG 切片的显存预算
延迟与吞吐：方向先定再调参
两个目标此消彼长：批越大吞吐越高、单请求延迟越差；先定服务定位——交互产品守 P95 延迟，离线任务压单 token 成本，调参才有方向。
易错点
- 一个实例扛两类目标：两边都不达标，先拆池再谈调参
数据来源与参考
- vLLM 官方文档：性能与调优（docs.vllm.ai）
- NVIDIA 开发者博客：LLM 推理优化（developer.nvidia.com/blog）