预算拆法
预算拆法
总预算 = 主模型（权重+KV+工作区）
+ 草稿模型（权重 + 草稿 KV，随并发增长）高并发下草稿 KV 不可忽略：先小流量实测接受率与显存水位再全量。
本包目录（267 条）
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条
显存与并发估算40 条
- 显存预算四块构成
- KV 缓存公式：逐项拆解
- 权重显存公式：参数量 × 字节数
- 并发估算流程：从 KV 池倒推
- TTFT：首 token 延迟拆解
- 每 token KV 心算算例
- 张量并行：单卡装不下的标准解法
- TPOT：每输出 token 的时间
- 窗口与并发：同一预算的两种花法
- vllm bench serve：服务端压测
- gpu-memory-utilization：显存用量比例
- 容量规划：从业务指标到卡数
- max-num-seqs：在批序列数上限
- 批大小与吞吐曲线：找饱和点
- 起步配置算例：8B 模型 24G 卡
- 显存曲线：峰值出现在哪个阶段
- 按长度分布做容量表
- 延迟与吞吐：方向先定再调参
- 选型算例：8B 与 70B 两档
- 激活与工作区：不可忽略的第三块
- 量化收益的正确预期
- KV 降精度：减半的并发账
- TP 大小怎么选：三步决策
- 吞吐口径：把账算对
- 上线前 OOM 检查表
- 估算余量：理论值到落地值
- 流水并行：按层分段跨卡
- 压测数据：随机与真实脱敏
- 估算与实测闭环
- TP 与 PP 取舍对照
- vllm bench latency：单请求延迟标定
- 主机内存需求：别只盯显存
- genai-perf：跨引擎压测工具
- 长稳观察：显存漂移与延迟漂移
- 磁盘与下载空间的估算
- 单卡多实例：先做减法再分配
- 推测解码的显存附加账
- 专家并行：MoE 的额外切法
- 多模态模型显存：加上视觉侧账目
- MIG 切片的显存预算
推测解码的显存附加账
推测解码要额外装草稿模型与它自己的 KV 缓存：草稿越小开销越低，收益与接受率挂钩；估算时当作主模型预算之外的独立小账。
易错点
- 草稿模型选得偏大：权重与 KV 双重上账，收益被开销抵消
数据来源与参考
- vLLM 官方文档：Speculative Decoding（docs.vllm.ai）
- Hugging Face 文档：Assisted generation（huggingface.co/docs）