双实例示意
双实例示意
CUDA_VISIBLE_DEVICES=0 python serve_a.py & # 实例 A：--gpu-memory-utilization 0.45
CUDA_VISIBLE_DEVICES=0 python serve_b.py & # 实例 B：--gpu-memory-utilization 0.45小模型多实例的并发上限更依赖 KV 精算：分配比例按各自模型与业务量定。
本包目录（267 条）
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条
显存与并发估算40 条
- 显存预算四块构成
- KV 缓存公式：逐项拆解
- 权重显存公式：参数量 × 字节数
- 并发估算流程：从 KV 池倒推
- TTFT：首 token 延迟拆解
- 每 token KV 心算算例
- 张量并行：单卡装不下的标准解法
- TPOT：每输出 token 的时间
- 窗口与并发：同一预算的两种花法
- vllm bench serve：服务端压测
- gpu-memory-utilization：显存用量比例
- 容量规划：从业务指标到卡数
- max-num-seqs：在批序列数上限
- 批大小与吞吐曲线：找饱和点
- 起步配置算例：8B 模型 24G 卡
- 显存曲线：峰值出现在哪个阶段
- 按长度分布做容量表
- 延迟与吞吐：方向先定再调参
- 选型算例：8B 与 70B 两档
- 激活与工作区：不可忽略的第三块
- 量化收益的正确预期
- KV 降精度：减半的并发账
- TP 大小怎么选：三步决策
- 吞吐口径：把账算对
- 上线前 OOM 检查表
- 估算余量：理论值到落地值
- 流水并行：按层分段跨卡
- 压测数据：随机与真实脱敏
- 估算与实测闭环
- TP 与 PP 取舍对照
- vllm bench latency：单请求延迟标定
- 主机内存需求：别只盯显存
- genai-perf：跨引擎压测工具
- 长稳观察：显存漂移与延迟漂移
- 磁盘与下载空间的估算
- 单卡多实例：先做减法再分配
- 推测解码的显存附加账
- 专家并行：MoE 的额外切法
- 多模态模型显存：加上视觉侧账目
- MIG 切片的显存预算
单卡多实例：先做减法再分配
同卡跑多个实例时先切分总量：每实例显存上限 ÷ n，再各自扣权重与 KV；各实例 gpu-memory-utilization 之和要小于 1。
易错点
- 两个实例都按 0.9 开：显存超卖，后启动的实例随时 OOM
数据来源与参考
- vLLM 官方文档：gpu-memory-utilization（docs.vllm.ai）
- NVIDIA CUDA 环境变量文档（docs.nvidia.com/cuda）