启动示例
启动示例
vllm serve <模型路径> --tensor-parallel-size 4 # 4 卡张量并行TP 每层都要通信：优先在 NVLink 互联的卡组内做；跨节点 TP 要评估网络带宽与延迟。
本包目录（267 条）
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条
显存与并发估算40 条
- 显存预算四块构成
- KV 缓存公式：逐项拆解
- 权重显存公式：参数量 × 字节数
- 并发估算流程：从 KV 池倒推
- TTFT：首 token 延迟拆解
- 每 token KV 心算算例
- 张量并行：单卡装不下的标准解法
- TPOT：每输出 token 的时间
- 窗口与并发：同一预算的两种花法
- vllm bench serve：服务端压测
- gpu-memory-utilization：显存用量比例
- 容量规划：从业务指标到卡数
- max-num-seqs：在批序列数上限
- 批大小与吞吐曲线：找饱和点
- 起步配置算例：8B 模型 24G 卡
- 显存曲线：峰值出现在哪个阶段
- 按长度分布做容量表
- 延迟与吞吐：方向先定再调参
- 选型算例：8B 与 70B 两档
- 激活与工作区：不可忽略的第三块
- 量化收益的正确预期
- KV 降精度：减半的并发账
- TP 大小怎么选：三步决策
- 吞吐口径：把账算对
- 上线前 OOM 检查表
- 估算余量：理论值到落地值
- 流水并行：按层分段跨卡
- 压测数据：随机与真实脱敏
- 估算与实测闭环
- TP 与 PP 取舍对照
- vllm bench latency：单请求延迟标定
- 主机内存需求：别只盯显存
- genai-perf：跨引擎压测工具
- 长稳观察：显存漂移与延迟漂移
- 磁盘与下载空间的估算
- 单卡多实例：先做减法再分配
- 推测解码的显存附加账
- 专家并行：MoE 的额外切法
- 多模态模型显存：加上视觉侧账目
- MIG 切片的显存预算
张量并行：单卡装不下的标准解法
把每层权重与计算切到多卡：每卡只需驻留约 1/TP 的权重与对应 KV；vLLM 用 --tensor-parallel-size 指定，是「单卡装不下」场景的常规扩展方式。
易错点
- 按卡数随意加大 TP：通信开销上升、效率打折，目标应是「够用且效率可接受」
数据来源与参考
- vLLM 官方文档：并行与分布式（docs.vllm.ai）
- Megatron-LM 论文：张量并行（arxiv.org/abs/1909.08053）