显存预算分配示例
显存预算分配示例
24GB 卡预算分配（示意）：
Embedding 模型 1.5 GB
Rerank 模型 1.5 GB
对话模型(7B INT4) 5 GB + KV 4 GB
系统与碎片预留 2 GB
合计 14 GB，余量留作突发多实例端口划分
多实例端口划分
vllm serve ./models/chat --port 8000 --gpu-memory-utilization 0.45
vllm serve ./models/embed --port 8001 --gpu-memory-utilization 0.15 # 任务类型由框架识别，版本差异见文档多模型共存时每个实例的 --gpu-memory-utilization 之和要小于 1，并为框架开销留余量。