启用（vLLM 示意）
启用（vLLM 示意）
vllm serve <模型路径> --cpu-offload-gb 16 # 卸载 16 GiB 权重到内存卸载量越大单步延迟波动越明显：上线前用目标并发做压测，确认尾延迟仍在可接受范围。
权重卸载：部分层放 CPU 内存
把模型部分权重放在 CPU 内存、按需换入显存，用时间换空间：vLLM 提供 cpu-offload-gb 参数按 GiB 指定卸载量，适合显存与目标模型差一口气的场景。
易错点
- 指望卸载跑满配模型：延迟可能成倍波动，更适合容忍慢的离线批任务
数据来源与参考
- vLLM 官方文档：CPU offload（docs.vllm.ai）