核对方法
核对方法
free -h
watch -n 1 free -h # 加载大模型时观察内存峰值经验规划：内存 ≥ 权重体积的数倍；开 swap-space 或页缓存大时继续上浮。
主机内存需求：别只盯显存
主机内存常被低估：模型加载缓冲（分片拼接/格式转换）、页缓存、swap-space 预留都吃内存；加载阶段的 OOM-killer 常被误读为模型问题。
易错点
- 只看显存预算：加载时内存打满触发 OOM-killer，现象却是「模型加载失败」
数据来源与参考
- vLLM 官方文档：显存与内存调优（docs.vllm.ai）
- Linux 内核文档：/proc/meminfo（kernel.org）