核对文件与索引
核对文件与索引
ls -lh <模型目录>/*.safetensors | head
cat <模型目录>/model.safetensors.index.json | head -20
du -sh <模型目录>最小验证:读权重头(需装 safetensors,不占 GPU)
最小验证:读权重头(需装 safetensors,不占 GPU)
python -c "from safetensors import safe_open; f = safe_open('<权重文件>', framework='pt'); print(len(f.keys()))"- 权限:运行用户(如 www)对目录可读;容器内挂载路径别搞错
- 分片缺失:index.json 列出的文件必须全部存在且大小正常
- 配置匹配:架构名与权重一致;量化模型缺量化配置会报 unknown
- 硬件:加载即 OOM 时先看卡上有没有别的进程