环境核对(示意)
环境核对(示意)
rocm-smi # 查看 AMD GPU 与显存
python -c "import torch; print(torch.version.hip, torch.cuda.is_available())" # ROCm 版 torch 沿用 cuda 接口名| 软件栈 | ROCm + HIP(对应 CUDA 生态) |
|---|---|
| 框架支持 | PyTorch ROCm 版、llama.cpp HIP 后端、vLLM 部分支持 |
| 注意 | 算子覆盖与量化支持与 NVIDIA 生态存在差距,先做 POC |
容器化部署同样可用官方 ROCm 镜像,环境组合比 CUDA 生态更敏感,优先用镜像自带版本。