ROCm 处在什么位置
ROCm 是 AMD 的 GPU 计算软件栈，对应 NVIDIA 的 CUDA 生态位：底层是驱动与运行时，上层是 HIP 编程接口和各类算子库。PyTorch 有官方 ROCm 构建版本，部分推理框架也提供 HIP 后端，但算子覆盖与量化支持的完整度跟 NVIDIA 生态相比仍有差距。选型时先查目标框架对具体显卡型号的适配状态，再决定是否投入。
基本信息
| 软件栈 | ROCm 加 HIP 接口层，对应 CUDA 生态 |
|---|---|
| 框架支持 | PyTorch 的 ROCm 构建版、部分推理框架提供 HIP 后端 |
| 适配差距 | 算子覆盖与量化支持与 NVIDIA 生态有差距，先做试点验证 |
| 显卡要求 | 以官方支持列表为准，不同型号支持程度不一致 |
| 常用工具 | 显卡管理命令行与运行时信息查询命令 |
环境核对（示意）
环境核对（示意）
rocm-smi # 查看 AMD 显卡与显存占用
rocm-smi --showtemp # 查看温度与功耗信息
python -c "import torch; print(torch.version.hip, torch.cuda.is_available())" # ROCm 版沿用 cuda 接口名
rocminfo | head -30 # 查看设备与运行时识别信息典型使用场景
- 试点评估：把现有服务在 AMD 机器上跑一遍，确认关键算子是否缺失
- 成本对照：按每元显存与实测吞吐比较，而不是只比标称参数
- 容器化部署：用官方镜像固定驱动与运行时版本，减少版本组合问题
- 脚本迁移：接口名沿用，但环境变量与排查工具完全不同
- 监控接入：先确认监控工具对这批显卡的支持情况，避免上线后没有水位数据
容器化部署同样可用官方镜像，环境组合比 CUDA 生态更敏感，优先沿用镜像自带的版本。
排查前先确认栈归属：这类机器上的报错信息与工具链和 CUDA 完全不同，混着查只会浪费时间。
多卡互联形式与 NVIDIA 不同：扩展前先确认卡间互联方式和可用带宽，功能验证先用单卡跑通。
把试点结论写成对照表：能跑通的模型与量化格式、缺哪个算子、实测吞吐都记下来，后续选型才有依据。