首页/AI/大模型部署与运维速查/多版本 CUDA 并存与切换
本包目录(267 条)
部署形态与选型43 条
推理环境与 GPU50 条
推理参数与优化50 条显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

多版本 CUDA 并存与切换

同一台机器可以并存多个 CUDA Toolkit:安装到 /usr/local/cuda-<版本>,通过 /usr/local/cuda 软链切换默认版本;conda 环境也可以各自装独立版本,互不影响。

并存与切换

并存与切换
ls -d /usr/local/cuda*               # 已装版本
# 切换默认软链(示意,按实际版本号)
sudo ln -sfn /usr/local/cuda-12.4 /usr/local/cuda
nvcc --version

环境内独立安装

环境内独立安装
conda install -c nvidia cuda-toolkit=12.4   # 只影响该 conda 环境
运行期库与编译期工具都随版本走:程序链接哪套由安装方式与 LD_LIBRARY_PATH 决定,并存时留意两者搭配。

易错点

  • 只改 PATH 不改 LD_LIBRARY_PATH:编译用新版本、运行找旧库,报错线索容易混乱

数据来源与参考

  • NVIDIA CUDA 安装指南(docs.nvidia.com/cuda)
  • NVIDIA Conda 频道(anaconda.org/nvidia)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌