首页/AI/大模型部署与运维速查/cuDNN 的角色与版本匹配
推理环境与 GPU50 条

cuDNN 的角色与版本匹配

cuDNN 是深度学习原语库(卷积、归一化等);LLM 推理主要吃自研 attention kernel 与 PyTorch 集成,但部分算子路径仍依赖 cuDNN,版本错配会以报错或性能回退的形式出现。

查看版本

查看版本
python -c "import torch; print(torch.backends.cudnn.version())"
cat /usr/include/cudnn_version.h 2>/dev/null | grep CUDNN_MAJOR
匹配对象CUDA 版本 + 框架版本(如 PyTorch)
常见问题与 CUDA 不匹配导致加载失败或算子回退
建议用框架官方 wheel 自带的依赖组合,不手动混装
推理服务的依赖组合以镜像或 wheel 自带版本为准更有保障:手动凑 CUDA/cuDNN/torch 三件套是事故高发区。

易错点

  • conda 环境里混装 pip 版 torch 与 conda 版 CUDA:运行时报找不到库,清理后单一来源重装即可

数据来源与参考

  • NVIDIA cuDNN 文档(docs.nvidia.com/deeplearning/cudnn)
  • PyTorch 文档(pytorch.org)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌