cuDNN 是什么
cuDNN 是 NVIDIA 的深度学习原语库，提供卷积、归一化、池化等算子的高度优化实现，PyTorch、TensorFlow 等框架在部分路径上依赖它。LLM 推理的主要算力在自研注意力 kernel 上，但视觉、嵌入模型与部分预处理仍会走到 cuDNN；版本错配通常表现为导入报错、算子回退甚至结果异常。
基本信息
| 匹配对象 | CUDA 版本 + 框架版本 |
|---|---|
| 查看方式 | 框架内读版本号或查系统头文件 |
| 推荐安装 | 框架官方 wheel 自带组合 |
| 常见故障 | 加载失败或算子回退 |
| 相关变量 | 环境变量可控制算子选择 |
典型使用场景
- 排查 import torch 报找不到 libcudnn 的启动失败
- 部署视觉或嵌入模型时确认算子是否走到 GPU 实现
- 升级 CUDA 后做回归，确认没有静默回退到慢路径
- 选容器基础镜像时核对 CUDA/cuDNN/框架的版本矩阵
- 同类硬件上复现速度差异，判断是否算子库版本不同导致
查看版本
查看版本
python -c "import torch; print(torch.__version__, torch.version.cuda)" # 框架期望的 CUDA
python -c "import torch; print(torch.backends.cudnn.version())" # 实际加载的 cuDNN
cat /usr/include/cudnn_version.h | grep CUDNN_MAJOR # 系统侧 cuDNN 主版本
python -c "import torch; print(torch.backends.cudnn.enabled)" # 是否启用，可做对照实验常见现象与处理
| 现象 | 常见原因 | 处理 |
|---|---|---|
| ImportError 找不到 libcudnn | 与 CUDA 版本不匹配 | 按框架版本矩阵重装，不手动混装 |
| 算子变慢 | cuDNN 不可用或版本不兼容 | 对齐版本后对照验证 |
| 结果异常 | 算法选择或版本缺陷 | 小幅升级并在固定用例上回归 |
推理服务的依赖组合以镜像或官方 wheel 自带版本为准更有保障：手动凑 CUDA/cuDNN/框架三件套是事故高发区，出问题先回到单一来源重装。
推理场景里 cuDNN 的影响通常小于注意力实现与量化 kernel：性能不达预期时先看显存、批大小与 kernel 选择，确认真的走到 cuDNN 再深挖。
镜像里带一份系统级 cuDNN，pip 装的框架 wheel 往往又自带一份：两者不一致时以实际加载到的那份为准，排查时用 ldd 看库路径，比只看版本号可靠。
把版本组合写进镜像说明：两个环境表现不一致时，先比这张说明比先怀疑硬件要快。