首页/AI/大模型部署与运维速查/容器用不了 GPU 的排查顺序
本包目录(267 条)
部署形态与选型43 条
推理环境与 GPU50 条
推理参数与优化50 条显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

容器用不了 GPU 的排查顺序

容器报「could not select device driver」时按固定顺序排查:宿主机驱动是否正常、工具链是否安装、运行时是否配置、命令是否带 --gpus。

四步排查

四步排查
nvidia-smi                                   # 1) 宿主机驱动
dpkg -l | grep nvidia-container-toolkit      # 2) 工具链是否安装
docker info | grep -i nvidia                 # 3) 运行时是否生效
docker run --rm --gpus all <测试镜像> nvidia-smi   # 4) 透传验证

典型报错

报错常见原因
could not select device driver未装 nvidia-container-toolkit
unknown runtime 或 daemon 启动失败daemon.json 运行时配置写错
CUDA driver version is insufficient容器 CUDA 版本超过驱动上限
排查顺序从上到下逐层确认,比直接修改容器参数快得多。

易错点

  • 用 --privileged 替代 --gpus 作为临时办法:绕过标准透传会带来权限风险且掩盖真正问题

数据来源与参考

  • NVIDIA Container Toolkit 文档(docs.nvidia.com/datacenter/cloud-native)
  • Docker 文档(docs.docker.com)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌