首页/AI/大模型部署与运维速查/NVIDIA 容器工具链安装与验证
推理环境与 GPU50 条

NVIDIA 容器工具链安装与验证

让 Docker 能用 GPU 的关键组件:安装 nvidia-container-toolkit、配置容器运行时、重启 Docker,然后用官方测试镜像验证透传。

安装与配置(Ubuntu 示意)

安装与配置(Ubuntu 示意)
# 按 NVIDIA 文档添加仓库后:
sudo apt install nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

验证透传

验证透传
docker run --rm --gpus all nvidia/cuda:<版本>-base-<系统版本> nvidia-smi
宿主机驱动是前提:容器里没有独立驱动,透传的本质是把设备与驱动库映射进容器。

易错点

  • 漏掉 configure 步骤就重启 docker:容器里 nvidia-smi 报设备找不到

数据来源与参考

  • NVIDIA Container Toolkit 文档(docs.nvidia.com/datacenter/cloud-native)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌