首页/AI/大模型部署与运维速查/GPU 重置(--gpu-reset)的正确使用
本包目录(267 条)
部署形态与选型43 条
推理环境与 GPU50 条
推理参数与优化50 条显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

GPU 重置(--gpu-reset)的正确使用

设备卡死、显存无法释放时可用 --gpu-reset 软重置;它要求设备上没有在用进程(部分机型限制更多),风险高,属于「先记录、再操作」的应急手段。

重置流程(应急)

重置流程(应急)
# 1) 确认无进程占用
nvidia-smi --query-compute-apps=pid,used_memory --format=csv
# 2) 记录现场(Xid、dmesg)
dmesg -T | grep -iE 'xid|nvidia' | tail -30
# 3) 尝试重置单卡
sudo nvidia-smi --gpu-reset -i <卡序号>
重置失败或影响其他卡时,完整重启机器通常是可靠的收尾手段;频繁需要重置的卡应进入硬件检修流程。

易错点

  • 直接重置带任务的卡会杀掉别人的训练/推理进程:操作前确认资源归属与窗口

数据来源与参考

  • NVIDIA nvidia-smi 文档(docs.nvidia.com/deploy/nvidia-smi)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌