首页/AI/大模型部署与运维速查/nvidia-smi 基础用法
本包目录(267 条)
部署形态与选型43 条
推理环境与 GPU50 条
推理参数与优化50 条显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

nvidia-smi 基础用法

GPU 运维的瑞士军刀:直接执行查看显存、利用率、温度与进程表;配合 -l 秒级刷新,是排查服务行为的起点。

常用形态

常用形态
nvidia-smi                 # 快照
nvidia-smi -L              # 只列 GPU(含 UUID)
watch -n 1 nvidia-smi      # 每秒刷新
nvidia-smi -l 2            # 每 2 秒滚动输出
Memory-Usage已用/总量显存
GPU-Util计算单元利用率百分比
Processes占用显存的进程 PID
GPU-Util 高不代表显存够用,反之亦然;两个维度要分开看。

易错点

  • 把 GPU-Util 100% 当成故障:推理服务打满利用率是正常现象,要看的是吞吐与延迟指标

数据来源与参考

  • NVIDIA nvidia-smi 文档(docs.nvidia.com/deploy/nvidia-smi)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌