首页/AI/大模型部署与运维速查/nvidia-smi dmon 与 pmon:滚动监控
推理环境与 GPU50 条

nvidia-smi dmon 与 pmon:滚动监控

dmon 按固定间隔滚动输出功耗、利用率、显存、温度等汇总指标,pmon 输出进程级利用率:压测时观察降频、掉卡与进程行为都靠它们现场留痕。

滚动采集合集

滚动采集合集
nvidia-smi dmon -s pucvmet -o T    # 每秒一行:功耗/利用率/显存/温度等
nvidia-smi dmon -s um -d 5         # 每 5 秒:利用率与显存
nvidia-smi pmon -o T               # 进程级利用率(带时间戳)
nvidia-smi dmon -c 60              # 采集 60 行后自动退出
dmon 适合现场排查与压测留痕;长期无人值守采集交给 DCGM 或监控系统更合适。

易错点

  • 只看压测最终吞吐:中途降频或个别进程卡住往往只体现在滚动输出里

数据来源与参考

  • NVIDIA nvidia-smi 文档:dmon 与 pmon(docs.nvidia.com/deploy/nvidia-smi)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌