首页/AI/大模型部署与运维速查/nvtop 实时监控工具
推理环境与 GPU50 条

nvtop 实时监控工具

nvtop 是终端里的 GPU 版 top:滚动展示利用率、显存、功耗曲线与逐进程占用,比反复刷 nvidia-smi 直观,适合交互式排查。

nvtop 实时监控工具

nvtop 是终端里的 GPU 监控工具:滚动展示利用率、显存、功耗曲线与逐进程占用,比反复刷新一次性查询直观,适合交互式排查。它不需要图形界面,在服务器上通过 SSH 或 tmux 会话即可使用,多卡机器还能分栏查看。

基本信息

安装走发行版包管理器(如 Debian/Ubuntu 上的 apt install nvtop)
界面内容多卡分栏、利用率与显存曲线、逐进程占用列表
适用交互式排查与现场观察
局限发行版仓库版本可能较旧,对新卡识别滞后
常见配合在 tmux 会话里常驻观察,断开重连不丢视图

典型使用场景

  • 看整卡显存与利用率趋势:判断是流量波动还是资源持续吃紧
  • 按进程查看占用:确认是哪项服务在吃卡,尤其是多人共用的机器
  • 交互式切换多卡视图:多卡机器上快速定位哪块卡在跑
  • 现场排查:配合日志与指标一起观察现象是否可复现
  • 教学与演示:把运行状态直观展示给同事或客户

安装与使用

安装与使用
sudo apt install nvtop      # Debian/Ubuntu 系
nvtop                        # 直接运行,进入交互式界面

# 服务器上建议放在 tmux 会话里常驻观察
# 校验:界面能正确列出所有卡与正在占用显存的进程

监控方式对照

方式特点适用
nvtop交互式、看趋势与进程现场排查
一次性查询单次快照、易写进脚本记录与自动化检查
滚动采集按间隔输出、可落文件压测留痕与取证
监控系统持续采集入库长期看板与告警
服务器无图形界面时同样可用:通过 SSH 或 tmux 多窗口常驻观察,比反复手动敲命令更省事。
识别不到新卡时,多半是发行版仓库里的版本偏旧:可考虑从源码构建,以跟上较新硬件与驱动的支持。

易错点

  • 发行版仓库里的版本较旧、对新卡支持滞后:识别不到新卡时从源码构建
  • 把交互式工具当监控用:数据不落库,事后无法复盘,长期采集应交给监控系统
  • 只看显存不看功耗与时钟:卡在降频时显存占用一切正常,吞吐却明显偏低
  • 多人共用机器时只看整卡数字:需要进程级视图才能确认是谁在占卡,否则容易误判

数据来源与参考

  • nvtop 仓库(github.com/Syllo/nvtop)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌