滚动监控怎么用
dmon 按固定间隔滚动输出功耗、利用率、显存、温度等汇总指标，pmon 输出进程级利用率。压测时观察降频、掉卡与进程行为，都靠它们现场留痕。它们的定位是交互式现场观察，长期无人值守采集应交给监控系统而不是终端命令。
基本信息
| 工具 | nvidia-smi dmon（整卡汇总）与 nvidia-smi pmon（进程级） |
|---|---|
| 常用参数 | 字段组选择、采样间隔秒数、带时间戳、限定采集行数 |
| 输出方式 | 按间隔不断滚动刷新，直到手动中断或达到行数上限 |
| 权限要求 | 普通用户可读 |
| 适用 | 压测留痕、现场排查、故障取证 |
典型使用场景
- 压测期间同步留痕：把滚动输出重定向到文件，事后可与请求日志对齐
- 观察瞬时降频：功耗与时钟的短时尖峰在滚动输出里看得见
- 确认进程行为：用进程级视图看是哪块卡在跑、哪个进程在占显存
- 异常取证：掉卡或服务异常时，前后各留一段数据用于对比
- 写报告：把采集文件作为性能结论的原始依据
滚动采集合集
滚动采集合集
# 每秒一行：功耗/利用率/显存/温度等（-o T 带时间戳）
nvidia-smi dmon -s pucvmet -o T
# 每 5 秒采一次利用率与显存
nvidia-smi dmon -s um -d 5
# 进程级利用率
nvidia-smi pmon -o T
# 采满 60 行自动退出，适合放进脚本留证
nvidia-smi dmon -c 60 -o T > dmon.log 2>&1三种取数方式对照
| 方式 | 粒度 | 适用 |
|---|---|---|
| dmon | 整卡汇总，滚动 | 观察趋势与降频 |
| pmon | 进程级，滚动 | 定位具体进程行为 |
| 一次性查询 | 单次快照 | 记录当前状态 |
| 监控系统 | 持续采集入库 | 长期看板与告警 |
dmon 适合现场排查与压测留痕；长期无人值守的采集交给指标采集组件更合适，占用交互式会话只会让数据难以复用。
输出要落到文件：滚动数据的价值在事后复盘，只盯着屏幕看一遍等于没有留证，尤其记得带上时间戳以便与请求日志对齐。