DCGM 是什么
DCGM 是面向数据中心的 GPU 管理工具，提供健康检查、分级诊断与指标采集，适合生产环境下的批量监控与巡检，命令行入口是 dcgmi。它的价值在于把逐台人工检查变成可脚本化的批量操作，并让 GPU 指标进入统一监控体系。
基本信息
| 定位 | 批量 GPU 健康检查与指标管理 |
|---|---|
| 输出内容 | 利用率、显存、温度、功耗、错误计数等 |
| 常用命令 | 设备发现、实时指标流、分级诊断 |
| 部署方式 | 通常经官方软件仓库安装；部分子命令依赖后台服务运行 |
| 集成方式 | 指标可接入监控栈形成看板与告警 |
典型使用场景
- 批量巡检：一次性检查多机多卡的状态，替代逐台登录
- 新卡验收：用分级诊断快速筛出异常卡再上生产
- 现场观察：用实时指标流看功耗、温度与利用率的滚动变化
- 监控集成：把采集内容汇入统一监控，形成趋势看板
- 故障定位：结合错误计数判断是硬件问题还是负载问题
常用命令
常用命令
# 经官方仓库安装（发行版包名以官方文档为准）
sudo apt install datacenter-gpu-manager
# 发现本机 GPU
dcgmi discovery -l
# 实时指标流：滚动观察利用率、温度、功耗等
# 分级诊断：按级别逐步深入，用于验收与故障筛查
dcgmi dmon命令类别与用途
| 类别 | 用途 | 适用场合 |
|---|---|---|
| 设备发现 | 列出本机可见的 GPU | 新机接入 |
| 实时指标流 | 滚动输出利用率、温度、功耗 | 现场排查与压测 |
| 分级诊断 | 逐级深入的健康检查 | 验收与故障筛查 |
| 错误计数 | 硬件错误信号 | 硬件健康巡检 |
多机场景把 DCGM 指标接入统一监控，比逐台执行脚本可持续：脚本容易漏机器，也难以形成趋势数据。
部分子命令需要后台服务处于运行状态：命令报错时先确认服务状态，再排查参数与权限，能省下不少来回。