DCGM 指标是什么
DCGM 是 NVIDIA 的数据中心 GPU 管理组件，DCGM Exporter 把硬件层信号转成 Prometheus 指标：利用率、显存、温度、功耗、ECC 与 XID 计数。引擎指标说明服务在做什么，DCGM 说明硬件状态如何，两者拼起来才是完整视图。
基本信息
| 提供方 | DCGM Exporter |
|---|---|
| 输出格式 | Prometheus 指标 |
| 覆盖范围 | 利用率、显存、温度、功耗、ECC、XID |
| 部署形态 | DaemonSet 或主机常驻 |
| 关键用法 | ECC 与 XID 看增量 |
典型使用场景
- 给 GPU 集群配统一的硬件看板
- 设置温度与功耗告警，提前发现降频
- 用 Xid 增量提前识别坏卡
- 统计 ECC 事件并作为报修取证材料
- 对比同型号卡之间的基线差异
- 把硬件层与引擎层指标放在同一张看板，缩短排障时的信息收集时间
- 为同批次采购的机器建立统一基线，便于横向对比
常用指标（示意）
常用指标（示意）
# DCGM_FI_DEV_GPU_UTIL 计算利用率
# DCGM_FI_DEV_FB_USED 显存使用
# DCGM_FI_DEV_GPU_TEMP 温度
# DCGM_FI_DEV_POWER_USAGE 功耗
# DCGM_FI_DEV_XID_ERRORS Xid 计数
# DCGM_FI_DEV_ECC_DBE_VOL_TOTAL 双比特错误累计
# 指标名以所用版本与采集端为准指标怎么解读
| 指标 | 含义 | 观察重点 |
|---|---|---|
| 利用率 | 计算占用 | 长期贴满需留意 |
| 显存 | 已用显存 | 与业务水位对照 |
| 温度与功耗 | 硬件负载 | 降频前兆 |
| XID 与 ECC | 硬件事件 | 看增量不看绝对值 |
XID 与 ECC 要看增量而不是绝对值：累计值只说明历史上发生过，单位时间内突增才是硬件故障的前兆，告警阈值要按增量设置。
单看利用率容易得出错误结论：解码阶段利用率天然不高，容量判断以 KV 水位与排队时长为主，DCGM 更适合用来判断硬件是否健康。
采集端与应用指标的时间要能对齐：时钟不同步时两条曲线会错位，排查时容易得出错误的因果判断。
给采集端自身配置存活告警：它静默失效时，硬件层的数据缺口往往要等下一次故障才会被发现。