首页/AI/大模型部署与运维速查/DCGM 指标:硬件层信号
运维监控与排障50 条

DCGM 指标:硬件层信号

GPU 层指标交给 DCGM Exporter:利用率、显存、温度、功耗、ECC 与 XID 计数转成 Prometheus 指标;和引擎指标拼起来才是完整视图。

Exporter 常用指标(示意)

Exporter 常用指标(示意)
DCGM_FI_DEV_GPU_UTIL / DCGM_FI_DEV_FB_USED
DCGM_FI_DEV_GPU_TEMP / DCGM_FI_DEV_POWER_USAGE
DCGM_FI_DEV_XID_ERRORS / DCGM_FI_DEV_ECC_DBE_VOL_TOTAL
XID 与 ECC 看增量而不是绝对值:突增才是硬件故障前兆。

易错点

  • 只盯利用率:ECC 与 XID 的增长常先于业务故障出现,别等掉了才查

数据来源与参考

  • NVIDIA DCGM Exporter 文档(github.com/NVIDIA/dcgm-exporter)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌