首页/AI/大模型部署与运维速查/DCGM Exporter 与 GPU 指标入监控栈
推理环境与 GPU50 条

DCGM Exporter 与 GPU 指标入监控栈

DCGM Exporter 把 GPU 指标转成 Prometheus 格式,默认端口 9400,配合 Prometheus 与 Grafana 形成 GPU 监控闭环;K8s 上常用 Helm 部署。

容器运行(示意)

容器运行(示意)
docker run -d --gpus all -p 9400:9400 nvcr.io/nvidia/k8s/dcgm-exporter:<版本>
curl http://127.0.0.1:9400/metrics | head

Prometheus 抓取片段

Prometheus 抓取片段
scrape_configs:
  - job_name: gpu
    static_configs:
      - targets: ['127.0.0.1:9400']
镜像 tag 与字段名随版本演进,接入前先核对当前文档与 /metrics 实际输出。

易错点

  • 只采 GPU 指标不看服务指标:GPU 曲线平稳但服务超时的情况,要结合引擎指标一起看

数据来源与参考

  • NVIDIA DCGM Exporter 文档(github.com/NVIDIA/dcgm-exporter)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌