首页/AI/大模型部署与运维速查/ECC 显存错误查看与处置
推理环境与 GPU50 条

ECC 显存错误查看与处置

数据中心卡带 ECC 保护显存:用 -q -d ECC 查看单比特(已纠正)与双比特(未纠正)错误计数;未纠正错误持续的卡不可继续承载生产任务。

查看 ECC 状态

查看 ECC 状态
nvidia-smi -q -d ECC | head -40
# 关键:Volatile / Aggregate 下的 Uncorrected(双比特)计数
  • 单比特错误偶发:继续观察,通常硬件自动纠正
  • 双比特错误非零:停止新任务,重启或重置设备后复查
  • 持续复现:按硬件流程报修更换
显存错误可能导致静默计算错误,推理结果异常时除排查代码也要看 ECC 计数。

易错点

  • 只看 Volatile 不看 Aggregate:前者重启清零,后者反映长期健康度

数据来源与参考

  • NVIDIA 数据中心 GPU 文档:ECC(docs.nvidia.com)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌