首页/AI/大模型部署与运维速查/拷机与稳定性验证(gpu-burn / DCGM)
推理环境与 GPU50 条

拷机与稳定性验证(gpu-burn / DCGM)

新卡或疑似故障卡的长稳验证:gpu-burn 持续满载跑矩阵运算并校验结果,DCGM 提供分级自检;上架验收与返修场景都常用这一组合。

拷机与稳定性验证

新卡或疑似故障卡上生产前,做一次长稳验证:用满载运算工具把卡推到高负载并校验计算结果,配合管理工具的分级自检快速筛出异常硬件。上架验收与返修前后对比都常用这一组合,它能在低负载下不易暴露问题的硬件缺陷提前暴露出来。

基本信息

验证手段满载运算测试与管理工具的分级诊断
典型时长数百秒起步,按时长与验收要求设定
观察项是否报错、结果校验是否通过、温度与功耗、错误计数
前置条件确认散热与供电余量充足
执行窗口安排在维护窗口,避开线上任务

典型使用场景

  • 新卡上架验收:在低负载下看不出的问题,靠长时间满载更容易暴露
  • 疑似故障卡复现:用稳定可重复的负载验证现象是否复现
  • 换机或搬迁后确认:确认硬件在新环境下仍稳定
  • 散热方案验证:观察长时间满载下的温度与是否降频
  • 返修前后对比:用同一套测试判断问题是否真正解决

拷机与分级诊断

拷机与分级诊断
git clone <满载测试工具仓库> && cd <工具目录>
make

./gpu_burn 600        # 满载运行 600 秒,观察报错与结果校验

# 管理工具的分级诊断(需已部署对应组件)
dcgmi diag -r 2

验收时要记什么

观察项正常表现异常信号
结果校验通过,无报错校验失败或报错
温度稳定在阈值以下接近上限并持续降频
功耗在设定上限内长期贴住上限
错误计数无增长计数出现增长
拷机会把功耗与温度推到接近上限:先确认散热与供电余量,并安排在维护窗口执行,避免影响线上任务。
结果要留档:把运行时长、温度曲线与错误计数一起记录,下次对比才有依据,返修前后也能用同一口径判断。

易错点

  • 拷机报错当噪声:出现硬件报错或错误计数增长应停止投产并留存日志排查
  • 在生产时段拷机:与线上任务争抢算力并推高温度,影响面比预期大
  • 拷机时长太短:热积累需要时间才能体现,短测通不过长稳这一关
  • 拷机通过就直接投产:还要结合错误计数与温度趋势,单次通过不代表长期健康

数据来源与参考

  • gpu-burn 仓库(github.com/wilicc/gpu-burn)
  • NVIDIA DCGM 文档(docs.nvidia.com/datacenter/dcgm)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌