拷机与稳定性验证
新卡或疑似故障卡上生产前,做一次长稳验证:用满载运算工具把卡推到高负载并校验计算结果,配合管理工具的分级自检快速筛出异常硬件。上架验收与返修前后对比都常用这一组合,它能在低负载下不易暴露问题的硬件缺陷提前暴露出来。
基本信息
| 验证手段 | 满载运算测试与管理工具的分级诊断 |
|---|---|
| 典型时长 | 数百秒起步,按时长与验收要求设定 |
| 观察项 | 是否报错、结果校验是否通过、温度与功耗、错误计数 |
| 前置条件 | 确认散热与供电余量充足 |
| 执行窗口 | 安排在维护窗口,避开线上任务 |
典型使用场景
- 新卡上架验收:在低负载下看不出的问题,靠长时间满载更容易暴露
- 疑似故障卡复现:用稳定可重复的负载验证现象是否复现
- 换机或搬迁后确认:确认硬件在新环境下仍稳定
- 散热方案验证:观察长时间满载下的温度与是否降频
- 返修前后对比:用同一套测试判断问题是否真正解决
拷机与分级诊断
拷机与分级诊断
git clone <满载测试工具仓库> && cd <工具目录>
make
./gpu_burn 600 # 满载运行 600 秒,观察报错与结果校验
# 管理工具的分级诊断(需已部署对应组件)
dcgmi diag -r 2验收时要记什么
| 观察项 | 正常表现 | 异常信号 |
|---|---|---|
| 结果校验 | 通过,无报错 | 校验失败或报错 |
| 温度 | 稳定在阈值以下 | 接近上限并持续降频 |
| 功耗 | 在设定上限内 | 长期贴住上限 |
| 错误计数 | 无增长 | 计数出现增长 |
拷机会把功耗与温度推到接近上限:先确认散热与供电余量,并安排在维护窗口执行,避免影响线上任务。
结果要留档:把运行时长、温度曲线与错误计数一起记录,下次对比才有依据,返修前后也能用同一口径判断。