现场确认
现场确认
nvidia-smi -L # 设备数量是否少了
nvidia-smi | head -20 # 是否报 Unable to determine device handle
dmesg -T | grep -i -E 'xid|fell off|nvrm' | tail监控侧检测（示意）
监控侧检测（示意）
DCGM_FI_DEV_XID_ERRORS 出现增量 → 告警
巡检任务：nvidia-smi -L 设备数与基线比对，不一致立即告警Xid 79 类掉卡通常无法靠 nvidia-smi --gpu-reset 恢复；按节点排障流程处理并联系厂商支持。