首页/AI/大模型部署与运维速查/取证工具:nvidia-bug-report.sh
运维监控与排障50 条

取证工具:nvidia-bug-report.sh

NVIDIA 提供的现场采集脚本,把驱动版本、GPU 状态与内核日志(含 Xid)打包成单一文件;掉卡与驱动异常在重启前先跑它,否则现场只剩口头描述。

现场取证脚本

显卡厂商提供的现场采集脚本,把驱动版本、设备状态与内核日志打包成单一文件。掉卡与驱动异常在重启前先跑它,否则重启之后现场只剩口头描述。脚本随驱动一起安装,通常不需要额外下载,采集耗时也不长。

基本信息

适用平台安装显卡驱动的 Linux 服务器
脚本位置随驱动安装,一般在系统可执行目录下
采集内容驱动与设备状态、内核日志中的错误记录
输出形式单一打包文件,可直接提交工单

采集

采集
sudo nvidia-bug-report.sh 2>&1 | tail -5
ls -lh nvidia-bug-report.log*     # 默认输出在当前目录
# 采集前后各记一次设备状态,附在工单里

典型使用场景

  • 掉卡与设备异常:重启前保留现场证据
  • 驱动问题定位:提交厂商时提供完整环境信息
  • 批量机器排查:同一批机器逐台采集后横向比对
  • 升级前后对照:升级前后各采一份便于对比
  • 工单闭环:把采集时间与故障时间一并写进工单,便于对齐时间线

采集内容与用途

采集项内容用途
驱动信息驱动与固件版本确认版本组合是否匹配
设备状态显卡健康与状态信息观察异常卡与错误计数
内核日志设备相关错误记录定位硬件或驱动层问题
提交工单时附上报告与复现描述:时间、负载、错误编号这些信息决定定位速度。
报告可能含主机名等环境信息:外发前按信息安全要求处理。
采集前后各记录一次设备状态与时间点:处理方需要知道问题发生的准确时间窗口。
采集会占用一定的磁盘写入与时间:优先在故障现场执行,事后补采到的信息价值很有限。

易错点

  • 重启后才想起采集:内核环缓冲与设备状态已经丢失,报告价值大打折扣
  • 直接外发原始报告:文件里可能含主机名与网络信息,先按安全要求脱敏
  • 只采一次不做对照:升级前后的两份报告对比,才能看出差异
  • 忽略错误编号:工单里不写设备错误编号,处理方只能在海量日志里翻找

数据来源与参考

  • NVIDIA 官方文档:NVIDIA Bug Report(docs.nvidia.com)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌