固件是多层组合，不是单一版本
一台 GPU 服务器至少涉及五层固件：主板 BIOS、带外管理控制器、GPU 的 VBIOS、网卡或高速互联卡的固件、以及 SSD 固件。这些版本与驱动程序之间存在兼容关系，某一层落后都可能引发掉卡、链路反复重协商、随机重启这类难定位的问题。升级固件的代价通常是重启节点，因此需要按维护窗口执行，并事先确认可以回退到旧版本。
基本信息
| 涉及层次 | 主板 BIOS、带外管理、GPU 的 VBIOS、网卡与互联卡、SSD |
|---|---|
| 采集工具 | 厂商命令与通用工具（dmidecode、ethtool、nvme 等） |
| 升级前提 | 对照厂商兼容矩阵确认组合，不混搭来源不明的固件包 |
| 执行方式 | 按维护窗口流程，先退出业务流量再升级 |
| 回退要求 | 保留旧版本固件包并确认可回退路径 |
典型使用场景
- 新节点验收：登记全部组件版本，作为后续故障对比的基线
- 扩缩容一致性：同批次机器版本对齐，避免同型号出现行为差异
- 故障定位：掉卡与通信异常时先核对固件版本是否在支持范围内
- 驱动升级前置：换驱动版本前先确认固件满足最低要求
- 批量巡检：定期比对整机房版本，找出偏离基线的少数节点
采集版本
采集版本
nvidia-smi --query-gpu=name,serial,driver_version,vbios_version --format=csv # GPU 与驱动
nvidia-smi -q | grep -A2 -i 'vbios' | head -10 # 个别型号需从详情页读取
dmidecode -t bios | grep -Ei 'version|release' # 主板 BIOS 版本
ipmitool ... mc info | grep -i firmware # 带外管理固件
ethtool -i <接口名> # 网卡驱动与固件
nvme list && nvme id-ctrl /dev/nvme0 | grep -i fr # SSD 固件版本组件与常见症状
| 组件 | 版本落后时的常见症状 | 核对方式 |
|---|---|---|
| 主板 BIOS | GPU 识别不全、异常重启、互联链路降速 | 对照厂商支持列表 |
| 带外管理固件 | 远程管理界面异常、事件日志缺失 | 检查带外控制台版本 |
| GPU VBIOS | 掉卡、降频、显存报错 | 与驱动版本说明对照 |
| 网卡与互联卡 | 通信重传、带宽不达标、集群训练不稳定 | 查看固件与驱动组合要求 |
| SSD 固件 | 掉盘、写入延迟尖刺、I/O 错误 | 对照型号的固件公告 |
固件升级通常需要重启节点：按维护窗口流程执行，升级前后各做一次基线测试，确认驱动加载、通信与典型推理负载都正常。
打散升级而不是整批同时执行：新旧版本在一段时间内并存，一旦出现异常还能通过对比找到差异点，不必全机房回退。