带外管理与 SEL
BMC（基板管理控制器，各厂商也叫 iDRAC、iLO、iBMC）是独立于操作系统的管理芯片，只要服务器通电就能访问。SEL（System Event Log）是它记录的系统事件日志，覆盖电源、风扇、温度、内存、PCIe 等硬件事件。GPU 服务器出现掉卡、降频、随机宕机时，操作系统内核日志往往只看到结果，SEL 才能补上底层证据，两者按时间轴对齐才能还原完整因果。
基本信息
| 适用设备 | 支持 IPMI 2.0 的服务器（Dell、HPE、浪潮、联想等） |
|---|---|
| 访问方式 | 带外管理网（BMC 专用网口或共享网口）上的独立 IP |
| 常用工具 | ipmitool（Linux）、厂商 Web 控制台 |
| 权限要求 | 带外管理账号，属高权限通道，应单独管理 |
| 典型命令 | ipmitool -I lanplus -H <地址> -U <用户> sel list |
典型使用场景
- GPU 掉卡排查：内核报 Xid 错误时，回看 SEL 是否有 PCIe 链路或供电事件
- 随机宕机复盘：机器无预警重启，SEL 能区分是电源故障、温度保护还是人为操作
- 温度告警定位：确认是风扇故障、进风温度过高还是散热风道堵塞
- 资产与巡检：批量采集各节点 SEL 摘要，找出反复触发同类事件的机器
- 变更前后对比：换电源、换卡、加内存后比对 SEL，确认没有新增异常事件
读取 SEL
读取 SEL
ipmitool -I lanplus -H <管理地址> -U <用户> -P <密码> sel list # 列出全部事件
ipmitool -I lanplus -H <管理地址> -U <用户> -P <密码> sel elist # 带传感器解读
ipmitool sel time get # 先核对 BMC 时钟是否准确
ipmitool -I lanplus -H <管理地址> -U <用户> -P <密码> sel clear # 清空前先导出留档
ipmitool -I lanplus -H <管理地址> -U <用户> -P <密码> sdr type temperature # 交叉看传感器读数SEL 逐列读法
| 列 | 含义 | 正常与异常 |
|---|---|---|
| ID | 事件记录序号 | 连续递增；序号跳变说明中间记录被清空过 |
| 日期时间 | BMC 记录的事件时刻 | 与内核日志偏离过大说明 BMC 时钟未同步 |
| 传感器 | 触发事件的部件 | 出现电源、内存、PCIe 等关键词需重点关注 |
| 事件描述 | 事件类型与方向 | Asserted 为发生，Deasserted 为恢复，两者成对出现才是完整过程 |
| 严重级别 | 事件等级 | Critical 类需立即处理，Warning 类可纳入巡检观察 |
BMC 时间漂移会让事件失去参考价值：解读前先用 sel time get 与标准时间核对，偏差过大先校时，再和内核日志逐条对齐时间线。
带外管理网是独立高权限通道：凭据单独管理并限制可访问网段，操作留痕；不要与业务网混用，也不要开放到公网。