首页/系统与基础设施/存储速查/链路误码与光纤故障排查方法
存储运维与性能60 条

链路误码与光纤故障排查方法

存储链路误码会表现为重传、降速与路径抖动,严重时被误判成盘故障。光纤与光模块的端面污染、弯折、功率不匹配是高频原因,排查要看错误计数与光功率趋势,而不是等链路彻底断开。

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌‌​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌‌​​‌​​‌‌​​​​‌​‌‌​​‌‌‌​‌‌​​‌​‌​​‌​‌‌‌‌​‌‌​‌‌​​​‌‌​‌​​‌​‌‌​‌‌‌​​‌‌​‌​‌‌​​‌​‌‌​‌​‌‌​​‌​‌​‌‌‌​​‌​​‌‌‌​​‌​​‌‌​‌‌‌‌​‌‌‌​​‌​​​‌​‌‌​‌​‌‌​​‌‌​​‌‌​‌​​‌​‌‌​​​‌​​‌‌​​‌​‌​‌‌‌​​‌​​​‌​‌‌​‌​‌‌​​‌‌​​‌‌​​​​‌​‌‌‌​‌​‌​‌‌​‌‌​​​‌‌‌​‌​​​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​

链路误码的来路

存储链路包括 FC 光纤通道、以太网承载的 iSCSI 与 NVMe-oF、以及机箱内的 SAS。误码意味着信号在传输中出现比特错误,链路层靠重传和降速兜住,业务看到的是延迟上升与吞吐不稳。物理层是主因:端面污染、弯曲半径过小、连接器磨损、光模块老化或收发功率不匹配,都会让误码率缓慢攀升,直到某天直接断链。

基本信息

链路类型FC 光纤通道、以太网(iSCSI / NVMe-oF)、SAS 直连或级联
关键指标误码率、CRC 错误、无效帧、链路重置次数、收发光功率
判读方式看变化速率与同批链路的横向对比,绝对值需对照厂商给的参考范围
物理诱因端面污染、弯折过度、跳线劣质、模块老化、模块与交换机不兼容
业务影响重传与降速造成 IO 抖动,多路径场景下会触发路径切换
取证位置主机侧 HBA 统计、交换机端口统计、阵列侧端口统计,三处对照最有效

典型使用场景

  • 业务无规律抖动,需要在主机与交换机两侧同时确认是否有链路错误增长时
  • 新上线或新布线后出现间歇性 IO 失败,排查跳线与模块质量时
  • 更换光模块或跳线前,先记录基线统计以便事后对比验证效果时
  • 多路径环境中某条路径反复 reinstated,判断是否应隔离该链路段时
  • 扩容新增链路后,确认新链路频率与模式配置与既有链路一致时

两侧统计对照

两侧统计对照
# FC:主机侧看链路故障与错误帧计数(节点名随主机适配器编号变化)
cat /sys/class/fc_host/host0/statistics/link_failure_count
cat /sys/class/fc_host/host0/statistics/error_frame_count
cat /sys/class/fc_host/host0/statistics/invalid_crc_count
# 以太网承载:看错误包与协商速率是否符合预期
ethtool -S eth0 | grep -Ei 'err|drop|crc'
ethtool eth0 | grep -Ei 'speed|duplex'
# 内核侧看路径抖动与重试,时间点可与业务抖动对齐
journalctl -k --since '1 hour ago' | grep -Ei 'fc|iscsi|link down|reset'

链路指标逐项读法

指标含义处理方向
CRC / 无效帧信号层面的错误计数先清洁端面与更换跳线,再评估模块
链路重置次数链路段反复重连查模块、端口与对端交换机端口
收发光功率是否在模块允许范围内功率偏低多为污染、弯折或老化
协商速率下降链路降速运行核对两端配置与模块规格是否匹配
误码计数的价值在于趋势:开机以来累计几十次与最近一小时新增几十次,含义完全不同。排障前先记录当前基线,改动物理链路后再对比一次。
更换跳线或模块会在有冗余路径时触发一次路径切换,在没有冗余的单路径链路上等同于计划外中断。动手前先确认路径冗余与应用多路径状态。

易错点

  • 只在主机侧看错误计数,与交换机侧统计对不上时不追查,导致结论含糊
  • 看到错误增长直接换模块,未先清洁端面与更换跳线,问题反复出现
  • 把链路误码导致的 IO 错误判为盘故障,换盘后错误计数仍在增长
  • 凭感觉插拔跳线,弯曲半径与走线受力不规范,短期正常长期高误码
  • 记录基线缺失,改动后无法证明链路是否真的改善

数据来源与参考

  • INCITS T11 FC-PI 光纤通道物理接口规范
  • IEEE 802.3 以太网标准(链路误码与 FEC)
  • 光模块厂商(Cisco/Finisar)官方收发器规格书

整理校对:其其网ICT文档中心 · 本页地址:docs.qiqicto.com/storage/link-error-fiber-fault.html

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌‌​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌‌​​‌​​‌‌​​​​‌​‌‌​​‌‌‌​‌‌​​‌​‌​​‌​‌‌‌‌​‌‌​‌‌​​​‌‌​‌​​‌​‌‌​‌‌‌​​‌‌​‌​‌‌​​‌​‌‌​‌​‌‌​​‌​‌​‌‌‌​​‌​​‌‌‌​​‌​​‌‌​‌‌‌‌​‌‌‌​​‌​​​‌​‌‌​‌​‌‌​​‌‌​​‌‌​‌​​‌​‌‌​​​‌​​‌‌​​‌​‌​‌‌‌​​‌​​​‌​‌‌​‌​‌‌​​‌‌​​‌‌​​​​‌​‌‌‌​‌​‌​‌‌​‌‌​​​‌‌‌​‌​​​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​