预测性故障是什么
预测性故障(PFA,Predictive Failure Analysis)是盘厂商的算法或控制器的巡检机制给出的「即将故障」提示:此时盘仍然在线、数据仍然可读,但某些关键指标已经越过了告警门槛。它给运维的是一个从容处置的窗口,正确做法是先把数据迁走或让热备顶替,再按流程更换,而不是等盘彻底掉线。
基本信息
| 表现形式 | 卡工具显示预测性故障标记,SMART 关键属性越过阈值,BMC 产生告警 |
|---|---|
| 处理原则 | 先保障数据与业务,再从容更换,而不是等待彻底故障 |
| 处置手段 | 热备顶替、数据迁移、按阵列能力在线更换 |
| 记录要求 | 更换原因写入工单,与 SMART 输出一并归档 |
查看预测性故障标记
查看预测性故障标记
storcli /c0/eall/sall show all | grep -i -E "Predictive|S.M.A.R.T" # 卡侧标记
storcli /c0/eall/sall show | grep -i -E "PFA|Failed" # 盘状态概览
smartctl -A -d megaraid,4 /dev/sda | grep -i -E "Reallocated|Pending|Wear" # 属性佐证
ipmitool -I lanplus -H 10.0.0.10 -U admin -f /root/.ipmi_pass sel elist | tail -20 # BMC 事件告警来源与处置
| 来源 | 典型表现 | 处置 |
|---|---|---|
| 控制器巡检 | 盘状态标记预测性故障 | 确认后启动顶替或更换流程 |
| SMART 属性 | 关键属性越过阈值或持续增长 | 加密采样频率,安排更换 |
| BMC 事件 | 硬件事件日志出现盘告警 | 与卡侧状态交叉验证 |
| 监控系统 | 性能或延迟异常波动 | 排查是否由坏道重试引起 |
典型使用场景
- 计划更换:业务低峰期更换盘,把影响控制到最小
- 热备顶替:让热备自动接替,缩短无保护窗口
- 数据迁移:冗余不足时先把数据搬到其他存储再换盘
- 容量规划:统计 PFA 高发批次,反馈采购与供应商
- 运维闭环:把告警到更换的时长纳入指标,避免长期积压
预测性故障给了从容处置的窗口;把它当普通告警积压,等来的通常是突发掉盘。
出现 PFA 标记后不要做全盘写测试或反复自测:这些动作会加速盘的劣化,也会破坏现场证据,先取证再处置。
把预测性故障处理时长纳入运维指标:从告警产生到盘被更换的时间越长,落在窗口期外的概率越高,这项统计能直接反映流程是否顺畅。