首页/系统与基础设施/存储速查/存储掉电与异常关机恢复处理
存储运维与性能60 条

存储掉电与异常关机恢复处理

掉电恢复的关键是顺序与耐心:先确认供电与环境,再按「存储先于主机」上电,等自检与一致性校验走完再放业务,最后才检查文件系统。上电瞬间就拉满负载,是把可控故障变成数据损坏的最快方式。

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌‌​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌‌​​‌​​‌‌​​​​‌​‌‌​​‌‌‌​‌‌​​‌​‌​​‌​‌‌‌‌​‌‌‌​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌‌​​‌​​‌‌​​​​‌​‌‌​​‌‌‌​‌‌​​‌​‌​​‌​‌‌​‌​‌‌‌​​​​​‌‌​‌‌‌‌​‌‌‌​‌‌‌​‌‌​​‌​‌​‌‌‌​​‌​​​‌​‌‌​‌​‌‌​‌‌​​​‌‌​‌‌‌‌​‌‌‌​​‌‌​‌‌‌​​‌‌​​‌​‌‌​‌​‌‌‌​​‌​​‌‌​​‌​‌​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌‌​‌‌​​‌‌​​‌​‌​‌‌‌​​‌​​‌‌‌‌​​‌​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​

恢复顺序为什么重要

异常掉电会留下三类隐患:写缓存中未下刷的数据、文件系统元数据处于中间态、以及阵列在上电后需要重做的一致性校验。恢复时如果先起主机并立刻拉业务,等于在存储仍在校验时施加满负载压力,轻则性能长时间异常,重则在校验期间遭遇介质错误。规范做法是按依赖顺序上电,并给存储充足的自检与校验时间。

基本信息

上电前确认市电与 UPS 已稳定、机柜供电无单路缺失、环境温度与告警恢复正常
上电顺序存储与扩展柜先行,确认阵列自检与卷状态正常后再启动主机
重点观察缓存是否有未下刷数据、阵列是否进入重建或一致性校验、卷是否可读写
校验代价全量一致性校验会占用大量带宽与介质时间,期间性能低于正常水平
文件系统主机侧先只读检查,确认无异常再决定是否修复
变更约束恢复期间不要并行执行固件升级、扩容等变更,先回到稳态

典型使用场景

  • 机房市电中断后批量恢复,需要确定存储、主机、业务的启动次序时
  • 单台设备被误断电,评估缓存数据与文件系统是否需要修复时
  • 掉电后阵列自动进入校验或重建,判断业务能否立即拉起来时
  • 主机重启后文件系统报错,决定是否执行修复以及如何留证据时
  • 恢复完成后向业务方交付,需要说明当前性能处于校验期的正常区间时

恢复期的检查动作

恢复期的检查动作
# 主机侧:确认卷是否已正常识别与成员状态
lsblk -S
cat /proc/mdstat
# 文件系统先做只读检查,不修改任何元数据
fsck -n /dev/mapper/mpatha
xfs_repair -n /dev/mapper/mpatha
# 只读挂载验证数据可读,确认无误后再以读写方式挂载
mount -o ro /dev/mapper/mpatha /mnt/check
# 全程盯内核日志与阵列事件,留意介质错误与重置
journalctl -k -f | grep -Ei 'i/o error|reset|fault'

恢复阶段与完成判据

阶段关键动作完成判据
供电确认核对市电、UPS、机柜供电状态供电稳定且环境告警消除
存储上电按厂商顺序上电并观察自检阵列状态正常、卷可识别
一致性校验等待校验或重建完成校验进度归零、无新错误计数
主机拉起先只读检查再读写挂载文件系统挂载正常、数据抽检通过
业务恢复分批恢复业务并观察基线延迟与吞吐回到历史基线区间
掉电后如果写缓存保护部件本身也失效,缓存中未下刷的数据可能永久丢失。此时不要急于让业务大量写入,先把当前状态与丢失窗口评估清楚,再决定是否从备份恢复。
一致性校验与重建期间性能下降属于预期行为,交付时要主动说明窗口与量级,避免业务方误判为存储故障而触发二次变更。

易错点

  • 上电后立刻恢复全部业务,与一致性校验争抢资源,把校验期拖成故障期
  • 跳过只读检查直接自动修复文件系统,破坏本可恢复的元数据
  • 忽略写缓存的丢失窗口,未评估数据一致性就继续写入
  • UPS 容量不足时仍持续写入,掉电瞬间留下大量未下刷数据
  • 恢复后未与备份交叉验证,数据看似可用但已静默损坏

数据来源与参考

  • 厂商官方文档(NetApp ONTAP / Dell PowerStore)异常断电恢复流程
  • NVM Express 官方规范《NVMe Base Specification》掉电数据完整性要求
  • INCITS T10 SBC-4 写缓存与 Flush 语义

整理校对:其其网ICT文档中心 · 本页地址:docs.qiqicto.com/storage/storage-power-loss-recovery.html

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌‌​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌‌​​‌​​‌‌​​​​‌​‌‌​​‌‌‌​‌‌​​‌​‌​​‌​‌‌‌‌​‌‌‌​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌‌​​‌​​‌‌​​​​‌​‌‌​​‌‌‌​‌‌​​‌​‌​​‌​‌‌​‌​‌‌‌​​​​​‌‌​‌‌‌‌​‌‌‌​‌‌‌​‌‌​​‌​‌​‌‌‌​​‌​​​‌​‌‌​‌​‌‌​‌‌​​​‌‌​‌‌‌‌​‌‌‌​​‌‌​‌‌‌​​‌‌​​‌​‌‌​‌​‌‌‌​​‌​​‌‌​​‌​‌​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌‌​‌‌​​‌‌​​‌​‌​‌‌‌​​‌​​‌‌‌‌​​‌​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​