首页/系统与基础设施/存储速查/Ceph 集群健康状态检查方法
分布式与对象存储70 条

Ceph 集群健康状态检查方法

Ceph 用 HEALTH_OK、HEALTH_WARN、HEALTH_ERR 三级表达整体健康度,明细里列出具体告警项。巡检路径是先看等级再用明细定位,并按 OSD、MON、PG、容量与时钟几个维度分别处置。本文给出检查顺序与常见告警定位方向。

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌‌​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌‌​​‌​​‌‌​​​​‌​‌‌​​‌‌‌​‌‌​​‌​‌​​‌​‌‌‌‌​‌‌​​​‌‌​‌‌​​‌​‌​‌‌‌​​​​​‌‌​‌​​​​​‌​‌‌​‌​‌‌​​​‌‌​‌‌​‌‌​​​‌‌‌​‌​‌​‌‌‌​​‌‌​‌‌‌​‌​​​‌‌​​‌​‌​‌‌‌​​‌​​​‌​‌‌​‌​‌‌​‌​​​​‌‌​​‌​‌​‌‌​​​​‌​‌‌​‌‌​​​‌‌‌​‌​​​‌‌​‌​​​​​‌​‌‌​‌​‌‌​​​‌‌​‌‌​‌​​​​‌‌​​‌​‌​‌‌​​​‌‌​‌‌​‌​‌‌​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​

健康状态的三个等级

Ceph 把整体状态归为三级:HEALTH_OK 表示没有异常,HEALTH_WARN 表示存在需要关注但不影响数据可用性的问题,HEALTH_ERR 表示已经影响数据安全或服务可用性。只看等级不够,必须结合明细输出判断具体原因与影响面。

基本信息

查看命令状态摘要、健康等级、告警明细与持续观察各有对应命令
告警抑制确认已知问题时可临时静默,但需要记录原因与复核时间
告警类别OSD 状态、PG 状态、容量水位、时钟偏移、版本一致性
时钟要求各节点时间必须同步,偏移过大会干扰仲裁与事件关联
巡检顺序先看整体等级,再定位具体告警,最后按维度处理并复核
复核方式处理后再看一次明细与 PG 汇总,确认告警收敛

典型使用场景

  • 变更前后巡检:调整前记录基线,调整后确认无新增告警
  • 节点重启后确认:等待集群回到正常状态再交付业务
  • 磁盘告警定位:区分容量水位告警与单盘故障
  • 性能异常排查:慢请求类告警多指向磁盘延迟或网络抖动
  • 升级后核对:确认各组件版本一致,没有混版告警

巡检命令

巡检命令
ceph status              # 摘要:健康、服务、容量与 IO
ceph health              # 仅看健康等级
ceph health detail       # 展开每条告警
ceph -w                  # 持续刷新状态变化
ceph health mute <code>  # 临时静默已知告警
ceph osd stat             # OSD 层汇总

常见告警定位

告警含义检查方向
OSD 离线类有 OSD 进程不在线主机、进程、磁盘与网络链路
PG 降级类存在副本不足的 PG是否有 out 的 OSD 或正在恢复
池近满类池接近容量上限扩容或清理,复核水位阈值
时钟偏移类节点时间偏移超标时间同步服务与节点负载
慢请求类存在响应很慢的请求OSD 所在磁盘延迟与网络抖动
崩溃记录类有守护进程异常退出查看崩溃日志与对应组件状态
容量水位告警通常出现在使用率超过默认阈值时,处理方式有扩容和调整阈值两种。阈值不是越紧越好,过紧会长期产生噪声告警,反而降低巡检效率。
静默告警只消除提示,不解决问题。长期静默容量或降级类告警,会让真实故障被既有噪声淹没,静默项必须登记复核时间。

巡检要看趋势

单次查看只是瞬时快照。真正值得关注的是同一项告警是否反复出现、恢复速率是否稳定、容量曲线是否持续上升。把这些指标对照业务周期观察,才能区分偶发抖动与真实劣化。

易错点

  • 只看等级不看明细:同一个警告等级下可能同时存在容量水位与时钟偏移等互不相关的问题
  • 长期静默告警:新问题被已有噪声掩盖,巡检失去意义
  • 忽略时钟同步:时间偏移会干扰仲裁判断与日志时间关联,排查时难以对齐事件
  • 容量告警只调阈值不扩容:使用率继续上升,最终写入失败
  • 忽视版本混用产生的持续告警:真实异常被长期噪声掩盖

数据来源与参考

  • Ceph 官方文档《Health Checks 与集群健康状态》
  • Ceph 官方文档《ceph -s / ceph health detail 命令参考》
  • Ceph 官方文档《Monitoring a Cluster》章节

整理校对:其其网ICT文档中心 · 本页地址:docs.qiqicto.com/storage/ceph-cluster-health-check.html

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌‌​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌‌​​‌​​‌‌​​​​‌​‌‌​​‌‌‌​‌‌​​‌​‌​​‌​‌‌‌‌​‌‌​​​‌‌​‌‌​​‌​‌​‌‌‌​​​​​‌‌​‌​​​​​‌​‌‌​‌​‌‌​​​‌‌​‌‌​‌‌​​​‌‌‌​‌​‌​‌‌‌​​‌‌​‌‌‌​‌​​​‌‌​​‌​‌​‌‌‌​​‌​​​‌​‌‌​‌​‌‌​‌​​​​‌‌​​‌​‌​‌‌​​​​‌​‌‌​‌‌​​​‌‌‌​‌​​​‌‌​‌​​​​​‌​‌‌​‌​‌‌​​​‌‌​‌‌​‌​​​​‌‌​​‌​‌​‌‌​​​‌‌​‌‌​‌​‌‌​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​