健康状态的三个等级
Ceph 把整体状态归为三级:HEALTH_OK 表示没有异常,HEALTH_WARN 表示存在需要关注但不影响数据可用性的问题,HEALTH_ERR 表示已经影响数据安全或服务可用性。只看等级不够,必须结合明细输出判断具体原因与影响面。
基本信息
| 查看命令 | 状态摘要、健康等级、告警明细与持续观察各有对应命令 |
|---|---|
| 告警抑制 | 确认已知问题时可临时静默,但需要记录原因与复核时间 |
| 告警类别 | OSD 状态、PG 状态、容量水位、时钟偏移、版本一致性 |
| 时钟要求 | 各节点时间必须同步,偏移过大会干扰仲裁与事件关联 |
| 巡检顺序 | 先看整体等级,再定位具体告警,最后按维度处理并复核 |
| 复核方式 | 处理后再看一次明细与 PG 汇总,确认告警收敛 |
典型使用场景
- 变更前后巡检:调整前记录基线,调整后确认无新增告警
- 节点重启后确认:等待集群回到正常状态再交付业务
- 磁盘告警定位:区分容量水位告警与单盘故障
- 性能异常排查:慢请求类告警多指向磁盘延迟或网络抖动
- 升级后核对:确认各组件版本一致,没有混版告警
巡检命令
巡检命令
ceph status # 摘要:健康、服务、容量与 IO
ceph health # 仅看健康等级
ceph health detail # 展开每条告警
ceph -w # 持续刷新状态变化
ceph health mute <code> # 临时静默已知告警
ceph osd stat # OSD 层汇总常见告警定位
| 告警 | 含义 | 检查方向 |
|---|---|---|
| OSD 离线类 | 有 OSD 进程不在线 | 主机、进程、磁盘与网络链路 |
| PG 降级类 | 存在副本不足的 PG | 是否有 out 的 OSD 或正在恢复 |
| 池近满类 | 池接近容量上限 | 扩容或清理,复核水位阈值 |
| 时钟偏移类 | 节点时间偏移超标 | 时间同步服务与节点负载 |
| 慢请求类 | 存在响应很慢的请求 | OSD 所在磁盘延迟与网络抖动 |
| 崩溃记录类 | 有守护进程异常退出 | 查看崩溃日志与对应组件状态 |
容量水位告警通常出现在使用率超过默认阈值时,处理方式有扩容和调整阈值两种。阈值不是越紧越好,过紧会长期产生噪声告警,反而降低巡检效率。
静默告警只消除提示,不解决问题。长期静默容量或降级类告警,会让真实故障被既有噪声淹没,静默项必须登记复核时间。
巡检要看趋势
单次查看只是瞬时快照。真正值得关注的是同一项告警是否反复出现、恢复速率是否稳定、容量曲线是否持续上升。把这些指标对照业务周期观察,才能区分偶发抖动与真实劣化。