首页/系统与基础设施/存储速查/Ceph 容量水位告警与管理
分布式与对象存储70 条

Ceph 容量水位告警与管理

Ceph 通过 nearfull、backfillfull、full 等容量水位阈值主动保护集群,超过阈值会限制再平衡甚至把池转为只读;容量管理要点是看单 OSD 分布、设池配额并提前扩容。

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌‌​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌‌​​‌​​‌‌​​​​‌​‌‌​​‌‌‌​‌‌​​‌​‌​​‌​‌‌‌‌​‌‌​​​‌‌​‌‌​​‌​‌​‌‌‌​​​​​‌‌​‌​​​​​‌​‌‌​‌​‌‌​​​‌‌​‌‌​​​​‌​‌‌‌​​​​​‌‌​​​​‌​‌‌​​​‌‌​‌‌​‌​​‌​‌‌‌​‌​​​‌‌‌‌​​‌​​‌​‌‌​‌​‌‌‌​‌‌‌​‌‌​​​​‌​‌‌‌​‌​​​‌‌​​‌​‌​‌‌‌​​‌​​‌‌​‌‌​‌​‌‌​​​​‌​‌‌‌​​‌​​‌‌​‌​‌‌​​‌​‌‌​‌​‌‌​​​​‌​‌‌​‌‌​​​‌‌​​‌​‌​‌‌‌​​‌​​‌‌‌​‌​​​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​

水位线是什么

Ceph 用几个容量比例阈值来保护集群:接近上限时先告警并限制新数据落盘,达到上限后直接让相关池转入只读,防止 OSD 被写满后连日志都写不进去。因此容量告警不是提醒,而是集群主动降级服务的开关。

基本信息

适用平台Ceph(默认阈值,以官方文档为准)
常见阈值nearfull、backfillfull、full、failsafe
查看命令ceph df、ceph osd df tree
权限要求只读排查即可,调整阈值与清理需管理员

典型使用场景

  • 收到 near full 告警:判断是数据真实增长还是快照与垃圾对象堆积
  • 写入报错前预警:在池转只读之前腾出容量
  • 容量规划:结合增长曲线决定扩容节点数量与时间点
  • 多租户管理:用配额约束单个业务池不要吃掉整个集群

容量查看

容量查看
ceph df                          # 全局与分池使用率、可用空间
ceph osd df tree                 # 按主机看单 OSD 使用率与方差
ceph df detail                   # 含配额与对象数量的明细
ceph health detail               # 读出触发告警的具体阈值语句

阈值与后果

阈值典型含义达到后的表现
nearfull接近高位,需尽快扩容告警并限制新 OSD 加入与再平衡
backfillfull已不适合再接收回填停止向该 OSD 回填,降级持续
full写入上限池转为只读,新写请求直接失败
可用容量不等于裸容量:副本数、纠删码比例与预留空间都会折算,规划时要按池口径而不是磁盘总量估算。
靠调低阈值来消除告警只是掩盖问题;真正写满后恢复需要清空间或扩容,期间的写入失败会直接打穿业务。

腾空间的优先顺序

  • 先清理无用快照与遗留的测试对象,成本最低见效最快
  • 再评估能否把冷数据迁到其他池或外部归档
  • 然后按容量增长曲线规划新增节点数量与上线时间
  • 扩容后等再平衡收敛,再评估真实剩余余量
  • 告警与配额一起配置,避免只告警不治理
单 OSD 使用率方差过大说明分布不均,这种情况先修分布再扩容,否则新增容量会继续向同一批节点倾斜。

易错点

  • 只看集群总使用率不看单 OSD 方差,个别盘早已接近上限
  • 长期保留大量快照与未清理的压测对象,容量悄悄上涨
  • 池没有配额,单一业务增长吃掉整个集群容量
  • 把阈值调高代替扩容,把可计划的扩容变成突发写入失败

数据来源与参考

  • Ceph 官方文档:容量与 full 比率(mon_osd_full_ratio 等)
  • Ceph 官方文档:ceph df 与 PG 容量计算

整理校对:其其网ICT文档中心 · 本页地址:docs.qiqicto.com/storage/ceph-capacity-watermark-alert.html

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌‌​‌‌‌​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​‌‌‌​​‌​​‌‌​​​​‌​‌‌​​‌‌‌​‌‌​​‌​‌​​‌​‌‌‌‌​‌‌​​​‌‌​‌‌​​‌​‌​‌‌‌​​​​​‌‌​‌​​​​​‌​‌‌​‌​‌‌​​​‌‌​‌‌​​​​‌​‌‌‌​​​​​‌‌​​​​‌​‌‌​​​‌‌​‌‌​‌​​‌​‌‌‌​‌​​​‌‌‌‌​​‌​​‌​‌‌​‌​‌‌‌​‌‌‌​‌‌​​​​‌​‌‌‌​‌​​​‌‌​​‌​‌​‌‌‌​​‌​​‌‌​‌‌​‌​‌‌​​​​‌​‌‌‌​​‌​​‌‌​‌​‌‌​​‌​‌‌​‌​‌‌​​​​‌​‌‌​‌‌​​​‌‌​​‌​‌​‌‌‌​​‌​​‌‌‌​‌​​​​‌​‌‌‌​​‌‌​‌​​​​‌‌‌​‌​​​‌‌​‌‌​‌​‌‌​‌‌​​