健康检查与监控
对象存储的运维围绕两类信号展开:一是健康检查端点,用最少的信息回答「服务是否可用」;二是指标端点,用聚合数据回答「服务做得怎么样」。把这两者接入现成的监控体系,再叠加集群自带的诊断命令,就能在故障发生前发现容量水位、修复队列与错误率的异常趋势,而不是等业务报错才发现问题。
基本信息
| 健康端点 | 存活检查与就绪检查,用于负载均衡与编排系统探活 |
|---|---|
| 指标端点 | 兼容常用抓取格式,可分别暴露集群、节点与桶级指标 |
| 诊断命令 | 查看节点、追踪请求、查看修复状态等管理子命令 |
| 关注维度 | 容量、修复、请求错误率、节点与磁盘存活 |
典型使用场景
- 接入监控体系:把指标按固定间隔抓取并绘制趋势图
- 负载均衡探活:探活失败时自动摘除异常节点
- 容量预警:在达到水位线前触发扩容流程
- 修复跟踪:磁盘更换后确认重建队列清空
- 故障定位:用请求追踪观察具体调用的链路与耗时
常用检查命令
常用检查命令
curl -s http://minio.example.com/minio/health/live # 存活探针
mc admin info myminio # 节点、磁盘、容量与修复概况
mc support diag myminio # 生成诊断包(以官方文档为准)
mc admin trace myminio -v # 实时观察请求链路
mc admin heal --recursive myminio # 查看与触发修复
mc admin top locks myminio # 观察锁竞争情况指标与判读方向
| 指标类 | 含义 | 异常表现 |
|---|---|---|
| 容量使用率 | 各磁盘与组的占用比例 | 单盘明显高于其他,集群总量却不高 |
| 修复队列 | 待重建的分片数量 | 长期不清空说明修复受阻 |
| 请求错误率 | 被拒绝与失败的请求占比 | 突升通常伴随限流或磁盘异常 |
| 节点与磁盘状态 | 在线数量与挂载情况 | 数量减少要立即确认是否掉盘 |
| 请求延迟 | 各操作的耗时分布 | 长尾抬升常指向后端磁盘瓶颈 |
告警配置建议
- 节点或磁盘离线立即告警,这是最高优先级信号
- 容量按磁盘、组与集群三个层级分别设阈值,避免只看总量
- 修复队列积压超过预期时长触发告警,而不仅是失败告警
- 错误率与限流次数设阈值,用来判断容量还是请求模式需要调整
- 证书到期、版本不一致等运维项也纳入例行检查
健康端点只回答可用性,不能代表数据完整;判断数据侧是否健康要看修复状态与校验任务的结果。
指标端点与健康端点的具体路径、是否需要鉴权、可暴露的指标范围,各实现与版本差异较大,接入前以官方文档为准。