首页/数据/数据工程与 ETL 速查/Kafka 关键监控指标
本包目录(311 条)
管道基础52 条
Kafka64 条
调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

Kafka 关键监控指标

Kafka 运维看四类指标:副本健康(URP/离线分区)、控制器状态、流量与延迟、消费积压。缺少其中任何一类,故障都会以“业务报延迟”的形式暴露。

维度

维度关键指标含义
副本UnderReplicatedPartitions副本落后数量,持续大于 0 需要排查
控制器ActiveControllerCount是否恰好一个活跃 controller
流量BytesInPerSec / BytesOutPerSec集群进出流量,识别异常波形
积压consumer lag(按组/分区)消费进度与末尾位移之差
请求请求处理时间与错误率客户端超时与重试的根因线索

JMX 与采集

JMX 与采集
# 多数发行版默认暴露 JMX(如 9999 端口)
JMX_PORT=9999 kafka-server-start.sh -daemon config/server.properties
# Prometheus 生态常用 kafka_exporter 抓取 broker 指标,再配 Grafana 面板
先建面板再排障:URP、活跃 controller、ISR 收缩、lag 四条曲线能覆盖多数值班场景。

易错点

  • 只看 Broker 指标不看消费组 lag,会漏掉“集群健康但下游卡住”的故障
  • JMX 暴露到公网端口存在信息泄露风险,采集要走内网或鉴权通道

数据来源与参考

  • Apache Kafka 官方文档:Monitoring 与 JMX Metrics
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌