首页/数据/数据工程与 ETL 速查/消费组详情与积压定位
Kafka64 条

消费组详情与积压定位

describe 输出每个分区当前位移、末尾位移与 LAG,并显示消费者成员;这是判断积压规模与分布(倾斜还是整体)的核心视图。

每行内容CURRENT-OFFSET、LOG-END-OFFSET、LAG、CONSUMER-ID、HOST、CLIENT-ID
附加--members 看成员与分配;--state 看组状态
判断个别分区 LAG 高=热分区;全部分区高=消费能力不足

积压分析

积压分析
kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
  --describe --group order-consumer
kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
  --describe --group order-consumer --members --verbose
kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
  --describe --group order-consumer --state
CONSUMER-ID 为空表示该分区当前没有消费者;结合状态准备判断是成员掉线还是处理变慢。

易错点

  • LAG 为负值一般出现在组刚重置位移或位移与末尾不一致时,需先核对语义
  • 只看总 lag 不看分布,会错过单分区热点导致的处理瓶颈

数据来源与参考

  • Apache Kafka 官方文档:Consumer Group Describe 输出说明
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌