首页/数据/数据工程与 ETL 速查/消费积压 Lag 排查流程
本包目录(311 条)
管道基础52 条
Kafka64 条
调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

消费积压 Lag 排查流程

积压排查按“范围—成员—分布—集群”四步:先确认是整体还是局部,再看消费者是否在线与再均衡,然后看分区倾斜与 broker 健康,最后定位是消费慢还是生产突增。

四步排查命令

四步排查命令
# 1) 组级概览:每分区 lag
kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
  --describe --group order-consumer

# 2) 成员与分配是否正常
kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
  --describe --group order-consumer --members --verbose

# 3) 集群侧副本健康
kafka-topics.sh --bootstrap-server localhost:9092 --describe --under-replicated-partitions

现象与方向

现象大概率原因动作
全部区均匀上涨消费能力不足或下游变慢扩容分区/消费者,优化下游写入
个别分区独高热 key 导致分区倾斜调整分区键或拆分热点
lag 锯齿状波动频繁再均衡或处理超时查 max.poll.interval.ms 与处理耗时
消费者无分配分区数/组名/订阅不一致核对分区数与客户端配置
生产突增(流量翻倍)与消费变慢要区分:看生产端速率曲线能避免错误扩容。

易错点

  • 先扩容消费者再看分区数:分区不足时新增实例不会分担负载
  • 忽略下游(数据库/接口)的耗时变化,会在消费侧做无效优化

数据来源与参考

  • Apache Kafka 官方文档:Consumer Lag 监控与运维实践
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌