本包目录(311 条)
管道基础52 条
Kafka64 条
调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

再均衡 Rebalance

组成员变化、订阅变化或分区数变化会触发再均衡:分区在成员之间重新分配。均衡期间消费可能暂停,频繁触发是消费链路的典型故障。

触发成员加入/退出、订阅变更、分区数变化
影响分区重新分配,短暂停顿或部分分区暂停
缓解合作式均衡、静态成员、合理调大会话与处理超时

降低影响的客户端配置

降低影响的客户端配置
partition.assignment.strategy=org.apache.kafka.clients.consumer.CooperativeStickyAssignor
group.instance.id=consumer-1        # 静态成员,短暂重启不触发再均衡
session.timeout.ms=45000
max.poll.interval.ms=300000
处理单批数据耗时超过 max.poll.interval.ms 会被踢出组,引发“处理慢→被踢→再均衡→更慢”的循环。

易错点

  • consumer 端处理逻辑里做阻塞调用(如同步 HTTP 长请求)是再均衡频发的常见原因
  • 日志中出现“member was removed”要先看处理耗时,别急着调大会话超时掩盖问题

数据来源与参考

  • Apache Kafka 官方文档:Consumer Configs(再均衡相关参数)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌