首页/数据/数据工程与 ETL 速查/消费组 Consumer Group
本包目录(311 条)
管道基础52 条
Kafka64 条
调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

消费组 Consumer Group

消费组是一组协同消费一个主题的消费者:组内按分区均分,一个分区同时只归一个成员;不同组各读全量互不影响,这也是多下游共享一个主题的方式。

分配单位分区(组内一个分区只给一个成员)
并行上限成员数超过分区数后多余成员空闲
多组消费不同 group.id 各自维护位移,互不影响

消费组查看

消费组查看
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group order-consumer
同一分区被两个消费者同时读,通常说明它们用了不同的 group.id;核对组名是优先排查动作。

易错点

  • 消费者实例少于分区数时,部分分区无人消费表现为 lag 持续增长
  • 组名拼写不同会得到“零消费”的另一条链路,监控要按组名核对

数据来源与参考

  • Apache Kafka 官方文档:Consumer Groups
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌