首页/数据/数据工程与 ETL 速查/消费组位移保留与过期
本包目录(311 条)
管道基础52 条
Kafka64 条
调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

消费组位移保留与过期

位移保存在内部主题中同样会过期:组长期无成员后位移被清理,重新启动的消费者会按 auto.offset.reset 决定位置,可能跳过或重复历史数据。

参数offsets.retention.minutes(2.0 起默认 10080 分钟,即 7 天)
影响过期后旧组位移丢失,等同新组
对策长期停用的链路重启前核对起始位置与重放窗口

查看相关配置

查看相关配置
kafka-configs.sh --bootstrap-server localhost:9092 \
  --entity-type brokers --entity-name 1 --describe | grep -i offsets.retention
“停了几个月再启动还能接着消费”并不成立:位移过期后默认从最新读取,容易漏掉中间数据。

易错点

  • 组停用前先记录位移或导出,重启时手动重置(reset-offsets)到记录位置
  • 把位移保留调长会占用 __consumer_offsets 空间,权衡前后确认

数据来源与参考

  • Apache Kafka 官方文档:Broker Configs(offsets.retention.minutes)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌