本包目录(311 条)
管道基础52 条
Kafka64 条
调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

Offset 位移概念

位移是消息在分区内的编号:生产者写入后递增的末尾位移叫 LEO,消费者记录下次要读的位置叫消费位移;两者之差就是积压(Lag)。

Consumer Offset消费组已提交的进度(下一条要读的位置)
Log End Offset分区当前末尾位置,即已写入条数
LagLEO 与已提交位移之差,衡量积压

位移与积压查看

位移与积压查看
kafka-get-offsets.sh --bootstrap-server localhost:9092 --topic orders
# orders:0:1024
# orders:1:998
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group order-consumer
位移提交的是“下一条要读的编号”而非“已读的编号”,重置位点时容易差一条,务必确认语义。

易错点

  • 把 lag 当成“消息丢失”是误判:lag 大只表示积压,消息仍在分区里(保留期内)
  • 重置位移到最新会跳过未消费数据,生产操作前先导出当前位移备份

数据来源与参考

  • Apache Kafka 官方文档:Offsets and Consumer Position
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌