首页/数据/数据工程与 ETL 速查/kafka-get-offsets.sh 查询分区位移
本包目录(311 条)
管道基础52 条
Kafka64 条
调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

kafka-get-offsets.sh 查询分区位移

查询各分区的最早/最新位移(或指定时间的位移),用于估算积压、计算消息量、确认保留范围,是容量与故障评估的常用工具。

输出主题:分区:位移
时间参数--time -1 最新,--time -2 最早,也可传毫秒时间戳
口径取的是位移数值,不是消息条数(含空洞时两者不同)

查询位移

查询位移
kafka-get-offsets.sh --bootstrap-server localhost:9092 --topic orders
# orders:0:1024
# orders:1:998

kafka-get-offsets.sh --bootstrap-server localhost:9092 --topic orders --time -2   # 最早
kafka-get-offsets.sh --bootstrap-server localhost:9092 --topic orders --time -1   # 最新
老版本通过 kafka-run-class.sh kafka.tools.GetOffsetShell 调用;新版本发行包提供独立的 kafka-get-offsets.sh。

易错点

  • 压实主题的位移与消息数不成比例(有空洞),估算数据量要按字节或采样换算
  • 对全部分区查询在大集群上是元数据操作,脚本控制频率

数据来源与参考

  • Apache Kafka 官方文档:GetOffsetShell 工具说明
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌