首页/数据/数据工程与 ETL 速查/kafka-log-dirs.sh 磁盘占用分析
本包目录(311 条)
管道基础52 条
Kafka64 条
调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

kafka-log-dirs.sh 磁盘占用分析

按 Broker 与日志目录查看分区大小与位移,定位磁盘不均衡、单分区过大、迁移目标容量,是磁盘类事故排查的原始数据。

输出每个 Broker 每个 log.dir 下的分区大小与 offsetLag
用途找大主题/大分区、确认迁移目标余量
过滤--topic-list 限定主题

查看目录占用

查看目录占用
kafka-log-dirs.sh --bootstrap-server localhost:9092 \
  --describe --topic-list orders

# 输出为 JSON(节选含义)
# { "brokers": [ { "broker": 1, "logDirs": [ { "logDir": "/data/kafka",
#   "partitions": [ { "partition": "orders-0", "size": 1073741824, "offsetLag": 0 } ] } ] } ] }
配合操作系统层面的 du/df 一起看:Kafka 统计的是日志段大小,磁盘还包含索引与其他文件。

易错点

  • 多日志目录(多盘)配置时,热分区可能集中在单盘,要按 broker 逐个核对
  • offsetLag 非 0 说明目录所在副本未跟上,和 ISR 指标互为印证

数据来源与参考

  • Apache Kafka 官方文档:kafka-log-dirs.sh
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌