本包目录(311 条)
管道基础52 条
Kafka64 条
调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

Topic 主题与配置

Topic 是消息的逻辑分类,由分区、副本数与一批可覆盖的配置(保留时间、清理策略、消息大小上限等)构成;创建后配置仍可动态调整。

组成名称 + 分区数 + 副本因子 + 主题级配置
命名业务域/环境/实体,避免与内部主题冲突
配置示例retention.ms、cleanup.policy、max.message.bytes、min.insync.replicas

主题级配置查询与修改

主题级配置查询与修改
kafka-configs.sh --bootstrap-server localhost:9092 \
  --entity-type topics --entity-name orders --describe

kafka-configs.sh --bootstrap-server localhost:9092 \
  --entity-type topics --entity-name orders \
  --alter --add-config retention.ms=259200000

kafka-configs.sh --bootstrap-server localhost:9092 \
  --entity-type topics --entity-name orders \
  --alter --delete-config retention.ms
内部主题(__consumer_offsets、__transaction_state)不要手工改配置,交由集群参数管理。

易错点

  • 主题名用了特殊字符或中文会限制监控与工具兼容性,统一小写加连字符/点号
  • 删除主题需要集群开启删除能力,老版本还要等标记清理,遇到“删除后仍在”属正常现象

数据来源与参考

  • Apache Kafka 官方文档:Topic Configs 与 kafka-configs.sh
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌