首页/数据/数据工程与 ETL 速查/Kafka Connect worker 配置要点
本包目录(311 条)
管道基础52 条Kafka64 条调度与编排40 条数仓建模52 条数据质量50 条
CDC 与同步53 条

Kafka Connect worker 配置要点

用 Debezium 就绕不开 Kafka Connect 的运行配置:worker 需要 bootstrap.servers、group.id(集群名)、offset/config/status 三个内部主题与序列化转换器;开发用 standalone,生产用 distributed 并通过 REST 接口管理连接器。

connect-distributed.properties 关键项

connect-distributed.properties 关键项
bootstrap.servers=kafka1:9092,kafka2:9092,kafka3:9092
group.id=debezium-cluster
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false
value.converter.schemas.enable=false
offset.storage.topic=connect-offsets
config.storage.topic=connect-configs
status.storage.topic=connect-status
offset.storage.replication.factor=3
distributed生产推荐:多 worker 组集群,REST 接口增删连接器
standalone单机开发调试,配置与位点存本地文件
内部主题config 必须 compacted,offset/status 由 Connect 维护
转换器决定了消息序列化格式(JSON/Avro 等),要先与下游约定
生产环境的内部主题副本数建议与业务关键主题一致,避免单 Broker 故障丢失连接器配置。

易错点

  • 内部主题副本数为 1,Broker 故障后连接器配置与位点丢失
  • JSON 转换器开启 schemas.enable 又没配套 schema 注册,消息体积膨胀、下游难解析

数据来源与参考

  • Kafka Connect 官方文档(Distributed worker configuration)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌