首页/数据/数据工程与 ETL 速查/Kafka Connect 连接器框架
本包目录(311 条)
管道基础52 条
Kafka64 条
调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

Kafka Connect 连接器框架

Kafka Connect 用配置化连接器把外部系统与 Kafka 对接:source 把外部数据写入 Kafka,sink 把 Kafka 数据写出;worker 负责运行连接器并通过 REST 管理。

两类连接器source(外部→Kafka)、sink(Kafka→外部)
运行standalone 或 distributed worker,distributed 支持横向扩展与故障转移
组件converter(数据格式)、SMT(单消息转换)、offset/status 主题

通过 REST 创建连接器

通过 REST 创建连接器
curl -X POST -H "Content-Type: application/json" \
  --data @file-sink.json \
  http://localhost:8083/connectors
curl -s http://localhost:8083/connectors | jq
curl -s http://localhost:8083/connector-plugins | jq '.[].class'
连接器状态放在 connect-status 主题、位移放在 connect-offsets 主题,重启 worker 后从位移续传。

易错点

  • 连接器凭据写在配置里要配合配置加密或外部密钥管理,避免明文散落
  • distributed 模式下 connector 名称重复注册会报冲突,命名要带环境前缀

数据来源与参考

  • Apache Kafka 官方文档:Kafka Connect 与 Connect REST Interface
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌