首页/数据/数据工程与 ETL 速查/Debezium MySQL 连接器配置
本包目录(311 条)
管道基础52 条Kafka64 条调度与编排40 条数仓建模52 条数据质量50 条
CDC 与同步53 条

Debezium MySQL 连接器配置

Debezium MySQL 连接器以 JSON 提交到 Kafka Connect REST 接口(POST /connectors)。关键项:connector.class、topic.prefix(2.x 起替代 database.server.name)、database.server.id、库表过滤清单与 schema 历史主题,以及快照模式。

连接器 JSON(提交到 Connect)

连接器 JSON(提交到 Connect)
{
  "name": "mysql-cdc-orders",
  "config": {
    "connector.class": "io.debezium.connector.mysql.MySqlConnector",
    "topic.prefix": "db1",
    "database.hostname": "10.0.0.5",
    "database.port": "3306",
    "database.user": "cdc_ro",
    "database.password": "***",
    "database.server.id": "184054",
    "database.include.list": "app",
    "table.include.list": "app.orders,app.order_items",
    "schema.history.internal.kafka.bootstrap.servers": "kafka1:9092",
    "schema.history.internal.kafka.topic": "schema-changes.orderdb",
    "snapshot.mode": "initial"
  }
}

提交与查看

提交与查看
curl -s -X POST http://kafka-connect:8083/connectors -H "Content-Type: application/json" -d @debezium-mysql.json
curl -s http://kafka-connect:8083/connectors/mysql-cdc-orders/status
schema 历史主题(旧名 database.history.kafka.topic,2.x 更名 schema.history.internal.*)不能丢,否则重启后无法正确解析表结构演进。

易错点

  • topic.prefix 用了大写或含特殊字符,生成的主题名不符合规范
  • 提交脚本里明文写密码且入了 git 仓库

数据来源与参考

  • Debezium 官方文档(MySQL Connector configuration properties)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌