首页/数据/数据工程与 ETL 速查/Debezium 位点存储与重置
本包目录(311 条)
管道基础52 条Kafka64 条调度与编排40 条数仓建模52 条数据质量50 条
CDC 与同步53 条

Debezium 位点存储与重置

Debezium 的消费位点存在 Kafka Connect 的 offset 存储主题(connect-offsets)里,包含 binlog 文件名与位点或 GTID,连接器重启后从该点继续;位点按源端实例标识区分,换 server.id 会被当作新环境触发重新快照。

存储位置Kafka Connect offset.storage.topic(默认 connect-offsets)
内容connector 位点:文件名/偏移或 GTID、事务信息
重启行为从上次位点继续,不重新快照
重置方式删除连接器重建并选择快照模式,或按官方工具调整位点

查看连接器状态与位点主题

查看连接器状态与位点主题
# 查看连接器与任务状态
curl -s http://kafka-connect:8083/connectors/mysql-cdc-orders/status
# 查看 offset 主题(只读排查,不要手改生产)
kafka-console-consumer.sh --bootstrap-server kafka1:9092 --topic connect-offsets --from-beginning --property print.key=true | head
直接手改 connect-offsets 容易写坏 JSON 结构;需要重置时优先用“删除并重建连接器 + 快照模式”的标准路径。

易错点

  • 重建连接器时保留旧位点,想重放却直接续跑
  • 误删 offset 主键,把“续传”变成了重新快照

数据来源与参考

  • Kafka Connect 官方文档(offset storage)
  • Debezium 官方文档(How Debezium connectors work:offsets)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌