首页/数据/数据工程与 ETL 速查/MirrorMaker 2 跨集群复制
本包目录(311 条)
管道基础52 条
Kafka64 条
调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

MirrorMaker 2 跨集群复制

MirrorMaker 2 基于 Kafka Connect 实现集群间数据复制:自动同步主题内容与部分元数据,支持单向与双向拓扑,常用于机房容灾与数据汇聚。

形态Connect 框架上的 Connector,运行于源/目标集群
主题命名默认给复制主题加源集群前缀,避免冲突
容灾同步消费组位移与心跳,支持切换后继续消费

mm2.properties 关键片段

mm2.properties 关键片段
clusters = src, dst
src.bootstrap.servers = kafka-src:9092
dst.bootstrap.servers = kafka-dst:9092
src->dst.enabled = true
src->dst.topics = orders.*
replication.factor = 3
checkpoints.topic.replication.factor = 3
heartbeats.topic.replication.factor = 3

启动与查看

启动与查看
connect-mirror-maker.sh config/mm2.properties
# 复制进度可在 Connect REST 或心跳主题查看
每个集群要设置唯一的 cluster alias;双向复制时必须排除心跳、检查点、位移等内部主题,避免回环。

易错点

  • 双向复制未排除内部主题会产生循环复制并放大流量
  • 源集群偏移量不直接映射到目标集群,切换消费组要依赖位移同步机制并验证

数据来源与参考

  • Apache Kafka 官方文档:Geo-Replication 与 MirrorMaker 2
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌