主题与消息结构示意
主题与消息结构示意
topic: db1.app.orders
key = order_id
partition = hash(key) % partitions
value = { before, after, op, source }| 命名 | topic.prefix + 库名 + 表名(可配置路由改写) |
|---|---|
| key | 表主键:同键消息落到同一分区,保持有序 |
| 分区数 | 按峰值写入与下游并行度规划,避免频繁扩容 |
| 清理策略 | 日志型 append;需要压缩留存时评估 compact |
大库全表同步会产生大量小主题:先用白名单收敛范围,再规划分区与容量。