首页/数据/数据工程与 ETL 速查/Partition 分区与顺序性
本包目录(311 条)
管道基础52 条
Kafka64 条
调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

Partition 分区与顺序性

分区是 Kafka 的并行与顺序单位:同一分区内消息严格有序,跨分区不保证顺序;分区分布在多个 Broker 上以实现吞吐与容错。

作用并行读写与水平扩展的基本单位
顺序分区内按写入顺序追加,跨分区无序
消费并行一个分区同一时刻只被消费组内一个消费者消费

查看分区分布

查看分区分布
kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic orders
# Topic: orders Partition: 0 Leader: 2 Replicas: 2,3,1 Isr: 2,3,1
要求全局有序的场景通常按业务键(如订单 ID)分区,让同一业务的变更落在同一分区。

易错点

  • 分区数决定消费并行上限:消费者数超过分区数后,多出来的实例只能空闲
  • 不同分区之间做聚合(如跨分区求和)需要下游自行处理乱序与完整性

数据来源与参考

  • Apache Kafka 官方文档:Topics and Partitions
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌