本包目录(311 条)
管道基础52 条
Kafka64 条
调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

Apache Kafka 是什么

Kafka 是分布式事件流平台:以追加日志形式持久化消息,通过分区并行、多副本容错,支撑发布订阅、数据管道与实时处理三类场景。

定位分布式事件流/消息平台
核心抽象Topic、Partition、Producer、Consumer、Broker
典型用途解耦数据源与加工、削峰缓冲、实时流处理输入输出

组成示意

组成示意
Producer → Broker(每个 Partition 一个 Leader + 若干 Follower)→ Consumer
主题 orders 分为 3 个分区,每分区 3 副本分布在不同 Broker 上
Kafka 以保留期内的可重放日志为模型:消息按位移读取,消费不会删除消息,删除由保留策略控制。

易错点

  • 把 Kafka 当日志库长期存储需要评估保留与磁盘成本,过期后消息即删除
  • 单个集群跨机房写会放大延迟,多机房一般用镜像同步方案而非单集群

数据来源与参考

  • Apache Kafka 官方文档:Introduction 与 Design
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌