首页/数据/数据工程与 ETL 速查/Lambda 与 Kappa 架构取舍
本包目录(311 条)
管道基础52 条
Kafka64 条调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

Lambda 与 Kappa 架构取舍

Lambda 同时跑批处理层与速度层,用批层修正实时结果;Kappa 只保留流处理一条链路,历史重放靠消息保留或存储回放。

Lambda批层 + 速度层 + 服务层,最终以批层为准
Kappa单一流链路,口径变更靠重放历史
取舍Lambda 两套逻辑易漂移;Kappa 依赖可重放的数据源

Lambda 典型数据流

Lambda 典型数据流
Kafka ─┬─→ 流作业(秒级)──→ 实时视图 ─┐
        └─→ 批作业(T+1)──→ 全量视图 ─┴─→ 查询层合并
数据可长期重放(Kafka 大保留期或对象存储归档)时 Kappa 更易维护;否则批层仍是兜底。

易错点

  • 两套代码实现同一口径,变更时只改一边会直接对不上账
  • Kappa 重放依赖源端保留窗口,消息过期后无法补数

数据来源与参考

  • Jay Kreps:Questioning the Lambda Architecture(O'Reilly Radar)
  • Apache Flink 官方文档相关讨论
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌