架构风格与模式58 条

Lambda 架构

批处理层提供全量准确视图,速度层提供低延迟近似视图,服务层合并两者结果;以两套计算逻辑换取准确性与时效性的平衡。

批处理层处理全量历史数据,结果准确但延迟高
速度层处理增量数据,低延迟但可能近似
主要成本同一业务逻辑需要维护两套实现
  • 批处理层:全量不可变数据加重算作业,准确但有延迟
  • 速度层:增量流处理产出近似视图,低延迟优先
  • 服务层:查询时按需合并批视图与实时视图
  • 口径统一:两层共享同一指标定义与数据模型
  • 校验闭环:定期比对两层结果,偏差超限以批处理修订

Lambda 与 Kappa 对照

维度LambdaKappa
处理路径批、流双路并行单一流路,靠重放补历史
实现成本同一逻辑维护两套实现一套逻辑,需可重放的事件存储
主要风险双路结果漂移重放窗口与存储成本
选型提示数据规模与时效要求不高时,先用单一链路控制维护成本
演进方向重放存储与流处理成熟后,可评估向 Kappa 收敛
两套实现长期漂移会导致结果不一致,需要明确以哪层为准以及校验机制。

易错点

  • 批与流逻辑不一致,同一指标出现两个结果
  • 只维护流链路,历史数据修正无法处理

数据来源与参考

  • Nathan Marz & James Warren《Big Data》(Manning)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌