架构风格与模式58 条

Kappa 架构

只用一条流处理链路处理全部数据,历史重算通过重放日志实现;依赖可持久化、可重放的日志系统,减少两套逻辑的维护成本。

核心要求日志可长期保存、可重放、可按序消费
重算方式从日志起点重放并写入新版本结果
对比 Lambda单一代码路径,运维与逻辑一致性更好
  • 保留期核算:重放窗口覆盖业务重算需求
  • 重放隔离:重算用独立消费组或资源池
  • 结果版本:重算结果写新版本,切换时原子生效
  • 成本评估:日志存储与重放算力计入容量规划
  • 定期演练:全量重放演练验证链路可用性
重放成本与日志保留策略是落地关键:保留期不足时,历史重算能力受限于可回溯的数据范围。

易错点

  • 日志保留期短于业务重算需求,历史无法重建
  • 重放任务与在线消费争抢资源,影响线上延迟

数据来源与参考

  • Jay Kreps《Questioning the Lambda Architecture》(2014, O'Reilly Radar)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌