| 批处理层 | 处理全量历史数据,结果准确但延迟高 |
|---|---|
| 速度层 | 处理增量数据,低延迟但可能近似 |
| 主要成本 | 同一业务逻辑需要维护两套实现 |
- 批处理层:全量不可变数据加重算作业,准确但有延迟
- 速度层:增量流处理产出近似视图,低延迟优先
- 服务层:查询时按需合并批视图与实时视图
- 口径统一:两层共享同一指标定义与数据模型
- 校验闭环:定期比对两层结果,偏差超限以批处理修订
Lambda 与 Kappa 对照
| 维度 | Lambda | Kappa |
|---|---|---|
| 处理路径 | 批、流双路并行 | 单一流路,靠重放补历史 |
| 实现成本 | 同一逻辑维护两套实现 | 一套逻辑,需可重放的事件存储 |
| 主要风险 | 双路结果漂移 | 重放窗口与存储成本 |
| 选型提示 | 数据规模与时效要求不高时,先用单一链路控制维护成本 |
|---|---|
| 演进方向 | 重放存储与流处理成熟后,可评估向 Kappa 收敛 |
两套实现长期漂移会导致结果不一致,需要明确以哪层为准以及校验机制。