引擎
| 引擎 | 定位 | 典型场景 |
|---|---|---|
| Hive | 离线 SQL 批处理 | T+1 ETL 与历史加工 |
| Spark | 内存计算统一引擎 | 复杂 ETL 与机器学习 |
| Flink | 流批一体 | 实时 CDC 与实时指标 |
| Doris/ClickHouse | 交互分析 | 看板与即席查询 |
分工示意
分工示意
CDC -> Flink -> 湖表(silver)
湖表 -> Spark/Hive -> DWS 汇总
DWS 汇总 -> Doris/ClickHouse -> 看板每引入一个引擎都要配套权限、监控与备份方案，避免形成运维孤岛。