| 采集 | 从库、日志、API 拉取或接收数据 |
|---|---|
| 传输 | Kafka 等消息队列或对象存储落地 |
| 处理 | 批/流引擎完成清洗、关联与聚合 |
| 服务 | 结果写入查询引擎或在线数据库 |
典型链路示意
典型链路示意
源库/日志 → 采集（CDC/Agent）→ 消息队列 → 处理（批/流）→ 存储（数仓/湖）→ 服务（BI/接口）
支撑线：调度（依赖与重跑）、质量（校验与告警）、监控（延迟与积压）- 链路上任何一段断掉，端到端新鲜度都会退化
- 排障先分段：源端 → 采集 → 传输 → 加工 → 服务，逐段看指标
为每段链路定义可观测指标（延迟、积压、成功率），是数据链路值班的基础。