来源类型
| 来源 | 采集方式 | 常见工具 | 注意点 |
|---|---|---|---|
| 数据库 | 批量查询或 binlog CDC | DataX、Debezium、Flink CDC | 注意对源库压力与增量边界 |
| 应用日志 | Agent 采集后送消息队列 | Filebeat、Fluent Bit、Vector | 注意日志轮转与断点续传 |
| 第三方 API | 定时拉取 + 游标分页 | 脚本 + 调度器、Airbyte | 注意限流、重试与幂等 |
| 文件投递 | SFTP/对象存储批次落地 | 调度器监听、对象存储事件 | 注意完成标记与重复处理 |
采集方式速记
采集方式速记
库：小表全量 + 大表增量（更新时间或 CDC）
日志：append-only，重发风险高，下游要能去重
API：外部依赖不可控，要有兜底重试与告警
文件：以批次为单位，先到先处理，注意归档所有采集通道都要假设“会重复投递”，下游做去重比要求上游不重复更可控。