| 判定 | 记录事件时间早于已发出的水位线 |
|---|---|
| 来源 | 网络抖动、客户端补传、上游批转流 |
| 手段 | 延长水位线、允许迟到窗口、侧输出补偿 |
策略对照
策略对照
允许迟到（allowed lateness）：窗口延迟销毁，迟到数据仍触发更新
侧输出（side output）：迟到记录单独落地，离线任务补算
直接丢弃：仅适用于近似监控，对账类指标不可接受- 实时参考链路可接受少量迟到
- 财务对账链路建议以离线批处理为准
- 迟到率要纳入监控指标，突增往往是上游故障信号
本包目录（311 条）
管道基础52 条
- ETL 与 ELT 对比与选型
- 批处理与流处理概念对比
- 投递语义：至多一次/至少一次/精确一次
- 全量抽取与增量抽取
- Parquet 列式文件格式
- 水位线 Watermark 与乱序容忍
- 幂等写入与 Upsert 落库
- 流处理窗口类型：滚动/滑动/会话/累计
- 流任务 Checkpoint 与状态恢复
- spark-submit 提交批作业
- 事件时间与处理时间 Event/Processing Time
- 数据管道的组成环节
- 数据倾斜的识别与处理
- 数据去重的常见模式
- 数据采集的四类模式
- Apache Iceberg 基础用法
- Apache Flink 核心概念
- 有界数据与无界数据 Bounded/Unbounded
- 增量抽取水位列与半开区间
- 分区裁剪 Partition Pruning
- Flink SQL 接入 Kafka
- 数仓转换常用 SQL 模式
- 迟到数据处理 Late Data
- Shuffle 原理与调优
- Schema 演进与兼容性
- 数据湖概念与典型组成
- PySpark 读写与转换最小示例
- 背压 Backpressure 与链路限速
- 流式关联：Interval Join 与维表 Lookup Join
- Avro 行式序列化格式
- Hive 分区目录布局与维护
- 小文件问题与治理
- 湖仓一体 Lakehouse 关键能力
- Delta Lake 基础用法
- spark-sql 命令行与脚本执行
- Hive 外部表与托管表区别
- Lambda 与 Kappa 架构取舍
- 列式存储与行式存储
- CSV 处理的常见陷阱
- Apache Hudi 基础概念
- Trino 交互式查询基础
- dbt 转换模型基础
- 微批 Micro-batch 模式
- 谓词下推 Predicate Pushdown
- JSON 与 NDJSON 行式文本
- 对象存储作为数据落地区
- 文件到达触发与完成标记
- ORC 列式文件格式
- API 增量拉取与分页
- 压缩算法选择：gzip/snappy/zstd 等
- 数据契约 Data Contract
- ETL 转换逻辑的测试方法
迟到数据处理 Late Data
迟到数据是事件时间早于当前水位线的记录。常见处理：允许窗口内继续更新、旁路输出离线补偿、或在下游做覆盖合并。
易错点
- 把迟到数据 UPDATE 进天级汇总表可能覆盖其他分区的累计值，要先读后写并锁定分区
- 迟到率突增常是上游采集延迟的信号，要当事件处理而不是常态
数据来源与参考
- Apache Flink 官方文档：Allowed Lateness 与 Side Outputs