| 诱因 | 算子耗时长、外部写入慢、数据倾斜 |
|---|---|
| 表现 | 消费滞后持续增长、反压指标升高 |
| 手段 | 扩容并行度、批量写、消除热点 key |
排查顺序
排查顺序
1) 看消费组 lag 是否持续增长
2) 看算子反压与 busy 指标，定位到具体算子
3) 判断是计算慢还是 sink 慢（下游库、对象存储）
4) 再调并行度或写入批参数Flink Web UI 的反压面板与火焰图能快速定位热点算子，比先盲目调并行度省时间。
本包目录（311 条）
管道基础52 条
- ETL 与 ELT 对比与选型
- 批处理与流处理概念对比
- 投递语义：至多一次/至少一次/精确一次
- 全量抽取与增量抽取
- Parquet 列式文件格式
- 水位线 Watermark 与乱序容忍
- 幂等写入与 Upsert 落库
- 流处理窗口类型：滚动/滑动/会话/累计
- 流任务 Checkpoint 与状态恢复
- spark-submit 提交批作业
- 事件时间与处理时间 Event/Processing Time
- 数据管道的组成环节
- 数据倾斜的识别与处理
- 数据去重的常见模式
- 数据采集的四类模式
- Apache Iceberg 基础用法
- Apache Flink 核心概念
- 有界数据与无界数据 Bounded/Unbounded
- 增量抽取水位列与半开区间
- 分区裁剪 Partition Pruning
- Flink SQL 接入 Kafka
- 数仓转换常用 SQL 模式
- 迟到数据处理 Late Data
- Shuffle 原理与调优
- Schema 演进与兼容性
- 数据湖概念与典型组成
- PySpark 读写与转换最小示例
- 背压 Backpressure 与链路限速
- 流式关联：Interval Join 与维表 Lookup Join
- Avro 行式序列化格式
- Hive 分区目录布局与维护
- 小文件问题与治理
- 湖仓一体 Lakehouse 关键能力
- Delta Lake 基础用法
- spark-sql 命令行与脚本执行
- Hive 外部表与托管表区别
- Lambda 与 Kappa 架构取舍
- 列式存储与行式存储
- CSV 处理的常见陷阱
- Apache Hudi 基础概念
- Trino 交互式查询基础
- dbt 转换模型基础
- 微批 Micro-batch 模式
- 谓词下推 Predicate Pushdown
- JSON 与 NDJSON 行式文本
- 对象存储作为数据落地区
- 文件到达触发与完成标记
- ORC 列式文件格式
- API 增量拉取与分页
- 压缩算法选择：gzip/snappy/zstd 等
- 数据契约 Data Contract
- ETL 转换逻辑的测试方法
背压 Backpressure 与链路限速
当下游处理速度低于上游时，反压沿链路向上传递，最终让源端减速；持续反压说明某算子或外部写入成为瓶颈，需要定位再扩容。
易错点
- 无脑加并行度可能让外部 sink 压力更大，先确认瓶颈在计算还是写出
- 反压与数据倾斜常同时出现，先看各 subtask 的吞吐差异
数据来源与参考
- Apache Flink 官方文档：Back Pressure 监控