首页/数据/数据工程与 ETL 速查/Apache Flink 核心概念
本包目录(311 条)
管道基础52 条
Kafka64 条调度与编排40 条数仓建模52 条数据质量50 条CDC 与同步53 条

Apache Flink 核心概念

Flink 是面向流处理的分布式引擎,也支持批模式:以事件时间与状态为核心,checkpoint 保证一致性恢复;作业按并行算子拓扑常驻运行。

定位流批一体引擎,流为主
核心机制事件时间、状态、checkpoint、反压
部署模式session 集群、per-job、application 模式

提交 Flink 作业

提交 Flink 作业
flink run -d -c com.example.OrdersStreamJob /opt/jobs/orders.jar
flink list
flink cancel <job-id>
Flink 作业本身不负责“按天调度”,常驻流作业与调度平台是互补关系:流做实时,调度跑批与补数。

易错点

  • 并行度与 Kafka 分区数不匹配会让部分并行实例空闲或过载
  • 作业重启后从最近 checkpoint 恢复,位点回退意味着消息会重复,sink 必须幂等

数据来源与参考

  • Apache Flink 官方文档:Concepts 与 Deployment
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌