首页/数据/数仓建模速查/水位线与乱序数据处理
湖仓与引擎63 条

水位线与乱序数据处理

水位线表示「事件时间早于此的输入已到齐」,用于触发窗口计算并清理状态;需按乱序程度设置延迟(常见 5-30 秒)。

数仓建模速查数据更新于 2026-10-12
作用触发+清理
设置max out of orderness
权衡延迟与完整度
边界超期数据进入侧输出

水位线设置

水位线设置
CREATE TABLE orders (
  order_id STRING,
  store_id STRING,
  pay_amt  DECIMAL(18,2),
  event_time TIMESTAMP(3),
  WATERMARK FOR event_time AS event_time - INTERVAL '10' SECOND
) WITH (
  'connector' = 'kafka',
  'topic' = 'trade_events',
  'properties.bootstrap.servers' = 'broker:9092',
  'format' = 'json'
);
水位线延迟设得过大,窗口结果出炉变慢;过小则迟到数据被丢弃。

易错点

  • 延迟设置过小,迟到数据被静默丢弃无告警

数据来源与参考

  • Apache Flink 官方文档:Generating Watermarks
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌