Paimon 面向什么场景

Paimon 是流式湖仓表格式：主键表内部用 LSM 结构组织数据，支持高频更新与删除，并能把变更日志以流的方式输出给下游。它适合「CDC 实时入湖 + 下游继续流式消费」的链路，把原本需要多套存储拼起来的实时数仓收拢到一处。

基本信息

典型使用场景

• CDC 入湖：上游变更日志实时写入主键表，永远保留最新态
• 流式消费：下游直接读变更日志做实时汇总，不必回查明细
• 准实时维表：维表更新通过主键表落地，读侧拿到的是最新值
• 流批统一：同一张表既能批读全量，也能流读增量
• 替代部分消息队列场景：把短期的中间结果直接落在湖表里

主键表建表示例

CREATE TABLE paimon.db.dim_store (
  store_id   STRING,
  store_name STRING,
  region_id  STRING,
  PRIMARY KEY (store_id) NOT ENFORCED
) WITH (
  'bucket' = '4',                 -- 分桶数：影响并行度与热点
  'changelog-producer' = 'input',  -- 变更日志产出方式
  'snapshot.time-retained' = '1d'  -- 快照保留时长
);
-- 建表后可用批模式读全量，也可用流模式读增量

表类型对照

变更日志为什么要专门配置

下游做流式汇总时，看到的不是文件内容变化，而是明确的变更日志。产出方式决定了下游拿到的精度与延迟：由输入直接产出最省资源，通过查找或全量合并产出则代价更高但语义更完整。选哪种要在下游精度要求和资源开销之间权衡，选错了表现为汇总结果对不上。