首页/数据/数仓建模速查/Iceberg 小文件合并与重写
湖仓与引擎63 条

Iceberg 小文件合并与重写

用小文件重写动作合并数据文件、按目标大小重组;顺带可以重排清单文件降低元数据开销,建议按分区调度而非整表。

数仓建模速查数据更新于 2026-10-12
动作rewrite_data_files
目标大小128-256MB
范围按分区
附带清单重写

Spark 过程调用

Spark 过程调用
CALL demo.system.rewrite_data_files(
  table => 'db.trade_order',
  options => map('target-file-size-bytes','134217728')
);

CALL demo.system.rewrite_manifests(table => 'db.trade_order');
合并任务与写入任务并行时注意资源竞争,通常放在低峰期执行。

易错点

  • 整表合并任务每月全量跑一次,耗时与成本都失控

数据来源与参考

  • Apache Iceberg 官方文档:Maintenance
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌