首页/数据/数仓建模速查/Iceberg 元数据三层结构
湖仓与引擎63 条

Iceberg 元数据三层结构

元数据分三层:metadata 文件(表结构、快照列表)、manifest list(快照对应的清单列表)、manifest 文件(数据文件与分区统计);查询计划靠统计裁剪文件。

数仓建模速查数据更新于 2026-10-12
metadata表结构与快照
manifest list快照清单
manifest文件级统计
收益文件裁剪

查看快照与文件

查看快照与文件
SELECT * FROM demo.db.trade_order.snapshots;
SELECT * FROM demo.db.trade_order.files
WHERE partition.dt = DATE '2026-10-12';
小文件多会让 manifest 膨胀,元数据解析时间随之增加,因此需要定期合并。

易错点

  • 频繁小批写入产生海量小文件,规划查询变慢

数据来源与参考

  • Apache Iceberg 官方文档:Table Spec
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌