Iceberg 元数据的三层结构

Iceberg 表不用目录树表达分区，而是用三层元数据描述数据文件：metadata 文件记录表结构与快照列表，manifest list 记录某个快照包含哪些清单，manifest 文件记录数据文件及其分区统计。查询规划时先读这一串元数据，靠统计信息排除不可能命中的文件，再决定真正读哪些。

基本信息

典型使用场景

• 排查数据问题：直接查 files 元数据表，确认某天分区到底有哪些文件
• 时间旅行：按快照读取历史版本的数据，用于复现与比对
• 定位小文件：按文件大小分布判断是否需要合并
• 评估分区健康度：按分区统计文件数与平均大小
• 审计变更：按快照列表追溯每次写入的时间与操作

查看快照与文件

-- 快照列表：每次提交产生一个快照
SELECT snapshot_id, committed_at, operation
FROM demo.db.trade_order.snapshots
ORDER BY committed_at DESC LIMIT 5;

-- 文件级明细：查看某天分区的数据文件
SELECT file_path, file_size_in_bytes, record_count
FROM demo.db.trade_order.files
WHERE partition.dt = DATE '2026-10-12';

三层元数据读法

什么时候需要合并

判断是否该做文件合并，看三个信号：单位分区的文件数量明显高于写入批次数，单个文件大小远低于目标值，以及查询规划阶段耗时占比上升。频繁的小批写入是主要原因，尤其是流式落表。合并动作按分区调度即可，不必整表重写。