时间旅行与增量读是什么
Iceberg 每次提交都会生成一个快照，元数据里保留快照 ID、时间戳与清单文件引用。时间旅行就是按快照 ID 或时间戳去读某个历史版本：VERSION AS OF 指定快照号，TIMESTAMP AS OF 取该时刻之前最近的一次提交。增量读则是在两个快照之间只处理新增的数据文件，常用于把整表扫描改成小批量的增量加工，但它依赖快照区间的语义，只有追加类提交才与真实变更集一致。
基本信息
| 适用平台 | Iceberg 表（Spark 3.x 提供 SQL 与读选项，Flink、Trino 各有对应写法） |
|---|---|
| 按快照读 | VERSION AS OF <snapshot-id> |
| 按时间读 | TIMESTAMP AS OF '2026-10-11 00:00:00' |
| 增量读选项 | start-snapshot-id 与 end-snapshot-id（仅追加快照区间） |
| 快照查询 | 表名.snapshots、表名.history 元数据视图 |
| 快照清理 | expire_snapshots 过程按保留窗口删除历史快照 |
| 元数据位置 | 表目录下 metadata/ 中的元数据文件与清单 |
典型使用场景
- 复现看板数字：按报表日期的时间戳读回当时的快照，定位是数据变了还是口径变了
- 事故回滚：脚本误覆盖了昨天分区，按快照把正确版本重新写回，不必回源系统重灌
- 审计与对账留证：取某时刻的历史版本做凭证，配合快照删除记录说明数据生命周期
- 增量加工：只读两个快照之间新增的文件做下游计算，避免反复全表扫描
- 回归测试：把快照号固定在测试用例里，保证多次运行的输入一致可比
时间旅行与增量读
时间旅行与增量读
-- 按快照号读取历史版本
SELECT count(*) FROM demo.db.trade_order VERSION AS OF 1234567890;
-- 按时间戳读取：取该时刻之前最近的一次提交
SELECT count(*) FROM demo.db.trade_order TIMESTAMP AS OF '2026-10-11 00:00:00';
-- 查看快照列表，定位异常提交点
SELECT snapshot_id, committed_at, operation
FROM demo.db.trade_order.snapshots ORDER BY committed_at DESC;
-- 增量读：只处理两个快照之间新增的文件（Spark 读选项）
spark.read.format('iceberg')
.option('start-snapshot-id', '1111111111')
.option('end-snapshot-id', '2222222222')
.load('demo.db.trade_order');
-- 清理过期快照：older_than 必须覆盖住审计与回滚窗口
CALL demo.system.expire_snapshots('demo.db.trade_order', TIMESTAMP '2026-10-01 00:00:00');几个能力逐项对照
| 能力 | 读法 | 数据范围 |
|---|---|---|
| 时间旅行（快照） | VERSION AS OF 快照号 | 该快照的完整内容 |
| 时间旅行（时间） | TIMESTAMP AS OF 时刻 | 该时刻前最近一次提交 |
| 增量读 | start/end-snapshot-id | 两快照之间新增的文件 |
| 快照元数据 | 表的 snapshots 视图 | 提交记录与操作类型 |
| 快照清理 | expire_snapshots | 删除保留窗口外的历史快照 |
能回看到多久以前，取决于快照保留策略。一旦执行过清理或元数据过期，旧快照就不可再读，回滚与审计的需求要先算成具体的保留天数再配置。
时间旅行不是备份。它保存的是快照与文件引用，如果底层数据文件被外部程序删除或对象存储生命周期策略回收，对应版本同样会读失败。