首页/数据/数仓建模速查/Hudi Clustering 与小文件治理
湖仓与引擎63 条

Hudi Clustering 与小文件治理

Clustering 按新布局重写小文件以提升查询效率,可在写入链路内异步执行;与 compaction 的职责不同,两者都需要独立调度与监控。

数仓建模速查数据更新于 2026-10-12
作用重排文件布局
方式异步/内联
与 compaction职责不同
监控待处理计划数

开启聚类

开启聚类
hoodie.clustering.inline=true
hoodie.clustering.inline.max.commits=4
hoodie.clustering.plan.strategy.target.file.max.bytes=1073741824
hoodie.clustering.plan.strategy.small.file.limit=314572800
聚类计划积压会造成写入延迟上升,建议设监控指标并对积压告警。

易错点

  • 聚类与 compaction 同时开启未限资源,写入任务排队

数据来源与参考

  • Apache Hudi 官方文档:Clustering
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌