管道基础52 条

小文件问题与治理

大量小文件会抬高元数据压力与扫描开销：每读一个文件都有打开、寻址与统计成本。治理思路是写入侧控制文件数量，读侧用 AQE/合并任务兜底。

成因	流式小批写入、并行度过多、分区粒度过细
影响	元数据压力、任务启动慢、扫描效率低
治理	合并文件、控制并行度、AQE 自动合并、定期 compaction

Spark AQE 合并小分区

spark.sql.adaptive.enabled=true
spark.sql.adaptive.coalescePartitions.enabled=true
spark.sql.adaptive.advisoryPartitionSizeInBytes=64MB

ALTER TABLE dwd_order PARTITION (dt='2026-10-11') CONCATENATE;

按“天+小时+分钟”过多粒度分区是常见制造小文件的方式，分区粒度要与查询模式匹配。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌