首页/数据/数据工程与 ETL 速查/数仓存储与计算成本治理

数仓存储与计算成本治理

成本治理从三处入手:存储(生命周期与压缩格式)、计算(避免全表扫描与重复加工)、调度(错峰与资源队列);结合用量账单按表与任务排名,优先处理高消耗长尾。

存储列存压缩(ORC/Parquet)、分层保留、清理无引用表
计算分区裁剪、减少重复扫描、复用公共层
调度错峰执行、限制并行度、任务队列分级
度量按表与任务统计存储与计算消耗排名

低成本排查清单

低成本排查清单
-- 找出占用存储较大的表,结合查询日志判断是否可清理
SELECT table_name, SUM(file_size) AS size_bytes
FROM table_storage_meta
GROUP BY table_name
ORDER BY size_bytes DESC
LIMIT 20;
治理要落到责任人与时间点:只出报告不跟进,成本会很快回到原位。

易错点

  • 只压缩格式不清理冗余表,收益有限
  • 为省成本删掉明细层,导致无法回溯、重建成本更高

数据来源与参考

  • 行业数据平台成本治理实践
  • Apache ORC 官方文档(压缩与存储)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌