去重备份是什么
去重在文件级或块级识别重复数据，只保留一份，从而降低备份存储占用。重复度高的场景收益明显，例如同一批虚拟机的系统盘、结构相似的文档库；对已压缩或已加密的数据收益有限，因为字节序列已经不具备可比性，去重只能白白消耗算力。
基本信息
| 去重粒度 | 文件级、定长块级或变长块级 |
|---|---|
| 执行位置 | 源端计算可节省网络，目标端计算保留原始信息 |
| 变长块 | 能较好应对插入与偏移造成的数据转移 |
| 收益依赖 | 数据重复率，与数据内容强相关 |
源端与目标端去重
| 维度 | 源端去重 | 目标端去重 |
|---|---|---|
| 带宽占用 | 显著降低传输量 | 传输量不降 |
| 客户端开销 | 消耗备份源的计算资源 | 主要由备份服务器承担 |
| 信息完整性 | 源端处理后信息有损风险 | 保留相对完整的数据 |
判断去重收益的思路
判断去重收益的思路
# 先对样本数据估算重复率，再决定是否引入去重
# 文本、日志与同构虚拟机镜像通常重复率高
# 已压缩归档、加密数据与随机数据重复率低
# 关键指标：去重前原始量、去重后占用、恢复速率变化使用要点
- 先加密再去重会明显降低效果，需要加密时优先选备份软件内置的加密去重方案
- 去重存储的元数据是关键部件，块索引损坏可能牵连多个恢复点
- 以恢复速率为代价换空间：重度去重的存储读取时需重组数据，恢复可能变慢
- 评估要基于真实数据：用生产数据的样本测算收益，比按厂商宣传值估算更可靠
- 把去重存储纳入演练范围，验证索引损坏时的可恢复性
先加密再交给去重设备：密文之间无法比对，去重效果会明显下降；需要加密时优先选备份软件内置的加密去重方案。