备份窗口是什么
备份窗口是允许备份任务占用系统与网络资源、而不明显影响业务的时间段。它由数据量、链路带宽、介质写入速度与业务低峰长度共同决定。窗口不足时的常见手段是错峰全量、改用增量或差异、借助存储快照、限制传输速率,以及调整任务并行度。
基本信息
| 定义 | 备份任务可占用系统与网络资源的时段 |
|---|---|
| 影响因素 | 数据量、链路带宽、介质写入速度、业务低峰长度 |
| 估算方法 | 按历史耗时与变化趋势推算,并留出重试余量 |
| 溢出后果 | 任务顺延,与业务高峰重叠,进一步拖慢 |
压缩窗口的手段
| 手段 | 效果 | 代价 |
|---|---|---|
| 改用增量或差异 | 日常数据量显著下降 | 链条变长,恢复更复杂 |
| 存储快照 | 主机侧停顿缩短到秒级 | 依赖存储能力,快照本身不是独立副本 |
| 传输限速 | 降低对业务链路的挤占 | 总耗时变长,需要更长窗口 |
| 并行与多线程 | 充分利用核数缩短耗时 | 可能抢占业务算力与磁盘带宽 |
为长时间传输限速
为长时间传输限速
rsync -a --bwlimit=30000 /data/ backup@10.0.0.5:/backup/data/ # 约 30MB/s
# 压缩阶段限制线程数,避免抢占业务 CPU
pigz -6 -p 4 < data.tar > data.tar.gz估算窗口的方法
- 先测吞吐:同一份数据实测一次完整耗时,比按带宽理论值推算更可靠
- 关注小文件数量:海量小文件受随机读写限制,耗时往往远超按总量估算
- 记录历史耗时趋势:耗时突然上升通常意味着数据量或存储性能发生变化
- 留出重试余量:按历史耗时的 1.2 到 1.5 倍预留,避免一次失败就溢出
- 多任务共享目标存储时要实测总吞吐,并发写入会互相拖慢
窗口内无法完成的任务会顺延并可能与业务高峰重叠;应按历史耗时留出至少一次重试的余量,而不是按理想值排期。
窗口的定义随业务变化:大促、结算日与月末报表期间的低峰长度会明显缩短,排期应针对性调整。