搬迁要考虑什么
把数据从一个对象存储搬到另一个，表面看是复制一批文件，实际要处理三件事：批量历史数据怎么搬、搬迁期间的新增写入怎么追平、切换之后如何回退。常见做法是先用工具做一次全量同步，再用增量同步持续追平差异，确认滞后清零后切换流量，并保留一段时间的双读或回滚通道。
基本信息
| 迁移方式 | 在线复制、专线传输、离线介质寄送 |
|---|---|
| 常用工具 | 命令行同步工具、批量复制任务、网关镜像 |
| 关键难点 | 元数据与权限保留、增量判定、一致性校验 |
| 切换要求 | 有明确的滞后阈值与回滚方案 |
典型使用场景
- 异地机房整合：把多套存储归并到统一平台
- 云上云下搬迁：私有存储与云端之间迁移
- 存储产品替换：旧集群退役前把数据完整转移
- 多活规划：为新区域预置数据以减少首次访问延迟
- 法规要求：数据必须在指定地域保留副本
迁移流程示例
迁移流程示例
# 1) 全量首迁（只读源端，先不动业务）
rclone copy src:bucket dst:bucket --transfers 16 --checkers 16 --progress
# 2) 校验数量与抽样校验内容
rclone check src:bucket dst:bucket --size-only
# 3) 增量追平（可反复执行，直到差异接近零）
rclone sync src:bucket dst:bucket --fast-list --progress
# 4) 切换窗口内再跑一次增量，确认滞后为零后切流量
# 5) 保留源端只读一段时间，作为回退通道迁移方式对比
| 方式 | 适用规模 | 主要代价 |
|---|---|---|
| 在线复制 | 增量与中小规模 | 占用带宽，受源端速率限制 |
| 专线批量 | 较大规模 | 需要专线资源与较长窗口 |
| 离线介质 | 超大规模或带宽紧张 | 人工环节多，数据有时效落差 |
| 网关镜像 | 需要持续双写过渡 | 链路复杂，需处理回环与冲突 |
执行要点
- 先清点源端对象数量与总容量，作为校验基准
- 确认权限与元数据是否需要一并迁移，很多工具默认只搬数据
- 增量判定依赖时间戳与标识，分片上传对象的标识不等于内容摘要，需谨慎
- 对带宽限速，避免迁移把生产业务挤掉
- 迁移日志留档并记录失败清单，重试只针对失败项
搬迁过程中的时间戳与元数据保留情况直接影响后续增量判定与审计，迁移方案评审时要把这一项单独确认。
同步类工具的镜像模式会删除目标端多余对象，一旦源端选取错误就会造成目标端数据被清除；执行前务必先用试运行模式确认动作范围。