是什么
对象存储迁移有三类路径:厂商迁移服务(控制台配置、服务端拉取,免部署)、客户端工具(ossimport、COS Migration、rclone 等,本地部署、可精细限速与重试)、离线设备寄送(大数据量时代价换带宽)。选型的三个输入是数据量、可用带宽与源端类型,先估算传输时间,再看是否需要离线方案。
路径对比
| 路径 | 特点 | 适用 |
|---|---|---|
| 厂商迁移服务 | 控制台配置,服务端拉取,免运维 | 源端可公网访问、数据量中等 |
| 客户端工具 | 本地部署,自主限速、并发与重试 | 专线环境、需要精细控制 |
| 离线设备 | 物理寄送硬盘,跳过网络传输 | 百 TB 级、带宽无法满足窗口 |
典型使用场景
- 跨云搬迁对象数据,源端与目标端都支持标准接口时用迁移服务最省事
- 自建机房到云上:经专线上传,用客户端工具控制并发避免打满链路
- 海量小文件场景需要评估每秒请求数上限,否则速度上不去
- 把本地归档冷数据一次性搬入低频或归档存储,降低长期成本
- 迁移过程中源端仍在写入,需要多轮追平并做最终一致性校验
定量估算传输时间
定量估算传输时间
传输时长 ≈ 数据量 / 有效带宽 / 利用率折损
# 例:20 TB 数据,200 Mbps 专线,利用率按七成计
# 20e12 Byte × 8 bit / (200e6 × 0.7) ≈ 114 万秒 ≈ 13 天
# 结论:超出窗口的批次改走离线设备或先扩容链路
# 海量小文件还要额外看每秒请求数上限,而非只看带宽迁移前后必查项
| 清单核对 | 源端对象总数与总容量,迁移后逐桶比对 |
|---|---|
| 一致性 | 比对对象大小与校验值(ETag),分片上传的对象校验方式需确认 |
| 限速与并发 | 按链路承载设置并发数与限速,避免影响业务出口 |
| 重试与断点 | 分段传输支持断点续传,失败对象单独重传并复核 |
| 权限 | 目标端桶策略与对象 ACL 要按预期设置,避免迁移后无法访问 |
厂商提供的兼容接口通常不是全兼容:分片上传、版本控制、ACL、生命周期等接口的覆盖程度各不相同,迁移开工前用兼容性清单逐项核对工具实际调用的接口。
迁移期间的增量写入要单独处理:多数工具只搬存量,割接前的增量对象需要二次同步,或让业务在窗口内暂停写入。