COS Migration 工具是什么
COS Migration 是腾讯云提供的对象迁移工具：运行在自有服务器上，把本地目录、URL 列表或其他对象存储的数据迁移到 COS 桶。它通过配置文件定义源与目标，支持断点续传与多线程并发，适合在专线环境内做批量与增量搬迁。与平台服务端拉取的方式相比，它的吞吐取决于自己机器的配置与网络，调优空间更大，但也要自己负责资源与失败处理。
基本信息
| 支持源端 | 本地目录、HTTP 或 HTTPS 列表、其他对象存储（以工具文档为准） |
|---|---|
| 主要能力 | 断点续传、并发上传、失败重试 |
| 运行方式 | 在本机运行工具，读取配置文件执行任务 |
| 并行策略 | 按机器配置与源端承受能力调整线程数 |
| 结果核对 | 迁移后按对象数量与大小抽样比对 |
| 适用场景 | 专线环境内的批量与增量迁移 |
典型使用场景
- 本地文件服务器上云：把存量目录整体迁入 COS 桶
- 跨云搬迁：从其他云的对象存储把数据搬到 COS
- 专线内批量迁移：利用内网高带宽做大批量传输
- 增量追平：源端仍在写入时重复运行任务补齐差量
- 分目录分批搬迁：按业务线拆分任务，失败影响面可控
- 迁移演练与验证：先小批量跑通流程再全量执行
迁移后核对思路
迁移后核对思路
find /data/export -type f | wc -l # 源端对象数量
find /data/export -type f -printf '%s\n' | awk '{s+=$1} END {print s}' # 源端总字节数
du -sh /data/export # 源端总大小（与上面交叉验证）
coscmd list -r | wc -l # 目标端对象数量（coscmd 为示例工具）
coscmd list -r > /tmp/dst-list.txt # 导出目标端清单用于逐项比对
# 抽样比对：按目录随机取若干对象，核对大小与内容摘要配置与核对要点
| 项目 | 作用 | 常见问题 |
|---|---|---|
| 源端路径 | 指定读取范围 | 路径结尾斜杠处理不当，目录层级与预期不一致 |
| 目标桶与前缀 | 指定落库位置 | 前缀配错导致数据分散或覆盖既有对象 |
| 线程与并发 | 控制吞吐与压力 | 线程过多触发源端限流，效率反而波动 |
| 覆盖策略 | 遇到同名对象时如何处理 | 策略未确认导致目标桶既有对象被覆盖 |
| 失败重试 | 处理中断与偶发错误 | 只跑一次不重试，少量对象漏传未被发现 |
| 对账 | 证明迁移完整 | 只统计数量不看大小，截断文件被记为成功 |
小文件占比高时线程数的收益会下降：瓶颈从带宽转为请求速率与源端响应能力，先做小批量压测确定合适的并发值再放大。
同名对象的覆盖策略要在执行前确认：目标桶里既有数据被覆盖后通常无法恢复，尤其是同名但内容不同的业务文件。