分卷传输是什么
受限网络或存储介质带宽有限时,把大文件切成若干分片逐段传输,再在目标端合并并用校验值确认完整性,是一条可靠且可重试的路径。关键前提是分片命名能够按字典序还原出原始顺序。
基本信息
| 场景 | 大文件拆片传输与合并校验 |
|---|---|
| 工具 | 拆分、传输、拼接与校验命令 |
| 关键 | 分片命名可排序,合并后校验一致 |
| 风险控制 | 拆分前后各做一次校验 |
典型使用场景
- 跨网传输:链路不稳定时按分片重传,不必整体重来
- 介质拷贝:用移动硬盘分批搬运大文件
- 断点续传:中断后只补缺失分片
- 校验交付:分片与合并结果各做校验,确认无误
- 归档分发:把分片与校验清单一并交付
拆分与传输
拆分与传输
split -b 2G -d -a 2 backup.tar.gz part_ # 生成 part_00 起的分片
sha256sum backup.tar.gz | tee SHA256SUMS
ls -l part_*
scp part_* deploy@10.0.0.9:/data/incoming/合并与校验
合并与校验
cat part_* > backup.tar.gz
sha256sum -c SHA256SUMS
cmp backup.tar.gz /data/source/backup.tar.gz # 与源文件逐字节比对
ls part_* | wc -l # 与预期分片数核对步骤要点
| 步骤 | 命令要点 | 说明 |
|---|---|---|
| 拆分 | 指定分片大小与命名 | 数字后缀配合固定宽度便于排序 |
| 校验清单 | 拆分前生成 | 合并后用于比对 |
| 传输 | 按分片发送 | 可逐片重试 |
| 合并 | 按字典序拼接 | 顺序错误哈希必然不一致 |
| 核对 | 分片数量与哈希 | 两项都通过才算成功 |
数字后缀配合固定宽度,保证按字典序拼接即为原始顺序,这一点是整个方案成立的前提。
合并前先确认分片齐全,缺一片哈希必然不一致,却难以定位到底缺哪一片。
接收目录不要与同名旧文件混放,先清干净再收分片,避免旧文件被误拼接进结果。
拆分前先确认目标端剩余空间与文件总量相当,并预留合并时所需的临时空间。
分片大小按链路质量选择:抖动明显的链路用小分片,减少单片重传的代价。