首页/系统/Linux 运维命令速查/场景:大文件分卷传输与合并校验
文件与目录76 条

场景:大文件分卷传输与合并校验

受限网络传大文件:拆分成分卷、逐段传输、端上合并并用哈希校验完整性。

Linux 运维命令速查系统更新于 2026-10-13

分卷传输是什么

受限网络或存储介质带宽有限时,把大文件切成若干分片逐段传输,再在目标端合并并用校验值确认完整性,是一条可靠且可重试的路径。关键前提是分片命名能够按字典序还原出原始顺序。

基本信息

场景大文件拆片传输与合并校验
工具拆分、传输、拼接与校验命令
关键分片命名可排序,合并后校验一致
风险控制拆分前后各做一次校验

典型使用场景

  • 跨网传输:链路不稳定时按分片重传,不必整体重来
  • 介质拷贝:用移动硬盘分批搬运大文件
  • 断点续传:中断后只补缺失分片
  • 校验交付:分片与合并结果各做校验,确认无误
  • 归档分发:把分片与校验清单一并交付

拆分与传输

拆分与传输
split -b 2G -d -a 2 backup.tar.gz part_          # 生成 part_00 起的分片
sha256sum backup.tar.gz | tee SHA256SUMS
ls -l part_*
scp part_* deploy@10.0.0.9:/data/incoming/

合并与校验

合并与校验
cat part_* > backup.tar.gz
sha256sum -c SHA256SUMS
cmp backup.tar.gz /data/source/backup.tar.gz     # 与源文件逐字节比对
ls part_* | wc -l                                # 与预期分片数核对

步骤要点

步骤命令要点说明
拆分指定分片大小与命名数字后缀配合固定宽度便于排序
校验清单拆分前生成合并后用于比对
传输按分片发送可逐片重试
合并按字典序拼接顺序错误哈希必然不一致
核对分片数量与哈希两项都通过才算成功
数字后缀配合固定宽度,保证按字典序拼接即为原始顺序,这一点是整个方案成立的前提。
合并前先确认分片齐全,缺一片哈希必然不一致,却难以定位到底缺哪一片。
接收目录不要与同名旧文件混放,先清干净再收分片,避免旧文件被误拼接进结果。
拆分前先确认目标端剩余空间与文件总量相当,并预留合并时所需的临时空间。
分片大小按链路质量选择:抖动明显的链路用小分片,减少单片重传的代价。

易错点

  • 分片命名不带数字后缀或宽度不一致,按字典序拼接会得到错误顺序
  • 合并前没核对分片数量,缺片时哈希不符却难以定位问题
  • 接收目录残留同名旧分片会被一起拼接进结果,写入前先清理目录
  • 只在合并后校验一次,出问题时无法区分是拆分出错还是传输损坏

数据来源与参考

  • man 1 split(GNU coreutils 手册)
  • man 1 scp(OpenSSH 手册)

相关工具

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌