大文件上传设计

大文件走分片上传:初始化会话、并行上传分片、合并或由对象存储完成分片组装;支持断点续传与校验(分片哈希与整文件哈希),并限制单文件与并发配额。

流程

流程
1. 初始化上传会话(返回分片大小与 uploadId)
2. 并行上传分片,记录每片 ETag
3. 完成后提交分片清单触发合并
4. 校验整文件哈希;失败分片可单独重传

参数与限制设计

项参考值说明
分片大小5-50 MB过小则元数据开销高
并发分片数3-5受带宽与网关限制约束
会话有效期24 小时过期自动清理临时分片
重试按分片重传避免整文件重传
网关与应用层的请求体大小、超时限制要同步调整;临时分片要设置过期清理规则。

易错点

  • 未清理失败会话的临时分片,存储持续累积
  • 分片过小导致请求元数据开销占比过高

数据来源与参考

  • Amazon S3 文档:Multipart Upload
  • Google Cloud Storage 文档:可恢复与分片上传
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌