首页/AI/大模型部署与运维速查/模型制品备份与恢复
运维监控与排障50 条

模型制品备份与恢复

权重目录、自定义代码(trust_remote_code 场景)、tokenizer 与配置文件一起备份;备份做校验(文件数与大小),并定期做一次恢复演练,避免备份不可用。

备份要成组

备份要成组:权重分片、分词器、配置文件,以及自定义建模代码一起备份。备份完成后要做校验,比如核对文件数量与大小,并定期做一次恢复演练,避免出现备份文件在、却恢复不起来的情况。

基本信息

适用平台自托管推理服务与对象存储
备份内容权重分片、配置、分词器、自定义代码
校验方式核对文件数与大小,关键文件算校验和
演练要求定期从备份目录直接加载起服务

备份与校验(示意)

备份与校验(示意)
rsync -a --info=progress2 <模型目录>/ /backup/models/<模型>-<版本>/
find /backup/models/<模型>-<版本> -name '*.safetensors' | wc -l
sha256sum /backup/models/<模型>-<版本>/model.safetensors.index.json

典型使用场景

  • 发布前:把当前在网版本完整备份一份
  • 存储迁移:跨机房或跨设备搬运后校验完整性
  • 回滚准备:备份就是回滚的原料
  • 合规留存:按数据管理要求保留版本与期限
  • 恢复演练:从备份目录直接加载起服务,验证备份可用

备份包含项

包含项为什么必须备漏掉的后果
权重分片服务运行的必需文件加载失败或结果错误
配置与分词器决定推理口径输出行为与备份前不一致
自定义建模代码非标准结构依赖它加载阶段直接报错
备份版本号与发布版本对应登记:恢复时才清楚该回到哪一版。
大文件走同机房或就近对象存储:跨地域复制按恢复目标确定,不必默认做全量异地。
备份不是备份完就算数:没做过恢复演练的备份,真正需要时往往才发现不可用。
备份频率与发布频率对齐:每次发布前留一份,回滚点才不会被跳过。
备份清单要能对账:记录文件数、总大小与校验和,恢复前先比一遍,省得恢复完才发现少文件。

易错点

  • 只备份权重不管自定义代码:非标准结构的模型少了建模文件会直接加载失败
  • 备份不校验:文件数或大小不对却不核对,恢复时才发现损坏
  • 备份与在网版本不对应:恢复出来的版本和记录不一致,故障复盘失去依据
  • 备份目录与权重目录在同一块盘:盘坏了备份也一起没了

数据来源与参考

  • Hugging Face 官方文档:Downloading models(huggingface.co/docs)
  • rsync 手册(rsync.samba.org)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌