首页/AI/大模型部署与运维速查/HF 镜像与离线下载策略
部署形态与选型43 条

HF 镜像与离线下载策略

网络受限环境用 HF_ENDPOINT 指向镜像站或统一走代理;完全离线环境则先在可达网络下载完整模型目录,再整体拷贝进内网。

网络受限时的下载策略

下载权重卡住是常见问题,处理方式取决于网络条件。能连公网但慢,可以把下载源指向社区镜像或走企业代理;完全离线,则先在可达网络下载完整模型目录,再整体拷贝进内网,并在内网侧关闭联网校验,避免框架反复尝试联网导致启动卡顿。

镜像与代理

镜像与代理
# 指向社区镜像站
export HF_ENDPOINT=https://hf-mirror.com
# 或统一走企业代理
export https_proxy=http://<代理地址>:<端口>
# 下载到指定目录,便于整目录搬迁
huggingface-cli download <组织>/<模型> --local-dir ./models/<模型>
# 加速:启用高速传输(需先安装对应组件)
export HF_HUB_ENABLE_HF_TRANSFER=1

离线搬迁

离线搬迁
# 搬到内网机器(保留目录结构)
rsync -avP ./models/<模型>/ user@内网机器:/data/models/<模型>/
# 内网侧关闭联网检查,避免启动时等待超时
export HF_HUB_OFFLINE=1
# 校验:比对文件清单与大小,或核对校验和

三种策略对照

条件推荐做法代价
公网可达但慢指向镜像或配置代理依赖第三方服务的稳定性
带宽受限且有内网镜像统一走企业自建镜像源需要维护镜像同步
完全离线外部下好整目录后搬运迁移周期长,需校验清单
多节点部署共享盘下好后分发需要规划存储与权限

典型使用场景

  • 企业内网模型准备:由一台可达外网的机器统一下载后分发
  • 客户现场交付:把完整目录随安装包一起带走
  • 带宽紧张时段:改用镜像源或代理,避开高峰
  • 批量扩容:新节点从共享盘复制,避免重复占用公网带宽
  • 排查启动慢:内网侧未关闭联网校验时,启动会卡在联网检测阶段
离线前要下载包含配置、分词器、权重与索引文件的完整目录:只拷权重文件是最常见的遗漏。
镜像站是第三方服务:敏感或受限模型不要经它中转,优先官方源或企业自建镜像,并核对文件清单与大小。

易错点

  • 只拷权重文件漏掉分词器与模板:服务能启动但对话格式错乱
  • 内网不关联网校验:启动时反复尝试联网,表现为加载卡住或超时
  • 经镜像站中转受限模型:存在合规与泄露风险,应走官方或自建源
  • 不做文件清单核对:半截文件在加载阶段才暴露,排查成本高
  • 每次扩容都从公网下载:带宽被反复占用,部署时间不可控

数据来源与参考

  • Hugging Face Hub 文档(huggingface.co/docs/huggingface_hub)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌