使用 Hugging Face 镜像站快速下载大模型

在国内使用 Hugging Face 下载模型时,经常遇到连接慢、断点续传失败等问题。本文记录一个稳定、快速下载模型的命令行脚本,并支持设置模型缓存路径和目标目录,方便后续统一管理。


1. 设置 Hugging Face 镜像站

为了提升国内访问速度,我们可以使用 Hugging Face 镜像站(hf-mirror)作为代理:

export HF_ENDPOINT=https://hf-mirror.com

2. 设置自定义模型缓存目录

默认情况下,Hugging Face 会将所有模型缓存到 ~/.cache/huggingface/,这可能会迅速占满主盘空间。
我们可以通过设置环境变量 HF_HOME,将缓存目录更换到数据盘或其他大容量路径:

export HF_HOME=/data/models/hf_cache

3. 使用 huggingface-cli 下载模型到指定目录

以下载 OpenFLUX.1 模型 为例,bash脚本命令如下:

huggingface-cli download \ostris/OpenFLUX.1 \--local-dir /data/models/OpenFLUX.1 \--local-dir-use-symlinks False \--resume-download

参数说明:
• --local-dir:指定模型下载完成后的保存目录;
• --local-dir-use-symlinks False:避免只建立符号链接,而是实际复制文件;
• --resume-download:支持断点续传,适合下载大模型。

4. 文件下载路径结构说明

下载完成后,模型会被复制到你设置的目标目录,例如:

/data/models/OpenFLUX.1/
├── config.json
├── model.safetensors
├── tokenizer.json
└── …

而 Hugging Face 实际的下载缓存,会被保存在你设置的 HF_HOME 路径下,例如:

⚠️ 注意:Hugging Face 会先将文件下载到缓存目录,再复制到 --local-dir,所以缓存路径仍然很关键。

5. 注意事项

  • Hugging Face CLI 会先将模型缓存HF_HOME 路径(或默认的 ~/.cache/huggingface/),然后才复制到 --local-dir
  • 如果不设置 HF_HOME,模型缓存会默认存储在系统盘,可能导致磁盘空间告急;
  • 推荐使用数据盘或大容量路径来设置缓存目录,便于集中管理;
  • 如果需要更灵活地控制下载行为,也可以使用 Python 代码中的 snapshot_download() 方法。

附:推荐完整脚本

export HF_ENDPOINT=https://hf-mirror.com
export HF_HOME=/data/models/hf_cachehuggingface-cli download \ostris/OpenFLUX.1 \--local-dir /data/models/OpenFLUX.1 \--local-dir-use-symlinks False \--resume-download

执行以上脚本,即可稳定快速地将大模型下载到指定目录并支持断点续传。

6. 使用 Python 的 snapshot_download 下载模型

如果你想在 Python 脚本中下载模型,而不是用命令行,也可以使用 Hugging Face 提供的 snapshot_download() 方法,功能更灵活。

首先安装依赖(如果还没有的话):

pip install huggingface_hub

然后使用如下代码进行下载:

from huggingface_hub import snapshot_downloadsnapshot_download(repo_id="ostris/OpenFLUX.1",local_dir="/data/models/OpenFLUX.1",local_dir_use_symlinks=False,resume_download=True,cache_dir="/data/models/hf_cache",  # 等价于设置 HF_HOMEendpoint="https://hf-mirror.com"  # 镜像加速
)

• repo_id:模型名称,格式为 <作者>/<模型名>;
• local_dir:模型保存目录;
• cache_dir:缓存目录(等价于环境变量 HF_HOME);
• endpoint:镜像站地址(等价于环境变量 HF_ENDPOINT);
• resume_download:支持断点续传;
• local_dir_use_symlinks=False:实际复制文件而非软链接。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/79489.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

原语的使用

1、什么是原语&#xff1f;&#xff1f; 原语&#xff08; primitive &#xff09;&#xff0c;是FPGA开发环境所提供的一系列逻辑功能单元。往往与FPGA芯片的厂家精密相连&#xff0c;不同厂家的原语往往不能通用。 2、需要使用原语的情况 一般来说&#xff0c;在进行HDL cod…

大模型核心技术及架构解析

大模型核心技术及架构解析 大语言模型(Large Language Models, LLMs)已成为当前AI领域最重要的技术突破之一。以下是其核心技术和架构的全面分析&#xff1a; 一、核心技术组成 1. 基础架构技术 技术说明代表应用Transformer自注意力机制基础架构GPT, BERTMoE架构混合专家模…

ES6/ES11知识点 续三

rest参数 Rest 参数&#xff08;Rest Parameters&#xff09;是 ES6 引入的一个非常实用的特性。它允许函数接受不定数量的参数&#xff0c;并将这些参数作为一个数组存储&#xff0c;从而简化了处理可变参数的代码。 Rest 参数语法 Rest 参数使用 … 语法&#xff0c;紧跟着…

记忆翻牌游戏:认知科学与状态机的交响曲

目录 记忆翻牌游戏:认知科学与状态机的交响曲引言第一章 网格空间拓扑学1.1 自适应网格算法1.2 卡片排布原理第二章 状态机设计2.1 状态跃迁矩阵2.2 时空关联模型第三章 记忆强化机制3.1 认知衰减曲线3.2 注意力热力图第四章 动画引擎设计4.1 翻牌运动方程4.2 粒子反馈系统第五…

STM32外设-GPIO输出(不含复用)

STM32外设-GPIO输出&#xff08;不含复用&#xff09; 一&#xff0c;GPIO模式简介1&#xff0c;输入模式2&#xff0c;输出模式3&#xff0c;模拟模式4&#xff0c;复用模式 二&#xff0c;输出模式详解1&#xff0c; 输出类型1&#xff0c;推挽输出&#xff1a;2&#xff0c;…

58认知干货:创业经验分享及企业形式的汇总

机会永远都是留给有眼光、能发现机会的人,而不是留给有准备的人!往往机会就在身边,普罗大众却无法发现,而真正适合创业的人,天然具备这方面的能力。 当然后天的补足也未尝不可:“故常有欲以观其微,常无欲以观其妙。””引用《道德经》 读懂这句话自然便会拥有对商业和…

修复笔记:获取 torch._dynamo 的详细日志信息

一、问题描述 在运行项目时&#xff0c;遇到与 torch._dynamo 相关的报错&#xff0c;并且希望获取更详细的日志信息以便于进一步诊断问题。 二、相关环境变量设置 通过设置环境变量&#xff0c;可以获得更详细的日志信息&#xff1a; set TORCH_LOGSdynamo set TORCHDYNAM…

Spark,Idea中编写Spark程序 2

Idea中编写Spark程序 一、修改pom.xml文件 <build><sourceDirectory>src/main/scala</sourceDirectory><testSourceDirectory>src/test/scala</testSourceDirectory> <!-- 添加必要的插件以打包scala程序--><plugins><plu…

【AI提示词】黑天鹅模型专家

提示说明 详细解释黑天鹅模型的理论背景、定义、分类及其在不同领域的应用。 提示词 # Role: 黑天鹅模型专家## Profile - language: 中文 - description: 详细解释黑天鹅模型的理论背景、定义、分类及其在不同领域的应用 - background: 黑天鹅模型是尼尔斯莫尔提出的理论&a…

ARM Linux 设备树

Linux 设备驱动开发详解&#xff1a;基于最新的Linux 4.0内核, 机械工业出版社, 宋宝华, 2015 1. 设备树的起源 • 背景: ARM架构中大量板级代码冗余&#xff0c;硬编码在mach-xxx目录&#xff0c;设备树&#xff08;Device Tree&#xff09;引入结构化描述硬件。 • 目的: 减…

每日c/c++题 备战蓝桥杯(洛谷P1015 [NOIP 1999 普及组] 回文数)

洛谷P1015 [NOIP 1999 普及组] 回文数 题解 题目描述 P1015 回文数 是NOIP 1999普及组的经典模拟题。题目要求如下&#xff1a; 给定一个数N&#xff08;十进制&#xff09;和进制K&#xff08;2≤K≤16&#xff09;&#xff0c;将N转换为K进制表示后&#xff0c;通过以下操…

Linux线程深度解析:从基础到实践

Linux线程深度解析&#xff1a;从基础到实践 一、线程基础概念 1. 进程与线程定义 进程&#xff1a;一个正在运行的程序&#xff0c;是操作系统资源分配的最小单位&#xff08;拥有独立的地址空间、文件描述符等资源&#xff09;&#xff0c;状态包括就绪、运行、阻塞。线程…

php学习笔记(全面且适合新手)

以下是专为 PHP 7.4 初学者设计的全面学习文档&#xff0c;涵盖基础语法、细节语法和进阶语法&#xff0c;结合 PHP 7.4 新特性与实战案例&#xff0c;帮助系统掌握 PHP 开发&#xff1a; 为什么特地做7.4的笔记而不做8的&#xff1f;因为公司用的7.4&#xff0c;哈哈 一、基…

开源分布式数据库(TiDB)

TiDB是由PingCAP 开发的开源分布式数据库&#xff0c;兼容 MySQL 协议&#xff0c;集成了 HTAP&#xff08;混合事务和分析处理&#xff09;的能力&#xff0c;能够同时处理在线事务和实时分析任务。 2015 年&#xff0c;TiDB 在 GitHub 创建&#xff0c;2025 年&#xff0c;Ti…

SpringBoot+Mybatis通过自定义注解实现字段加密存储

&#x1f60a; 作者&#xff1a; 一恍过去 &#x1f496; 主页&#xff1a; https://blog.csdn.net/zhuocailing3390 &#x1f38a; 社区&#xff1a; Java技术栈交流 &#x1f389; 主题&#xff1a; SpringBootMybatis实现字段加密 ⏱️ 创作时间&#xff1a; 2025年04月…

Windows 10系统中找回MySQL 8的root密码

以下是 在Windows 10系统中找回MySQL 8的root密码 的详细步骤&#xff1a; 步骤1&#xff1a;停止MySQL服务 按 Win R 输入 services.msc&#xff0c;打开「服务」管理器。找到 MySQL80&#xff08;或其他自定义服务名&#xff09;&#xff0c;右键选择 停止。 步骤2&#xf…

【计网】互联网的组成

回顾&#xff1a; 互联网(Internet)&#xff1a;它是一个专有名词&#xff0c;是一个特定的互连网&#xff0c;它是指当下全球最大的、最开放的、由众多网络相互连接而形成的特定的的互连网&#xff0c;采用TCP/IP协议族作为通信规则。 一、互联网的组成部分 从互联网的工作方…

【vue3】黑马程序员前端Vue3小兔鲜电商项目【八】

黑马程序员前端Vue3小兔鲜电商项目【八】登录页面 登录页面的主要功能就是表单校验和登录登出业务。 账号密码 accountpasswordcdshi0080123456cdshi0081123456cdshi0082123456cdshi0083123456cdshi0084123456cdshi0085123456cdshi0086123456cdshi0087123456cdshi0088123456 …

C++学习:六个月从基础到就业——C++11/14:右值引用与移动语义

C学习&#xff1a;六个月从基础到就业——C11/14&#xff1a;右值引用与移动语义 本文是我C学习之旅系列的第三十九篇技术文章&#xff0c;也是第三阶段"现代C特性"的第一篇&#xff0c;主要介绍C11/14中引入的右值引用和移动语义。查看完整系列目录了解更多内容。 引…

基于Qlearning强化学习的电梯群控系统高效调度策略matlab仿真

目录 1.算法仿真效果 2.算法涉及理论知识概要 2.1 Q-learning强化学习原理 2.2 基于Q-learning的电梯群控系统建模 3.MATLAB核心程序 4.完整算法代码文件获得 1.算法仿真效果 matlab2022a仿真结果如下&#xff08;完整代码运行后无水印&#xff09;&#xff1a; 仿真操作…