1.安装huggingface-cli 命令行工具,进行模型文件下载
pip install -U huggingface_hub
huggingface-cli --help 帮助命令
2.从huggingface下载模型方法
方法1: git clone 下载模型
方法2:huggingface-cli 工具下载模型
方法3: 代码中调用api自动下载到缓存的本地目录
方法4:使用ollam 下载huggingface 模型(备注:模型必须是GGUF格式):
ollama run hf.co/{username}/{repository}
eg: ollama run hf.co/Talek02/bert-base-uncased-Q4_K_M-GGUF
以上方法都需要首先安装针对大文件存储(lfs)下载传输的依赖库:
pip install hf_transfer
安装 lfs
git lfs install
3.配置缓存环境变量
从huggingface下载预训练模型,本地缓存设置:
windows系统,默认预训练模型会被下载并缓存在本地到C:\Users\用户名 \.cache\huggingface\hub目录下,这是由环境变量TRANSFORMERS_CACHE指定的默认目录。
可以按照不同优先级改变下面的环境变量,以便指定不同的缓存目录:
-
环境变量(默认):HUGGINGFACE_HUB_CACHE或TRANSFORMERS_CACHE
-
环境变量 :HF_HOME
-
环境变量:XDG_CACHE_HOME + /huggingface
设置自己的HF_HOME,指定自己的本地下载模型仓库地址,环境变量:
设置下载lfs(大文件存储)环境变量,这个很重要,不然会出现下载大文件Read timeout,trying to resume download异常。必须指定hf_transfer,当使用huggingface_hub的时候
HF_HUB_ENABLE_HF_TRANSFER=1
总共需要设置这些环境变量,当然还可以设置token,可以根据需要设置
4.从huggingface下载大模型,(无论是使用huggingface-cli命令行还是调用api):
从huggingface下载大模型
从huggingface下载数据集