前言:中国大陆的朋友会发现hugging face经常无法访问了,特别是在服务器上下载大型模型/数据集,如果先在电脑上下载完再传输到服务器上,对于大模型来说会非常麻烦,这篇博客一共提供了三种有效的方法不使用代理服务从hugging face上下载大模型,帮助读者丝滑下载模型。
目录
常见报错:requests.exceptions.ConnectionError: (MaxRetryError("HTTPSConnectionPool(host='huggingface.co', port=443)
方案一:modelscope
方法二:镜像代理
方法三:from_pretrained
modelee
常见报错:requests.exceptions.ConnectionError: (MaxRetryError("HTTPSConnectionPool(host='huggingface.co', port=443)
requests.exceptions.ConnectionError: (MaxRetryError("HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /api/models/stabilityai/stable-video-diffusion-img2vid-xt (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x7fcecc33d340>: Failed to establish a new connection: [Errno 101] Network is unreachable'))"), '(Request ID: fad739ed-9e9c-4938-bdf1-a08b961e16ec)')
如果出现类似的报错,就不要挣扎了,是需要代理服务的。
方案一:modelscope
modelscope的服务器在国内,是不需要代理服务的,但是只有一些热门模型有,很多小众模型没有。
例如下载stable diffusion 2.1,可以在这里找到:stable-diffusion-2-1
所以多搜一搜
方法二:镜像代理
pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
然后要下载哪个文件可以这样:
huggingface-cli download --resume-download --local-dir-use-symlinks False <模型ID> --local-dir <本地保存地址>
方法三:from_pretrained
在python代码里加上:
import os
os.environ['HF_ENDPOINT'] = 'hf-mirror.com'
然后用from pretrained 的方法下载模型。
modelee
这个网站提供了镜像服务。
modelee: modelee 当前主要是提供 huggingface 模型和数据集的镜像,方便国内开发者快速获取