0x00 背景
- 服务器的普通用户,不具有root权限
- 服务器网络不稳定
0x01 解决办法
使用镜像【HF-Mirror】提供的工具hfd
方法三:使用 hfd
hfd 是本站开发的 huggingface 专用下载工具,基于成熟工具 git+aria2
,可以做到稳定下载不断线。
1. 下载hfd
wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh
2. 设置环境变量
Linux
export HF_ENDPOINT=https://hf-mirror.com
Windows Powershell
$env:HF_ENDPOINT = "https://hf-mirror.com"
3.1 下载模型
./hfd.sh gpt2 --tool aria2c -x 4
3.2 下载数据集
./hfd.sh wikitext --dataset --tool aria2c -x 4
因为我本机没有aria2c,并且没有root权限无法下载,所以采取的tools是wget【实际上可以通过下载aria2c的可执行文件然后软连接实现】
./hfd.sh stabilityai/stable-diffusion-3-medium --hf_username huggingface用户名--hf_token hf_**** --tool wget
0x02 尝试过的方法
1.配置代理
clash之类没有root权限无法安装。v2ray则是暂时还没看懂config.json怎么写;而且代理的流量也是很金贵,还不太稳定。
2. huggingface-cli
hf镜像网站提供的方法,但是实际上有的时候还是会报错。实际上还是connect_timeout。但是有的时候会成功,并且速率还很快。
3. winscap上传
下载到本地PC,然后winscap上传。但是由于不稳定,经常中断并且上传速率极慢。传了一晚上传了3个G,实在不行,遂放弃。
后来还考虑开一个内网穿透,但是因为没有支撑大流量的公网ip,遂放弃。