下载的时候会报错https://huggingface.co/datasets/glue/resolve/main/glue.py这个路径无法下载,但是浏览器是可以打开的
所以,先去官网手动下载文件
然后让模型去读取,默认是会读取TRANSFORMERS_CACHE中的内容,不过在c盘,换个位置
添加环境变量,(推荐使用RapidEE工具修改环境变量)
名称 | 值 |
---|---|
HUGGINGFACE_HUB_CACHE | D:\data\huggingface\cache\huggingface |
TRANSFORMERS_CACHE | D:\data\huggingface\cache\transformers |
XDG_CACHE_HOME | D:\data\huggingface\cache |
放到对应的位置(这个资源管理器名字叫OneCommander)
那么在代码里面这样写就不会报错了
import warnings
warnings.filterwarnings("ignore")
from datasets import load_dataset
import os
raw_datasets = load_dataset(os.environ['TRANSFORMERS_CACHE'] + "\\glue","mrpc")
print(raw_datasets)
下载结果