huggingface模型的默认缓存路径是~/.cache/huggingface/hub/
通常修改为自己的路径会更为方便。
方式一:cache_dir 参数
可以通过from_pretrained函数中的 cache_dir 参数来指定,缺点,每次都需要手动指定,比较麻烦。
如:加载一个bert-base-uncased模型
from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")
model = AutoModelForMaskedLM.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")
方式二: 设置HF_HOME
环境变量
export HF_HOME=~/leo038/cache/