目录
- 一、前言
- 二、发现问题
- 三、删除这些模型
- 方法一:直接删除
- 注意
- 方法二:代码删除
一、前言
当服务器连不上,只能在本地跑代码时需要使用***预训练语言模型进行处理
免不了需要把模型下载到本地
时间一长就会发现C盘容量不够
二、发现问题
正常使用情况下,c盘突然“爆红”肯定与下载的模型有关系
这里以我实际代码为例
reader = FARMReader(model_name_or_path="distilbert-base-uncased-distilled-squad",use_gpu=True)
FARMReader是已经封装好的api
直接安装三方库调用就行
执行上一段代码会出现下载模型的进度条
但是并没有说明下载位置在哪
经过不断排查文件终于找到了模型所在位置
**C:\Users\你的名字\\.cache\huggingface**
如下图所示:
解释下以上四个文件分别用于保存什么:
1. datasets:表示存储代码中需要下载的数据集内容;
2. hub:这里具体保存什么没太弄清楚。我这里保存的是预训练语言模型;
3. modules:这里保存在部分代码所需要的三方库模块,可能还存有部分datasets_modules内容;
4. transformers:这个就是我们最常用的huggingface中封装有关transformers函数。
比如图片中红框内全是我下载只用了一次的模型
三、删除这些模型
方法一:直接删除
在上述文件夹下找到你想删除模型的文件夹
直接右键删除就行
但是当你再次使用该模型会重新下载到这个地方
注意
删之前一定要想清楚
删错了导致模型无法识别不能怪我
方法二:代码删除
新建python输入以下内容:
from transformers import cache
cache.clear()
就会来清除电脑缓存中的模型
如果效果不是特别理想
可以两种方法结合着来