分享一下spacy分词工具的下载流程,直接在命令行下载速度慢而且一般都成功不了,所以需要像nltk工具一样离线下载,这里记录一下流程。让有需要的同学少走一些坑。
一、下载spacy
这里下载记得使用国内源哟,速度会快很多,详细信息参考点击【国内源】查看。
下面以使用清华源为例
pip install spacy -i https://pypi.tuna.tsinghua.edu.cn/simple
二、查看下载的spacy版本号
pip list
三、下载对应Spacy-models
Github下载地址:https://github.com/explosion/spacy-models/releases
进入后,可以看到如下界面,并下载支持对应spacy版本的Spacy-models;
此处的 lg 为large的缩写,根据spacy官方文档的解读,
模型指示符 如英文模型en,
后缀为 sm:en_core_web_sm-3.7.1 代表 small 模型;
后缀为 md: 代表 middle 模型;
后缀为 lg: 代表 large 模型;
后缀为 trf: 代表涵盖 transformer 模型;
选择需要的模型并找到适合的版本号下载
建议直接按照如下方式 下载到本地(放到python解释器安装的目录,经测试这样的下载速度较快。
查看python解释器安装目录指令
python -c "import sys; print(sys.executable)"
进入安装目录,然后输入
install 后面的内容为刚才下载的包,不确定为多少的同学可以输入ls指令查看,tips:输入开头的字母,再按Tab会自动不全。
pip install en_core_web_lg-3.7.1-py3-none-any.whl
四、检验
如果出现上述 Sucessfully installed en-core-web-lg-3.7.1. 表明至此,安装spacy全流程已经成功。
最后本地jupyter notebook执行如下命令进行测试:
import spacy
nlp = spacy.load("en_core_web_lg")
如果上两行代码运行都未报错,即表明安装spacy成功,模型可以正常调用。
参考链接:https://www.cnblogs.com/geekbruce/articles/17871540.html