安装scrapyd服务
pip install scrapyd
安装scrapyd客户端
pip install scrapyd-client
安装好以后重新开启cmd输入命令
scrapyd
出现以下结果代表安装成功
打开浏览器输入网址,即可打开界面客户端
http://127.0.0.1:6800/
回车后显示一下ok内容代表部署成功
回到服务刷新就可以看到我们刚刚部署的项目了
执行部分
进入地址下载应用程序-下载安装curl
curl - Download
点版本号哪里进去找下载
解下文件后进入到bin目录下复制完整目录,部署到环境变量
系统环境变量
然后在进入path环境变量输入
%CURL_HOME%\l386
然后cmd 输入 curl --help
执行刚刚部署的爬虫,project对应项目名称spider对应爬虫名称,跟scrapy里面的要一样
curl http://127.0.0.1:6800/schedule.json -d project=HangKong -d spider=hangkong
如果报一下错误,终端显示ok但是服务端报错
重开cmd安装一下命令,然后重启scrapyd服务端即可解决
pip install pywin32
然后再去执行启动爬虫命令,不报错了,且在前端可以看到执行日志