一、下载
下载地址
下滑到Assets页面,选择下载
二、解压运
解压压缩包,打开文件夹
在此文件夹下打开Linux Terimal, 并输入以下命令运行软件:
./easy-spider.sh
注意软件运行过程中不要关闭terminal。
三、使用
1.开始
首先点击【设计任务】,设计完成后才可以进行爬虫任务。
选择浏览器设计模式,根据爬取网站是否需要登陆来判断用哪个模式。不需要登陆选【纯净版浏览器设计】,需要登陆则选择【带用户信息浏览器设计】即可。
2.新建任务
点击【创建新任务】->输入目标完整网址-点击【开始设计】
3.进入设计页面
设计页面包含两个窗口,流程设计界面:
目标网站,包含操作提示框:
设计完成后点击【保存任务】,关闭即可。
4.执行任务
点击【任务信息】
点击【调用任务】
点击【本地直接执行】,等待程序执行完成即可。
四、输出结果
爬取结果放在安装目录下的Data文件夹中:EasySpider_Linux_x64/Data,txt文件为程序运行日志,csv文件为爬取结果。
五、中国地震台网-案例
1.点击设计任务
2.纯净浏览器模式
3.创建任务
输入网址,点击【开始设计】
4.输入文字
右键选中元素,然后左键点击【输入文字】
输入值,点击确认:
5.设计流程变化
新增输入文字流程
6.点击链接
右键点击【查询】,左键点击【点击该链接】
在这里插入图片描述
7.选择采集数据
右键点击第一行第一列,然后点击第二行第二列。然后左键点击【选中全部】。
点击【采集数据】
8.翻页
右键点击翻页按钮,然后左键点击【点击该链接】
9.采集数据
10.设计流程图
得出的设计流程图,点击【保存任务】,随后运行即可。