Scrapy爬虫框架介绍
-
文档
- 英文文档
- 中文文档
-
什么是scrapy
基于
twisted搭建的异步爬虫框架.scrapy爬虫框架根据组件化设计理念和丰富的中间件, 使其成为了一个兼具高性能和高扩展的框架
-
scrapy提供的主要功能
- 具有优先级功能的调度器
- 去重功能
- 失败后的重试机制
- 并发限制
- ip使用次数限制
- …
-
scrapy的使用场景
- 不适合scrapy项目的场景
- 业务非常简单, 对性能要求也没有那么高, 那么我们写多进程, 多线程, 异步脚本即可.
- 业务非常复杂, 请求之间有顺序和失效时间的限制.
- 如果你不遵守框架的主要设计理念, 那就不要使用框架
- 适合使用scrapy项目
- 数据量大, 对性能有一定要求, 又需要用到去重功能和优先级功能的调度器
- 不适合scrapy项目的场景
-
scrapy组件
ENGINE从SPIDERS中获取初始请求任务RequestsENGINE得到Requests之后发送给SCHEDULER,SCHEDULER对请求进行调度后产出任务.Scheduler返回下一个请求任务给ENGINEENGINE将请求任务交给DOWNLOADER去完成下载任务, 途径下载器中间件.- 一旦下载器完成请求任务, 将产生一个
Response对象给ENGINE, 途径下载器中间件 ENGINE收到Response对象后, 将该对象发送给SPIDERS去解析和处理, 途径爬虫中间件SPIDER解析返回结果- 将解析结果
ITEMS发送给ENGINE - 生成一个新的
REQUESTS任务发送给ENGINE
- 将解析结果
- 如果
ENGINE拿到的是ITEMS, 那么就会发送给ITEM PIPELINES做数据处理, 如果是REQUESTS则发送给SCHEDULER - 周而复始, 直到没有任务产出
Scrapy教程
- 安装
pip install scrapy
- 创建项目
scrapy startproject jd_crawler_scrapy
-
目录结构
-
spiders(目录)
存放
SPIDERS项目文件, 一个scrapy项目下可以有多个爬虫实例 -
items
解析后的结构化结果.
-
middlewares
下载器中间件和爬虫中间件的地方
-
piplines
处理items的组件, 一般都在pipelines中完成items插入数据表的操作
-
settings
统一化的全局爬虫配置文件
-
scrapy.cfg
项目配置文件
-
-
scrapy爬虫demo
import scrapy
class JdSearch(scrapy.Spider):
name = "jd_search"
def start_requests(self):
for keyword in ["鼠标", "键盘", "显卡", "耳机"]:
for page_num in range(1, 11):
url = f"https://search.jd.com/Search?keyword={keyword}&page={page_num}"
# 选用FormRequest是因为它既可以发送GET请求, 又可以发送POST请求
yield scrapy.FormRequest(
url=url,
method='GET',
# formdata=data, # 如果是post请求, 携带数据使用formdata参数
callback=self.parse_search # 指定回调函数处理response对象
)
def parse_search(self, response):
print(response)
- 启动爬虫
scrapy crawl spider_name
- 大家如果对爬虫感兴趣的话，可以添加下方好友，免费测试7天IP池哦。
- 回归正题
Scrapy的启动和debug
- 命令行
scrapy crawl jd_search - 启动脚本
# 新建run.py from scrapy import cmdline command = "scrapy crawl jd_search".split() cmdline.execute(command)
Scrapy的中间件
- 请求头中间件
class UAMiddleware: def process_request(self, request, spider): request.headers["user-agent"] = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"
