Scrapy

概述

Scrapy是一个用Python编写的开源网络爬虫框架，专门设计用于快速、高效地提取网站数据。它提供了一整套工具和库，可以帮助开发人员创建和管理网络爬虫，用于抓取特定网站的数据并进行处理。

英文文档：https://docs.scrapy.org/en/latest/

GitHub：https://github.com/scrapy/scrapy

中文文档：https://scrapy-chs.readthedocs.io/zh_CN/latest/

Scrapy是一个基于Python的Web爬虫框架，由多个组件组成，包括了引擎（Engine）、调度器（Scheduler）、下载器（Downloader）、Spider、Item Pipeline等。

引擎（Engine）

引擎是Scrapy的核心组件之一，负责调度和协调各个组件的工作。它接收Spider返回的初始请求，并将其传递给调度器，再由调度器根据一定的策略进行调度，最终将请求发送给下载器进行下载。在下载器将响应内容返回后，引擎将调用Spider的回调函数进行处理，再将处理后的数据交给Item Pipeline进行处理。

调度器（Scheduler）

调度器负责对Spider的请求进行调度，决定请求的顺序和时间。它维护了一个请求队列，并根据一定的调度策略，将请求传递给下载器进行下载。在下载完成后，调度器将下载器返回的响应对象传递给Spider进行处理。

下载器（Downloader）

下载器负责从互联网上下载页面和资源。它接收调度器传递的请求对象，并根据请求中的URL和请求头信息进行下载。下载器可以通过设置代理、Cookies和请求头等信息，模拟浏览器的行为，避免被服务器拒绝访问。在下载完成后，下载器将响应对象返回给调度器。

Spider

Spider是用户编写的爬虫代码，定义了如何爬取和处理页面数据。它通过yield关键字返回请求对象或者Item对象，并可以定义一个或多个回调函数，在下载器返回响应对象后进行解析和处理。Spider可以通过设置start_urls或者start_requests方法返回一个或多个初始请求对象。

Item Pipeline

Item Pipeline负责处理Spider返回的Item对象，可以对数据进行过滤、清理、验证等操作。它将Item对象传递给一系列的管道处理器，每个管道处理器可以对Item对象进行一些处理操作，然后将处理后的Item对象传递给下一个管道处理器。在最后一个管道处理器处理完成后，Item Pipeline将Item对象输出到文件或者数据库中。

基本使用

安装scrapy

pip install scrapy

查看帮助命令

> scrapy --help
Scrapy 2.8.0 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command

创建项目

scrapy startproject 项目名称

会在当前目录下创建一个名为project_name的目录，包含了Scrapy项目的基本结构。

项目目录结构：

scrapy.cfg: 项目的配置文件

demo: 项目的python模块，之后将在此加入代码

demo/spiders/: 爬虫组件目录

demo/items.py: 定义数据模型

demo/middlewares.py: 自定义中间件

demo/pipelines.py: 自定义管道，保存数据

demo/settings.py: 爬虫配置信息

定义Item数据模型对象

Item是保存爬取到的数据的容器。通过创建一个 scrapy.Item 类， 并且定义类型为scrapy.Field的类属性来定义一个Item

定义item即提前规划好哪些字段需要抓，防止在爬取数据过程中写错。

配合注释一起可以清晰的知道要抓取哪些字段，

数据模型对象类定义以后需要在爬虫中导入并且实例化，使用方法和使用字典相同

在items.py中定义模型对象，定义要提取的字段：

import scrapy

class DemoItem(scrapy.Item):
	# 标题
    title = scrapy.Field()
    # 数量
    count = scrapy.Field()

创建爬虫(Spider)

Spider是编写用于从单个网站(或者一些网站)爬取数据的类。其包含一个用于下载的初始URL，如何跟进网页中的链接以及如何分析页面中的内容， 提取生成 item 的方法。

创建一个Spider，必须继承scrapy.Spider类， 且定义一些属性、方法：

name:

用于区别Spider。 该名字必须是唯一的，不可以为不同的Spider设定相同的名字。

start_urls:

包含Spider在启动时进行爬取的url列表。 因此，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。

parse() :

parse()是spider的一个方法。 被调用时，每个初始URL完成下载后生成的Response对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

在demo/spiders目录下创建demospider.py文件，需要定义一个Spider类，继承自scrapy.Spider类，并重写start_requests()和parse()方法。

import scrapy

from demo.items import DemoItem


# 继承自爬虫类
class DemospiderSpider(scrapy.Spider):
    # 定义爬虫名称
    name = "demospider"
    # 设置允许爬取的范围
    allowed_domains = ["www.runoob.com"]
    # 设置开始爬取的请求地址
    start_urls = ["https://www.runoob.com/"]

    # 实现解析函数，提取数据或者提取URL，并提交给引擎
    def parse(self, response):
    	# scrapy的response对象可以直接进行xpath
        list = response.xpath('/html/body/div[4]/div/div[2]/div/h2/text()').extract()
        print("--------------------------------")
        index = 1
        for title in list:
            div = "div[" + str(index) + "]"
            index = index + 1
            count = response.xpath('/html/body/div[4]/div/div[2]/' + div + '/a/h4/text()').extract()

            item = DemoItem()
            item['title'] = title
            item['count'] = len(count)
            # 提交数据给引擎
            # yield能够传递的对象只能是：BaseItem, Request, dict, None
            yield item

使用命令方式可以快速创建一个爬虫编写的基本结构

cd 项目目录

scrapy genspider 爬虫名称 允许域名

>scrapy genspider demospider www.runoob.com
Created spider 'demospider' using template 'basic' in module:
  demo.spiders.demospider

管道pipeline来保存数据

数据在被抓取后，被发送到管道，接着进行管道操作，比如：

清理 HTML 数据

验证抓取的数据（检查项目是否包含某些字段）

检查重复项（并删除它们）

将抓取的项目存储在数据库中

在运行爬虫时添加 -o参考可以将数导出

scrapy crawl 爬虫名称 -o 导出文件

在pipelines.py文件中创建DemoPipeline管道类，打印爬虫的parse() 方法提取的数据

class DemoPipeline:
	# 爬虫文件中提取数据的方法每yield一次item，就会运行一次
    def process_item(self, item, spider):
        print("title: {} , count: {}".format(item['title'], item['count']))
        return item

完整管道实现如下：

# 1.在pipelines.py中编写管道实现

# 2.定义管道类
class DemoPipeline:
    # 3.必须实现process_item(self,item,spider),在管道接收数据对象时回调，用于接收和处理每个数据对象
    def process_item(self, item, spider):
        print("title: {} , count: {}".format(item['title'], item['count']))
        return item

    # 4.可选实现

    def open_spider(self, spider):
        print("爬虫启动时回调，用于初始化操作")

    def close_spider(self, spider):
        print("爬虫关闭时回调，用于释放操作")

接着在settings.py中开启管道

配置项中键为使用的管道类，参数的值是一个权重，越小越优先执行

ITEM_PIPELINES = {
    "demo.pipelines.DemoPipeline":1
}

注意事项：

在管道实现函数中process_item必须有返回值，传递给下一个管道

多管道实现时可以通过类型判断或爬虫名称判断区分存储的数据

启动爬虫

在命令行中，进入目录，并输入以下命令，运行Spider：

scrapy crawl 爬虫名称

scrapy crawl demospider

控制台打印了爬虫提取数据日志与管道保存数据日志，如下所示：

--------------------------------
title:  HTML / CSS , count: 9
2023-02-22 14:07:26 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.runoob.com/>
{'count': 9, 'title': ' HTML / CSS'}
title:  JavaScript , count: 18
2023-02-22 14:07:26 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.runoob.com/>
{'count': 18, 'title': ' JavaScript'}
title:  服务端 , count: 26
2023-02-22 14:07:26 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.runoob.com/>

其他

解析函数对象

response对象

response响应对象封装从互联网上返回的响应，具有如下常用属性

response.url：当前响应的url地址

response.request.url：当前响应对应的请求的url地址

response.headers：响应头

response.requests.headers：当前响应的请求头

response.body：响应体，也就是html代码，byte类型

response.status：响应状态码

Selector对象

Selector对象封装数据操作的对象

xpath：可以使用 xpath 提取数据，返回 SelectorList 对象

css：可以使用 css 样式选择器提取数据，返回 SelectorList 对象

extract：从selector对象中提取内容

SelectorList对象

返回 Selector 对象的合集

extract_first ：取列表中第一个元素的内容，如果元素不存在返回 None
	
extract ：提取列表中selector对象中所有内容

提交数据给引擎

使用关键词 yield，在爬虫组件的解析函数中提交数据给引擎

提交数据类型：BaseItem、Request、dict、None

def parse(self,response):
  ...
  item = {}
  item["data"] = "数据"
  yield item

实现多请求

构造Request对象，继续发送请求，从而实现多请求

scrapy.Request构建方式

scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False])

注意：中括号里的参数为可选参数，具体意思如下：

callback: 表示当前的url的响应交给哪个函数去处理

method：指定POST或GET请求

headers：接收一个字典，其中不包括cookies

cookies：接收一个字典，专门放置cookies

body：接收json字符串，为POST的数据，发送payload_post请求时使用

meta: 实现数据在不同的解析函数中传递，meta默认带有部分数据，比如下载延迟，请求深度等

dont_filter: 默认会过滤请求的url地址，即请求过的url地址不会继续被请求，对需要重复请求的url地址可以把它设置为Ture

meta的作用：meta可以实现数据在不同的解析函数中的传递

meta参数的使用

利用meta参数在不同的解析函数中传递数据

def parse(self,response):
    ...
    yield scrapy.Request(detail_url, callback=self.parse_detail,meta={"item":item})
	...

def parse_detail(self,response):
    # 获取传入的item
    item = resposne.meta["item"]

使用关键词 yield，提交请求给引擎

    # 实现解析函数，提取数据或者提取URL，并提交给引擎
    def parse(self, response):
        for title in response.xpath('//title').getall():
            item = DemoItem()
            item['title'] = title
            yield item

        for href in response.xpath('//a/@href').getall():
            yield scrapy.Request(response.urljoin(href), self.parse)

scrapy终端(Scrapy shell)

Scrapy终端是一个交互终端，在未启动spider的情况下尝试及调试爬取代码，如用来测试XPath或CSS表达式

启动终端

scrapy shell

scrapy shell 爬取地址

scrapy shell www.runoob.com

可用Scrapy对象

Scrapy终端根据下载的页面会自动创建一些方便使用的对象

[s] Available Scrapy objects:
[s]   scrapy     scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s]   crawler    <scrapy.crawler.Crawler object at 0x00000114BB2603A0>
[s]   item       {}
[s]   request    <GET http://www.runoob.com>
[s]   response   <200 https://www.runoob.com/>
[s]   settings   <scrapy.settings.Settings object at 0x00000114BB260940>
[s]   spider     <DemospiderSpider 'demospider' at 0x114bb6f6dc0>
[s] Useful shortcuts:
[s]   fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed)
[s]   fetch(req)                  Fetch a scrapy.Request and update local objects
[s]   shelp()           Shell help (print this help)
[s]   view(response)    View response in a browser

快捷命令

shelp() - 打印可用对象及快捷命令的帮助列表
fetch(request_or_url) - 根据给定的请求(request)或URL获取一个新的response，并更新相关的对象
view(response) - 在本机的浏览器打开给定的response

>>> fetch(request)
2023-02-22 15:52:11 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://www.runoob.com/> from <GET http://www.runoob.com>
2023-02-22 15:52:11 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.runoob.com/> (referer: None)

>>> view(response)
True