python爬虫学习第二十八天-------了解scrapy（二十八天）

news2024/10/6 8:34:01

hello，兄弟姐妹们！我是喔的嘛呀。今天我们首先来了解scrapy。为后面的学习打下基础。

一、scrapy是什么？

Scrapy 是一个用于爬取网站数据并提取结构化信息的强大 Python 框架。它可以帮助开发人员快速、高效地构建网络爬虫，从而自动化地从网页中提取所需数据。Scrapy 提供了一套完整的工具和组件，包括用于定义爬取规则的 Spider、用于提取数据的选择器（Selectors）、用于处理数据的管道（Pipeline）等，使得爬虫开发变得简单且高效。Scrapy 还支持异步处理和并发请求，可以处理复杂的爬取任务，并提供了命令行工具和调试工具，方便开发人员进行调试和监控。Scrapy 在数据挖掘、信息收集、监测和自动化测试等领域都有广泛的应用。

二、工作原理和重要功能

工作原理：

引擎（Engine）：是 Scrapy 的核心，负责调度整个爬取流程的执行。
调度器（Scheduler）：接收引擎发来的请求，并根据一定的策略进行调度，以确保合理高效地使用网络和系统资源。
下载器（Downloader）：负责下载网页并将响应传递给 Spider。
Spider：定义了如何抓取某个网站的规则，包括如何开始抓取以及如何跟踪链接等。
Item Pipeline：负责处理爬取到的数据，可以进行数据清洗、验证、存储等操作。
Downloader Middleware：介于引擎和下载器之间的一层组件，可以修改请求和响应，例如添加代理、设置 User-Agent 等。
Spider Middleware：介于引擎和 Spider 之间的一层组件，用于处理 Spider 的输入和输出。

主要功能：

Spider：定义了如何爬取某个（些）网站的规则，包括起始URL、如何跟踪链接、如何解析页面等。
Selector：用于从页面中提取数据的工具，支持 XPath 和 CSS 选择器。
Item：表示从网页中提取的数据，类似于字典或数据库表的行。
Pipeline：负责处理爬取到的数据，可以进行数据清洗、去重、验证、存储等操作。
Downloader Middleware：用于在下载器处理请求和响应的过程中进行额外的操作，比如修改请求头、处理代理等。
Spider Middleware：对 Spider 的输出（Item 和 Request）进行处理的组件，可以对请求和响应进行预处理或后处理。
Scrapy Shell：交互式 shell 环境，用于测试和调试 XPath 或 CSS 选择器表达式。
命令行工具：用于运行爬虫、检查爬取结果等，例如 scrapy crawl spider_name。

三、工作流程

Scrapy 的工作流程可以简要地描述为以下几个步骤：

启动爬虫：
- 使用命令行工具或代码启动 Scrapy 爬虫。
引擎调度请求：
- 引擎接收到启动爬虫的命令后，会根据 Spider 的配置和规则生成初始请求，并将请求交给调度器。
调度器管理请求队列：
- 调度器会根据一定的策略管理请求队列，确保请求按照合理的顺序被发送给下载器。
下载器下载网页：
- 下载器接收到调度器发送的请求后，会下载对应的网页内容，并将下载到的响应返回给引擎。
引擎将响应发送给 Spider：
- 引擎接收到下载器返回的响应后，会将响应发送给对应的 Spider 进行处理。
Spider 解析响应：
- Spider 接收到响应后，会根据预先定义的规则，解析网页内容，提取需要的数据，并生成新的 Item 对象。
Item 被发送到 Item Pipeline：
- Spider 将解析得到的 Item 对象发送到 Item Pipeline 进行处理，包括数据清洗、验证、存储等操作。
数据存储：
- Item Pipeline 将处理后的数据存储到指定的数据存储介质（如数据库、文件等）中。
Spider 继续爬取：
- Spider 可能会继续根据规则跟踪链接，生成新的请求，并重复上述流程，直到没有新的请求或达到停止条件。
爬虫关闭：
- 当爬取结束时，Spider 可能会发送信号给引擎，引擎收到信号后关闭爬虫。