【Python】【进阶篇】二十六、Python爬虫的Scrapy爬虫框架

news2024/10/6 16:27:54

目录

  • 二十六、Python爬虫的Scrapy爬虫框架
    • 26.1 Scrapy下载安装
    • 26.2 创建Scrapy爬虫项目
        • 1) 创建第一个Scrapy爬虫项目
    • 26.3 Scrapy爬虫工作流程
    • 26.4 settings配置文件

二十六、Python爬虫的Scrapy爬虫框架

Scrapy 是一个基于 Twisted 实现的异步处理爬虫框架，该框架使用纯 Python 语言编写。Scrapy 框架应用广泛，常用于数据采集、网络监测，以及自动化测试等。

提示：Twisted 是一个基于事件驱动的网络引擎框架，同样采用 Python 实现。

26.1 Scrapy下载安装

Scrapy 支持常见的主流平台，比如 Linux、Mac、Windows 等，因此你可以很方便的安装它。本节以 Windows 系统为例，在 CMD 命令行执行以下命令：

python -m pip install Scrapy

由于 Scrapy 需要许多依赖项，因此安装时间较长，大家请耐心等待，关于其他平台的安装方法，可参考官方文档《Scrapy安装指南》。

验证安装，如下所示：

C:\Users\Administrator>python
Python 3.7.4 (tags/v3.7.4:e09359112e, Jul  8 2019, 19:29:22) [MSC v.1916 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import scrapy
>>> exit()

如果可以正常执行exit()操作，并且没有出现 ERROR 错误，则说明安装成功。

26.2 创建Scrapy爬虫项目

Scrapy 框架提供了一些常用的命令用来创建项目、查看配置信息，以及运行爬虫程序。常用指令如下所示：

常用指令 命令 | 格式 | 说明 ---|---|--- startproject | scrapy startproject <项目名> | 创建一个新项目。 genspider | scrapy genspider <爬虫文件名> <域名> | 新建爬虫文件。 runspider | scrapy runspider <爬虫文件> | 运行一个爬虫文件，不需要创建项目。 crawl | scrapy crawl | 运行一个爬虫项目，必须要创建项目。 list | scrapy list | 列出项目中所有爬虫文件。 view | scrapy view

1) 创建第一个Scrapy爬虫项目

下面创建名为 Baidu 的爬虫项目，打开 CMD 命令提示符进行如下操作：


C:\Users\Administrator>cd Desktop

C:\Users\Administrator\Desktop>scrapy startproject Baidu
New Scrapy project 'Baidu', using template directory 'd:\python\python37\lib\site-packages\scrapy\templates\project', created in:
    C:\Users\Administrator\Desktop\Baidu
# 提示后续命令操作
You can start your first spider with:
    cd Baidu
    scrapy genspider example example.com

打开新建的项目“Baidu”会有以下项目文件，如图所示：

在这里插入图片描述

图1：项目文件

接下来，创建一个爬虫文件，如下所示：


C:\Users\Administrator\Desktop>cd Baidu
C:\Users\Administrator\Desktop\Baidu>scrapy genspider baidu www.baidu.com
Created spider 'baidu' using template 'basic' in module:
    Baidu.spiders.baidu

下面呈现了项目的目录树结构，以及各个文件的作用：


Baidu                   # 项目文件夹
├── Baidu               # 用来装载项目文件的目录
│   ├── items.py        # 定义要抓取的数据结构
│   ├── middlewares.py  # 中间件，用来设置一些处理规则
│   ├── pipelines.py    # 管道文件，处理抓取的数据
│   ├── settings.py     # 全局配置文件
│   └── spiders         # 用来装载爬虫文件的目录  
│       ├── baidu.py    # 具体的爬虫程序
└── scrapy.cfg          # 项目基本配置文件

从上述目录结构可以看出，Scrapy 将整个爬虫程序分成了不同的模块，让每个模块负责处理不同的工作，而且模块之间紧密联系。因此，您只需要在相应的模块编写相应的代码，就可以轻松的实现一个爬虫程序。

26.3 Scrapy爬虫工作流程

Scrapy 框架由五大组件构成，如下所示：

Scrapy 五大组件

名称作用说明
Engine(引擎)整个 Scrapy 框架的核心，主要负责数据和信号在不同模块间传递。
Scheduler(调度器)用来维护引擎发送过来的 request 请求队列。
Downloader(下载器)接收引擎发送过来的 request 请求，并生成请求的响应对象，将响应结果返回给引擎。
Spider(爬虫程序)处理引擎发送过来的 response， 主要用来解析、提取数据和获取需要跟进的二级URL，然后将这些数据交回给引擎。
Pipeline(项目管道)用实现数据存储，对引擎发送过来的数据进一步处理，比如存 MySQL 数据库等。

在整个执行过程中，还涉及到两个 middlewares 中间件，分别是下载器中间件（Downloader Middlewares）和蜘蛛中间件（Spider
Middlewares），它们分别承担着不同的作用：

  • 下载器中间件，位于引擎和下载器之间，主要用来包装 request 请求头，比如 UersAgent、Cookies 和代理 IP 等
  • 蜘蛛中间件，位于引擎与爬虫文件之间，它主要用来修改响应对象的属性。

Scrapy 工作流程示意图如下所示：
在这里插入图片描述

图1：工作流程示意图

上述示意图描述如下，当一个爬虫项目启动后，Scrapy 框架会进行以下工作：

  • 第一步：由“引擎”向爬虫文件索要第一个待爬取的 URL，并将其交给调度器加入 URL 队列当中（对应图中1/2步骤）。
  • 第二步：调度器处理完请求后， 将第一个 URL 出队列返回给引擎；引擎经由下载器中间件将该 URL 交给下载器去下载 response 对象（对应3/4步骤）。
  • 第三步：下载器得到响应对象后，将响应结果交给引擎，引擎收到后，经由蜘蛛中间件将响应结果交给爬虫文件（对应5/6步骤）。
  • 第四步：爬虫文件对响应结果进行处理、分析，并提取出所需要的数据。
  • 第五步：最后，提取的数据会交给管道文件去存数据库，同时将需要继续跟进的二级页面 URL 交给调度器去入队列（对应7/8/9步骤）。

上述过程会一直循环，直到没有要爬取的 URL 为止，也就是 URL 队列为空时才会停止。

26.4 settings配置文件

在使用 Scrapy 框架时，还需要对配置文件进行稍微改动。下面使用 Pycharm 打开刚刚创建的“Baidu”项目，对配置文件进行如下修改：

# 1、定义User-Agent
USER_AGENT = 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)'
# 2、是否遵循robots协议，一般设置为False
ROBOTSTXT_OBEY = False
# 3、最大并发量，默认为16
CONCURRENT_REQUESTS = 32
# 4、下载延迟时间
DOWNLOAD_DELAY = 1

其余常用配置项介绍：

# 设置日志级别，DEBUG < INFO < WARNING < ERROR < CRITICAL
LOG_LEVEL = ' '
# 将日志信息保存日志文件中，而不在终端输出
LOG_FILE = ''
# 设置导出数据的编码格式(主要针对于json文件)
FEED_EXPORT_ENCODING = ''
# 非结构化数据的存储路径
IMAGES_STORE = '路径'
# 请求头，此处可以添加User-Agent、cookies、referer等
DEFAULT_REQUEST_HEADERS={
   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
   'Accept-Language': 'en',
}
# 项目管道，300 代表激活的优先级 越小越优先，取值1到1000
ITEM_PIPELINES={
    'Baidu.pipelines.BaiduPipeline':300
}
# 添加下载器中间件
DOWNLOADER_MIDDLEWARES = {}

想要了解更多关于 Scrapy 框架的知识，可参考官方文档：https://docs.scrapy.org/en/latest/index.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/443545.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【Java 数据结构】单链表经典面试题 (动图解析)

【Java 数据结构】单链表经典面试题 (动图解析)

&#x1f389;&#x1f389;&#x1f389;点进来你就是我的人了 博主主页&#xff1a;&#x1f648;&#x1f648;&#x1f648;戳一戳,欢迎大佬指点!人生格言&#xff1a;当你的才华撑不起你的野心的时候,你就应该静下心来学习! 欢迎志同道合的朋友一起加油喔&#x1f9be;&am…
阅读更多...
Redis问题

Redis问题

一、认识Redis 1. 什么是 Redis&#xff1f; Redis 是一种基于内存的数据库&#xff0c;对数据的读写操作都是在内存中完成&#xff0c;因此读写速度非常快&#xff0c;常用于缓存&#xff0c;消息队列、分布式锁等场景。Redis 提供了多种数据类型来支持不同的业务场景&#…
阅读更多...
vue-seamless-scroll无缝滚动组件使用方法详解+解决轮播空白缝隙问题（最后面）

vue-seamless-scroll无缝滚动组件使用方法详解+解决轮播空白缝隙问题（最后面）

下载安装 1.npm npm install vue-seamless-scroll --save 2.yarn yarn add vue-seamless-scroll 使用 1、全局注册 import Vue from vue import scroll from vue-seamless-scroll Vue.use(scroll) //或者 //Vue.use(scroll,{componentName: scroll-seamless}) 2、局部注册 im…
阅读更多...
刘强东的“百亿补贴” 被指“雷”声大雨点小

刘强东的“百亿补贴” 被指“雷”声大雨点小

京东集团2022年财报显示&#xff0c;2022年第四季度京东收入为2954亿元&#xff0c;同比增加7.1%&#xff0c;与2021年四季度23%的同比增速确有不小的差距。前三季度对应的同比增速分别为17.95%、5.44%和11.35%&#xff0c;与2021年相比均有回落。从财报中可以看出&#xff0c;…
阅读更多...
什么是Selenium？使用Selenium进行自动化测试

什么是Selenium？使用Selenium进行自动化测试

什么是 Selenium&#xff1f; Selenium 是一种开源工具&#xff0c;用于在 Web 浏览器上执行自动化测试&#xff08;使用任何 Web 浏览器进行 Web 应用程序测试&#xff09;。   等等&#xff0c;先别激动&#xff0c;让我再次重申一下&#xff0c;Selenium 仅可以测试Web应用…
阅读更多...
Unity VFX -- （2）玩一玩粒子系统

Unity VFX -- （2）玩一玩粒子系统

增加火花 复杂的VFX通常是由多个单独的粒子系统所组成。当它们组合到一起时&#xff0c;这些独立的个体会产生出更加有趣的效果。下面我们来为火焰增加火花效果。 1. 在Hierarchy中&#xff0c;展开Fire_ParticleSystem_Prefab物体&#xff0c;选择VFX_Sparks子物体。 2. 激活V…
阅读更多...
java springboot工程引导类，简单认识程序入口

java springboot工程引导类，简单认识程序入口

我们在创建springboot项目时 总会看到这么一个启动类 首先 我们要知道 我们的程序最后就成立一个spring容器 而你所有的类都是交给这个spring容器去管理的 做 springboot 程序 也会有这个spring容器 为了方便大家看 我们将启动类的代码改成这样 package com.example.thres…
阅读更多...
HTTP和第三方模块

HTTP和第三方模块

私人博客 许小墨のBlog —— 菜鸡博客直通车 系列文章完整版&#xff0c;配图更多&#xff0c;CSDN博文图片需要手动上传&#xff0c;因此文章配图较少&#xff0c;看不懂的可以去菜鸡博客参考一下配图&#xff01; 系列文章目录 前端系列文章——传送门 后端系列文章——传送…
阅读更多...
zookeepr 简介

zookeepr 简介

简介&#xff1a; zookeeper是为分布式应用提供协调服务的高性能组件。zookeeper通过简单的接口暴露了一些公共服务(命名、配置管理、同步和分组服务), 因此你不需要从头开始写这些服务。你可以现成得使用zookeeper来实现共识、组管理、领导者选举和存在协议。你可以根据自己的…
阅读更多...
ConcurrentHashMap分段锁

ConcurrentHashMap分段锁

1.分段锁的设计目的 ConcurrentHashMap 是支持高并发的线程安全的 HashMap。相较于 HashTable 使用 synchronized 方法来保证线程安全&#xff0c;ConcurrentHashMap 采用分段锁的方式&#xff0c;在线程竞争激烈的情况下 ConcurrentHashMap 的效率高很多。 ConcurrentHashMa…
阅读更多...
考勤系统的最佳实践 - 静态活体检测 API 技术

考勤系统的最佳实践 - 静态活体检测 API 技术

引言 静态活体检测&#xff08;Static Liveness Detection&#xff09;API 是一种基于人脸识别技术&#xff0c;用于判断面部图像或视频是否为真实人脸的 API 接口。它基于图片中人像的破绽&#xff08;摩尔纹、成像畸形等&#xff09;&#xff0c;判断目标是否为活体&#xf…
阅读更多...
abpvnext 创建数据时发布本地事件ILocalEventBus.PublishAsync ，创建的数据被阻塞的问题解决

abpvnext 创建数据时发布本地事件ILocalEventBus.PublishAsync ，创建的数据被阻塞的问题解决

一、问题背景描述&#xff1a; 我有一个需求&#xff0c;需要在字典服务里创建字典类型成功后执行ILocalEventBus.PublishAsync 发布一个事件&#xff0c;让主业务服务订阅这个事件&#xff0c;然后执行业务代码将字典类型同步给所有租户。 最开始我在字典服务员的applicatio…
阅读更多...
数据结构实验 C语言 一元二项式操作

数据结构实验 C语言 一元二项式操作

东莞理工学院请勿抄袭 1.实验目的 通过实验达到&#xff1a; ⑴ 理解和掌握线性结构的概念及其典型操作的算法思想&#xff1b; ⑵ 熟练掌握基本线性结构-线性表的顺序存储结构、链式存储结构及其操作的实现&#xff1b; ⑶ 理解和掌握受限线性结构——堆栈、队列、串、数…
阅读更多...
HTTP 1 2 3 的演变过程

HTTP 1 2 3 的演变过程

1 HTTP/1.1 相比 HTTP/1.0 提高了什么性能&#xff1f; HTTP/1.1 相比 HTTP/1.0 性能上的改进&#xff1a; 使用长连接的方式改善了 HTTP/1.0 短连接造成的性能开销。支持管道&#xff08;pipeline&#xff09;网络传输&#xff0c;只要第一个请求发出去了&#xff0c;不必等…
阅读更多...
【ECharts+Vue】学习笔记（快速入门版）

【ECharts+Vue】学习笔记（快速入门版）

一、ECharts 1.1 什么是Echarts ECharts 是一个使用 JavaScript 实现的开源可视化库&#xff0c;涵盖各行业图表&#xff0c;满足各种需求。提供了丰富的可视化图标&#xff0c;帮助你轻松实现大屏展示。 官网地址&#xff1a;Apache ECharts 1.2 ECharts的安装 直接下载 下载官…
阅读更多...
分布式之搜索解决方案es

分布式之搜索解决方案es

一 ES初识 1.1 概述 ElasticSearch&#xff1a;是基于 Lucene 的 Restful 的分布式实时全文搜索引擎&#xff0c;每个字段都被索引并可被搜索&#xff0c;可以快速存储、搜索、分析海量的数据。是ELK的一个组成,是一个产品&#xff0c;而且是非常完善的产品&#xff0c;ELK代表…
阅读更多...
webRtc播放rtsp视频流（vue2、vue3+vite+ts）

webRtc播放rtsp视频流（vue2、vue3+vite+ts）

一、下载webRtc 开发环境用的win10版本的。 github上直接下载&#xff0c;速度感人。 Releases mpromonet/webrtc-streamer GitHub 提供资源下载&#xff0c;0积分 https://download.csdn.net/download/weiqiang915/87700892 二、启动&#xff0c;测试 webrtc-streame…
阅读更多...
PDD滑块分析

PDD滑块分析

文章目录 1.流程分析2.关键点分析3.结果展示 声明&#xff1a;本文只作学习研究&#xff0c;禁止用于非法用途&#xff0c;否则后果自负&#xff0c;如有侵权&#xff0c;请告知删除&#xff0c;谢谢&#xff01; 欢迎大佬加群一起交流哇&#xff08; Q群&#xff1a;985475126…
阅读更多...
基于web的电动车租赁管理系统C#+asp.net+sqlserver

基于web的电动车租赁管理系统C#+asp.net+sqlserver

具体功能如下&#xff1a;个人信息管理&#xff1a;实现登陆后对个人信息进行修改和查看的功能。 修改登录密码&#xff1a;实现登陆后对个人密码进行修改的功能。 申请租车订单&#xff1a;客户用户登陆后可以申请租车订单。同时可以查看租赁订单信息。 售后评价管理&#xff…
阅读更多...
深度学习中的一阶段目标检测

深度学习中的一阶段目标检测

博主简介 博主是一名大二学生&#xff0c;主攻人工智能研究。感谢让我们在CSDN相遇&#xff0c;博主致力于在这里分享关于人工智能&#xff0c;c&#xff0c;Python&#xff0c;爬虫等方面知识的分享。 如果有需要的小伙伴可以关注博主&#xff0c;博主会继续更新的&#xff0c…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023