Python：Spider爬虫工程化入门到进阶（2）使用Spider Admin Pro管理scrapy爬虫项目

news2024/10/2 22:29:39

Python：Spider爬虫工程化入门到进阶系列:

  • Python：Spider爬虫工程化入门到进阶（1）创建Scrapy爬虫项目
  • Python：Spider爬虫工程化入门到进阶（2）使用Spider Admin Pro管理scrapy爬虫项目

目录

    • 1、使用scrapyd运行爬虫
    • 2、部署Scrapy爬虫项目
      • 2.1、修改配置文件
      • 2.2、部署项目
    • 3、使用Spider Admin Pro定时执行爬虫
      • 3.1、安装Spider Admin Pro
      • 3.2、添加定时任务
      • 3.3、查看调度日志
    • 4、收集爬虫数据
      • 4.1、返回Item对象
      • 4.2、收集Item数据
    • 5、总结

本文需要用到上文提到的scrapy-project 目录文件，需要提前创建

Python：Spider爬虫工程化入门到进阶（1）创建Scrapy爬虫项目

本文涉及3个文件目录，可以提前创建好

$ tree -L 1
.
├── scrapy-project
├── scrapyd-project
└── spider-admin-project

1、使用scrapyd运行爬虫

scrapyd可以管理scrapy爬虫项目

安装环境准备

# 创建目录，并进入
$ mkdir scrapyd-project && cd scrapyd-project

# 创建虚拟环境，并激活
$ python3 -m venv venv && source venv/bin/activate

安装scrapyd

# 安装 scrapyd
$ pip install scrapyd

$ scrapyd --version
Scrapyd 1.4.2

启动scrapyd服务

$ scrapyd

浏览器访问：http://127.0.0.1:6800/

在这里插入图片描述

2、部署Scrapy爬虫项目

2.1、修改配置文件

回到爬虫项目目录scrapy-project，修改配置文件 scrapy.cfg

将 deploy.url的注释去掉，6800 端口就是上面我们启动的scrapyd 端口

# Automatically created by: scrapy startproject
#
# For more information about the [deploy] section see:
# https://scrapyd.readthedocs.io/en/latest/deploy.html

[settings]
default = web_spiders.settings

[deploy]
# url = http://localhost:6800/
url = http://localhost:6800/
project = web_spiders

2.2、部署项目

安装 scrapyd-client

pip install scrapyd-client

部署项目

$ scrapyd-deploy

Packing version 1691131715
Deploying to project "web_spiders" in http://localhost:6800/addversion.json
Server response (200):
{"node_name": "bogon", "status": "ok", "project": "web_spiders", "version": "1691131715", "spiders": 1}

看到返回"status": "ok" 就是部署成功

3、使用Spider Admin Pro定时执行爬虫

Spider Admin Pro项目利用了scrapyd提供的api接口实现了一个可视化的爬虫管理平台，便于我们管理和调度爬虫

3.1、安装Spider Admin Pro

此时，我们需要再新建一个目录：spider-admin-project

# 创建目录，并进入
$ mkdir spider-admin-project && cd spider-admin-project

# 创建虚拟环境，并激活
$ python3 -m venv venv && source venv/bin/activate

安装 spider-admin-pro

pip3 install spider-admin-pro

启动 spider-admin-pro

gunicorn 'spider_admin_pro.main:app'

浏览器访问：http://127.0.0.1:8000/

默认的

  • 账号 admin
  • 密码 123456

在这里插入图片描述

3.2、添加定时任务

我们点击左边tab栏：定时任务, 添加一个任务

我们的项目只有一个爬虫，默认会选中我们的爬虫名字

cron表达式表示的是每分钟执行一次

全部都是默认的，我们只需要点击确定 即可，因为现在还没有运行，所以日志都是空的，我们需要等待一会

在这里插入图片描述

3.3、查看调度日志

点击左侧tab栏：调度日志，过一会就能看到爬虫项目被执行了，可以在这里查看调度日志
在这里插入图片描述
需要注意的是，我们代码中使用 print 打印的内容，并不会出现在日志文件中

我们修改代码文件，将print修改为self.logger.debug

web_spiders/spiders/wallpaper.py

import scrapy
from scrapy.http import Response


class WallpaperSpider(scrapy.Spider):
    name = "wallpaper"

    allowed_domains = ["mouday.github.io"]

    # 替换爬虫开始爬取的地址为我们需要的地址
    # start_urls = ["https://mouday.github.io"]
    start_urls = ["https://mouday.github.io/wallpaper-database/2023/08/03.json"]

    # 将类型标注加上，便于我们在IDE中快速编写代码
    # def parse(self, response):
    def parse(self, response: Response, **kwargs):
        # 我们什么也不做，仅打印爬取的文本

        # 使用 `print` 打印的内容，并不会出现在日志文件中
        # print(response.text)
        self.logger.debug(response.text)

重新部署

$ scrapyd-deploy

等待刚刚部署的爬虫运行结束，就可以看到日志了

在这里插入图片描述

4、收集爬虫数据

4.1、返回Item对象

我们的目标网站返回的数据结构如下

{
    "date":"2023-08-03",
    "headline":"绿松石般的泉水",
    "title":"泽伦西自然保护区，斯洛文尼亚",
    "description":"泽伦西温泉位于意大利、奥地利和斯洛文尼亚三国的交界处，多个泉眼汇集形成了这个清澈的海蓝色湖泊。在这里，游客们可以尽情欣赏大自然色彩瑰丽的调色盘。",
    "image_url":"https://cn.bing.com/th?id=OHR.ZelenciSprings_ZH-CN8022746409_1920x1080.webp",
    "main_text":"泽伦西自然保护区毗邻意大利和奥地利边境，距离斯洛文尼亚的克拉尼斯卡戈拉不到5公里。"
}

所以，根据对应字段建立如下的Item对象

web_spiders/items.py

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class WebSpidersItem(scrapy.Item):
    # define the fields for your item here like:
    date = scrapy.Field()
    headline = scrapy.Field()
    title = scrapy.Field()
    description = scrapy.Field()
    image_url = scrapy.Field()
    main_text = scrapy.Field()

同时，修改爬虫文件，将数据包装到Item的子类 WebSpidersItem 对象上，并返回

web_spiders/spiders/wallpaper.py

import json

import scrapy
from scrapy.http import Response

from web_spiders.items import WebSpidersItem


class WallpaperSpider(scrapy.Spider):
    name = "wallpaper"

    allowed_domains = ["mouday.github.io"]

    # 替换爬虫开始爬取的地址为我们需要的地址
    # start_urls = ["https://mouday.github.io"]
    start_urls = ["https://mouday.github.io/wallpaper-database/2023/08/03.json"]

    # 将类型标注加上，便于我们在IDE中快速编写代码
    # def parse(self, response):
    def parse(self, response: Response, **kwargs):
        # 我们什么也不做，仅打印爬取的文本

        # 使用 `print` 打印的内容，并不会出现在日志文件中
        # print(response.text)
        self.logger.debug(response.text)

        # 使用json反序列化字符串为dict对象
        data = json.loads(response.text)

        # 收集我们需要的数据
        item = WebSpidersItem()
        item['date'] = data['date']
        item['headline'] = data['headline']
        item['title'] = data['title']
        item['description'] = data['description']
        item['image_url'] = data['image_url']
        item['main_text'] = data['main_text']

        return item

重新部署

$ scrapyd-deploy

可以看到，除了打印的日志外，还多打印了一份数据，这就是我们刚返回的Item对象
在这里插入图片描述

4.2、收集Item数据

我们可以看到，运行状态一列，都是unknown,我们需要知道爬虫的运行状态，是成功还是失败
在这里插入图片描述

scrapy-util 可以帮助我们收集到程序运行的统计数据

返回项目scrapy-project

安装scrapy-util

pip install scrapy-util

修改配置文件 web_spiders/settings.py

将以下配置添加到配置文件中，端口号改为 spider-admin-pro 的实际端口号，这里是8000

# 设置收集运行日志的路径,会以post方式向 spider-admin-pro 提交json数据
# 注意：此处配置仅为示例，请设置为 spider-admin-pro 的真实路径
# 假设，我们的 spider-admin-pro 运行在http://127.0.0.1:8000
STATS_COLLECTION_URL = "http://127.0.0.1:8000/api/statsCollection/addItem"

# 启用数据收集扩展
EXTENSIONS = {
    # ===========================================
    # 可选：如果收集到的时间是utc时间，可以使用本地时间扩展收集
    'scrapy.extensions.corestats.CoreStats': None,
    'scrapy_util.extensions.LocaltimeCoreStats': 0,
    # ===========================================

    # 可选，打印程序运行时长
    'scrapy_util.extensions.ShowDurationExtension': 100,

    # 启用数据收集扩展
    'scrapy_util.extensions.StatsCollectorExtension': 100
}

重新部署

$ scrapyd-deploy

我们看到scrapyd的控制台输出了如下信息

ModuleNotFoundError: No module named 'scrapy_util'

说明有问题，因为我们没有给scrapyd的运行环境安装依赖scrapy-util

停掉scrapyd，安装scrapy-util

pip install scrapy-util

安装完毕后，重新启动 scrapyd

让爬虫执行一会，我们就可以看到，调度日志列表多了一些信息，可以看到

  • 运行状态：finished，而不是unknown
  • item数量是1，我们返回了1个item对象
  • error错误时空的，说明程序没有报错
  • 持续时间是1秒，运行时间很短，很快就结束了

在这里插入图片描述

5、总结

本文用到了很多的第三方模块，将这些模块整合进我们的项目能极大提高工作效率

第三方库说明文档资料
scrapy创建工程化的爬虫项目github
scrapyd运行scrapy爬虫github、docs
scrapyd-client部署scrapy爬虫github
spider-admin-pro调度scrapy爬虫github
scrapy-util收集爬虫运行结果github
gunicorn执行spider-admin-pro应用docs

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/836133.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

排序算法（九大）- C++实现

排序算法（九大）- C++实现

目录 基数排序 快速排序 Hoare版本（单趟） 快速排序优化 三数取中 小区间优化 挖坑法（单趟） 前后指针法（单趟） 非递归实现（快排） 归并排序 非递归实现（归并&am…
阅读更多...
小程序https域名校验文件放在根目录

小程序https域名校验文件放在根目录

1. 下载校验文件 微信公众号平台 - 开发管理 - 开发设置 - 业务域名 2. 将校验文件放在服务器nginx - html 目录下 3. 修改nginx.conf 我这里配置的https主要是用来转发后台接口路径的 4. 验证 https://域名/校验文件名.txt，有返回即配置成功
阅读更多...
OpenMesh 网格数据读取写入

OpenMesh 网格数据读取写入

文章目录 一、简介二、实现代码三、实现效果参考资料一、简介 通常，网格读取器和写入器例程是直接根据它们支持的数据结构和各自的文件格式编写的。这种方法的主要缺点是针对不同的数据结构或添加另一种文件格式会导致代码重复。因此OpenMesh提供了另一种做法，添加一个中间者…
阅读更多...
java序列化框架全集讲解

java序列化框架全集讲解

一、简介 Java序列化框架是一种用于在Java应用程序中将对象转换为字节流或从字节流反序列化为对象的工具。序列化是将对象的状态转换为字节流的过程，以便可以将其存储在文件中、通过网络传输或在不同的系统之间共享。反序列化是将字节流转换回对象的过程。 Java序列…
阅读更多...
【JS】前端编程8个小技巧(一)

【JS】前端编程8个小技巧(一)

文章目录 1.判断两个数是不是符号相同函数书写运算结果 2.判断一个数n是不是2的整数次幂函数书写运算结果 3.倒序遍历简写函数书写运算结果 4.快速得到一个星级评分函数书写运算结果 5.在程序抛出异常时快速切换搜索引擎stackoverflow的人机验证界面函数书写示例检索结果stacko…
阅读更多...
发现全新TNAS Mobile 3，畅享铁威马NAS的乐趣！

发现全新TNAS Mobile 3，畅享铁威马NAS的乐趣！

千呼万唤始出来，铁威马全新TNAS mobile 3.2.18正式上线啦！新增超实用的功能，搭配全新的更合理美观的 UI。往下看，给大家带来全新的移动存储管理体验！ 注意事项 目前TNAS mobile 3.2.18仅限于在安卓手机上运行&#xf…
阅读更多...
MyBatis源码剖析之Configuration、SqlSession、Executor、StatementHandler细节

MyBatis源码剖析之Configuration、SqlSession、Executor、StatementHandler细节

文章目录 概述源码剖析-初始化ConfigurationMappedStatement 源码剖析-执行SQL流程SqlSessionSqlSessionFactoryDefaultSqlSession 源码剖析-ExecutorBaseExecutorSimpleExecutor 源码剖析-StatementHandlerParameterHandlerStatementHandlerResultSetHandler 概述 MyBatis是一…
阅读更多...
【李宏毅机器学习·学习笔记】Tips for Training: Batch and Momentum

【李宏毅机器学习·学习笔记】Tips for Training: Batch and Momentum

本节课主要介绍了Batch和Momentum这两个在训练神经网络时用到的小技巧。合理使用batch，可加速模型训练的时间，并使模型在训练集或测试集上有更好的表现。而合理使用momentum，则可有效对抗critical point。 课程视频： Youtube&…
阅读更多...
如何应对批发与零售行业的致命危机？附解决方法！

如何应对批发与零售行业的致命危机？附解决方法！

随着科技的不断进步和消费者行为的变化，批发和零售行业正迫切需要进行数字化转型升级，以应对日益激烈的竞争压力和市场变革。这一转型势在必行，但是该行业面临诸多痛点。因此，企业需要寻找适合自己的解决方案，以应对数…
阅读更多...
【前端实习生备战秋招】—HTML 和 CSS面试题总结（三）

【前端实习生备战秋招】—HTML 和 CSS面试题总结（三）

【前端实习生备战秋招】—HTML 和 CSS面试题总结（三） 1.行内元素有哪些？块级元素有哪些？ 空(void)元素有那些？ CSS 规范规定，每个元素都有 display 属性，确定该元素的类型，每个元素…
阅读更多...
更新页面无法回显

更新页面无法回显

需求与问题： 在菜品管理开发中，我需要修改菜品，第一步是回显页面，但在我再三确认代码无误的情况下依旧无法回显内容 问题发现与解决： 经过排查，我发现我的DishDTO内容如下： Data public clas…
阅读更多...
Vue 路由 router 配置（四）

Vue 路由 router 配置（四）

一、下载 router 组件 1.1 删除文件 先把第三小节里面默认生成的文件删除干净，只剩下 main.js 和 App.vue，内容如下所示： import Vue from vue import App from ./AppVue.config.productionTip false;new Vue({el: #app,components…
阅读更多...
公司/设计院文件数据防泄密系统「图纸加密软件」

公司/设计院文件数据防泄密系统「图纸加密软件」

图纸防泄密系统是指对企业电脑文件图纸数据透明加密防护的系统软件，可以防止公司内部数据泄密，通过动态加解密技术，有效防止公司内部数据泄密。即员工在创建、编辑文档时会被自动加密存放在硬盘上，防止员工故意或由于疏忽而造成泄…
阅读更多...
深入剖析java字节码

深入剖析java字节码

目录 1.Demo源码 2.字节码 3.class文件反编译java文件 4.字节码结构 4.1 魔数 ​编辑4.2 版本号 4.3 常量池 4.3.1 常量池计数器 4.3.2 常量池表 ​编辑4.3.3 常量类型和结构 4.3.4 常量解读 5.访问标识 6.类索引、父类索引、接口索引 7.字段表集合 8.方法表集合…
阅读更多...
揭秘微信聊天框隐藏的实用功能

揭秘微信聊天框隐藏的实用功能

揭秘微信聊天框隐藏的实用功能 微信聊天框一直是我们日常沟通的重要工具，但你是否知道它隐藏着一些实用功能？让我们一起揭秘微信聊天框中那些鲜为人知的功能，为你的聊天体验增添便利和乐趣！ 发现更多精彩，长按聊天框带…
阅读更多...
活动隔断在现在酒店运用的方式

活动隔断在现在酒店运用的方式

活动隔断是一种在酒店内部划分空间的方式，用于实现不同活动的隔离和隐私。现代酒店常用的活动隔断方式有以下几种： 1. 固定隔断：使用墙体、固定屏风或者板材等材料，将空间划分为不同的房间或区域。这种方式常用于划分客房、会议室…
阅读更多...
Pytorch使用VGG16模型进行预测猫狗二分类

Pytorch使用VGG16模型进行预测猫狗二分类

目录 1. VGG16 1.1 VGG16 介绍 1.1.1 VGG16 网络的整体结构 1.2 Pytorch使用VGG16进行猫狗二分类实战 1.2.1 数据集准备 1.2.2 构建VGG网络 1.2.3 训练和评估模型 1. VGG16 1.1 VGG16 介绍 深度学习已经在计算机视觉领域取得了巨大的成功，特别是在图像分类任…
阅读更多...
etcd 基础使用

etcd 基础使用

etcd Go 操作 Etcd 参考 go get go.etcd.io/etcd/client/v3民间文档：http://www.topgoer.com/%E6%95%B0%E6%8D%AE%E5%BA%93%E6%93%8D%E4%BD%9C/go%E6%93%8D%E4%BD%9Cetcd/%E6%93%8D%E4%BD%9Cetcd.html 官方文档：https://github.com/etcd-io/etcd/blob…
阅读更多...
如何把pdf转成cad版本？这种转换方法非常简单

如何把pdf转成cad版本？这种转换方法非常简单

将PDF转换成CAD格式的优势在于，CAD格式通常是用于工程设计和绘图的标准格式。这种格式的文件可以在计算机上进行编辑和修改，而不需要纸质副本。此外，CAD文件通常可以与其他CAD软件进行交互，从而使得工程设计和绘图过程更加高效和精…
阅读更多...
5款无广告的超实用软件，建议收藏！

5款无广告的超实用软件，建议收藏！

​ 大家好,我又来了,今天向大家推荐几款软件,它们有个共同的特点,就是无广告、超级实用,大家看完之后,可以自己去搜索下载试用。 1.重复文件清理——Duplicate Cleaner ​ Duplicate Cleaner是一款用于找出硬盘中重复文件并删除的工具。它可以通过内容或文件名查找重复文档、…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023