sheng的学习笔记-网络爬虫scrapy框架

news2024/10/6 22:22:48

基础知识：

scrapy介绍

何为框架，就相当于一个封装了很多功能的结构体，它帮我们把主要的结构给搭建好了，我们只需往骨架里添加内容就行。scrapy框架是一个为了爬取网站数据，提取数据的框架，我们熟知爬虫总共有四大部分，请求、响应、解析、存储，scrapy框架都已经搭建好了。scrapy是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架，scrapy使用了一种非阻塞的代码实现并发的

整体架构图

各组件：

数据处理流程

项目示例

环境搭建

下载依赖包

pip install wheel
下载twisted：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
安装twisted：pip install Twisted-17.1.0-cp36m-win_amd64.whl   (这个文件的路劲)
pip install pywin32
pip install scrapy
测试：在终端输入scrapy指令，没有报错表示安装成功
在anaconda中，可以直接装scrapy，会自动把依赖的包都装好

pyopenssl要改成22.0.0版本，否则调用request的时候报错，anaconda会自动改一下依赖的别的包的版本

创建项目

创建项目叫spider

1、打开pycharm的terminal
2、scrapy startproject spider    创建项目
3、cd spider
4、scrapy genspider douban www.xxx.com  创建爬虫程序  
5、需要有main.py里面的输出，则修改settings.py里面的ROBOTSTXT_OBEY = True改为False
6、scrapy crawl main
  不需要额外的输出则执行scrapy crawl main --nolog
   或者在settings.py里面添加LOG_LEVEL='ERROR'，main.py有错误代码会报错（不添加有错误时则不会报错）（常用）

打开spider项目，里面有个spiders文件夹，称为爬虫文件夹，在这里放爬虫业务文件

项目代码

在douban.py里，写爬虫程序

此处是爬虫业务逻辑，爬到网站地址，对于爬虫返回结果的解析，在parse中做

根据应答的数据，解析，可以用xpath或者css解析，找到对应的数据

import scrapy
from scrapy import Selector, Request
from scrapy.http import HtmlResponse

from spider.items import MovieItem


class DoubanSpider(scrapy.Spider):
    name = 'douban'
    allowed_domains = ['movie.douban.com']
    start_urls = ['https://movie.douban.com/top250']

    def start_requests(self):
        for page in range(10):
            yield Request(url=f'https://movie.douban.com/top250?start={page * 25}&filter=')

    def parse(self, response: HtmlResponse, **kwargs):
        sel = Selector(response)
        list_items = sel.css("#content > div > div.article > ol > li")
        for list_item in list_items:
            movie_item = MovieItem()
            movie_item['title'] = list_item.css('span.title::text').extract_first()
            movie_item['rank'] = list_item.css('span.rating_num::text').extract_first()
            movie_item['subject'] = list_item.css('span.inq::text').extract_first()
            yield movie_item
        # href_list = sel.css('div.paginator > a::attr(href)')
        # for href in href_list:
        #     url =  response.urljoin(href.extract())

其中，将返回的值转化为对象，需要在item.py里改一下代码

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy

#爬虫获取到到数据需要组装成item对象
class MovieItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    rank = scrapy.Field()
    subject = scrapy.Field()

执行爬虫

执行工程：scrapy crawl douban -o douban.csv (运行douban爬虫文件,并将结果生成到douban.csv里面）
如果被识别了是爬虫程序，在setting中设置一下user agent的值

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36' # User-Agent字符串

保存数据

默认可以支持保存到csv,json

保存到excel

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter
import openpyxl

#将爬虫返回的数据持久化，先存放到excel
class ExcelPipeline:
    # 创建excel工作簿和工作表
    def __init__(self):
        self.wb = openpyxl.Workbook()
        # wb.create_sheet()
        self.ws = self.wb.active  #激活工作表
        self.ws.title = "Top250"   #改名字
        self.ws.append(('标题','评分','主题'))

    def close_spider(self,spider):
        self.wb.save('电影数据.xlsx')

    # item就是数据
    def process_item(self, item, spider):
        title = item.get('title','')
        rank = item.get('rank', '')
        subject = item.get('subject', '')
        self.ws.append((title,rank,subject))
        return item

在setting.py中改一下配置，找到这个注释，去掉注释

前面是管道名称，如果多个管道，在这里配置多个值，数字小的先执行，数字大的后执行

值要和类名字一致，我改了名字

ITEM_PIPELINES = {
   'spider.pipelines.ExcelPipeline': 300,
}

运行命令。  scrapy crawl douban 

保存到数据库mysql

新增一个mysql的持久化逻辑，init的时候创建连接，process的时候插入，close的时候提交和关闭连接

建表语句

create table tb_top_move(
movie_id INT AUTO_INCREMENT PRIMARY KEY comment '编号',
title varchar(50) not null comment '标题',
rating decimal(3,1) not null comment '评分',
subject varchar(200) not null comment '主题'
) engine=innodb comment='Top电影表'
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter
import openpyxl
import pymysql


#将爬虫返回的数据持久化，先存放到mysql
class MysqlPipeline:
    # 创建excel工作簿和工作表
    def __init__(self):
        #todo 设置db信息
        self.conn = pymysql.connect(host='127.0.0.1',port=,user='',password='',database='',charset='utf8mb4')
        self.cursor = self.conn.cursor()

    def close_spider(self,spider):
        self.conn.commit()
        self.conn.close()
    # item就是数据
    def process_item(self, item, spider):
        title = item.get('title', '')
        rank = item.get('rank', 0)
        subject = item.get('subject', '')
        self.cursor.execute('insert into tb_top_move(title,rating,subject) values (%s,%s,%s)',
                            (title,rank,subject))
        return item

#将爬虫返回的数据持久化，先存放到excel
class ExcelPipeline:
    # 创建excel工作簿和工作表
    def __init__(self):
        self.wb = openpyxl.Workbook()
        # wb.create_sheet()
        self.ws = self.wb.active  #激活工作表
        self.ws.title = "Top250"   #改名字
        self.ws.append(('标题','评分','主题'))

    def close_spider(self,spider):
        self.wb.save('电影数据.xlsx')

    # item就是数据
    def process_item(self, item, spider):
        title = item.get('title','')
        rank = item.get('rank', '')
        subject = item.get('subject', '')
        self.ws.append((title,rank,subject))
        return item

改下setting的配置

ITEM_PIPELINES = {
   'spider.pipelines.MysqlPipeline': 200,
   'spider.pipelines.ExcelPipeline': 300,
}

如果需要代理，可以用这种方式，在douban的py中修改

运行爬虫

scrapy crawl douban

多层爬虫

在爬了第一个页面，跟进内容爬第二个页面，比如在第一个汇总页面，想要知道《霸王别姬》中的时长和介绍，要点进去看到第二个页面

核心是douban.py中，parse函数yield返回的，是一个新的请求，并通过parse_detail作为回调函数进行第二层页面的解析

代码：

douban.py

import scrapy
from scrapy import Selector, Request
from scrapy.http import HtmlResponse

from spider.items import MovieItem


class DoubanSpider(scrapy.Spider):
    name = 'douban'
    allowed_domains = ['movie.douban.com']
    start_urls = ['https://movie.douban.com/top250']

    def start_requests(self):
        for page in range(1):
            yield Request(url=f'https://movie.douban.com/top250?start={page * 25}&filter=')

    def parse(self, response: HtmlResponse, **kwargs):
        sel = Selector(response)
        list_items = sel.css("#content > div > div.article > ol > li")
        for list_item in list_items:
            detail_url = list_item.css("div.info > div.hd > a::attr(href)").extract_first()
            movie_item = MovieItem()
            movie_item['title'] = list_item.css('span.title::text').extract_first()
            movie_item['rank'] = list_item.css('span.rating_num::text').extract_first()
            movie_item['subject'] = list_item.css('span.inq::text').extract_first() or ''
            # yield movie_item
            yield Request(url=detail_url, callback=self.parse_detail,
                          cb_kwargs={'item':movie_item}
                          )
        # href_list = sel.css('div.paginator > a::attr(href)')
        # for href in href_list:
        #     url =  response.urljoin(href.extract())

    def parse_detail(self,response,**kwargs):
        movie_item = kwargs['item']
        sel = Selector(response)
        movie_item['duration']=sel.css('span[property="v:runtime"]::attr(content)').extract()
        movie_item['intro']=sel.css('span[property="v:summary"]::text').extract_first() or ''
        yield movie_item

/items.py

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy

#爬虫获取到到数据需要组装成item对象
class MovieItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    rank = scrapy.Field()
    subject = scrapy.Field()
    duration = scrapy.Field()
    intro = scrapy.Field()

/pipelines.py

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter
import openpyxl
import pymysql

'''
建表语句
create table tb_top_move(
movie_id INT AUTO_INCREMENT PRIMARY KEY comment '编号',
title varchar(50) not null comment '标题',
rating decimal(3,1) not null comment '评分',
subject varchar(200) not null comment '主题',
duration int comment '时长',
intro varchar(10000) comment '介绍'
) engine=innodb comment='Top电影表'
'''

#将爬虫返回的数据持久化，先存放到excel
class MysqlPipeline:
    # 创建excel工作簿和工作表
    def __init__(self):
        #todo 设置db信息
        self.conn = pymysql.connect(host='127.0.0.1',port=3306,
                                    user='lzs_mysql',password='lzs',database='mysql',charset='utf8mb4')
        self.cursor = self.conn.cursor()

    def close_spider(self,spider):
        self.conn.commit()
        self.conn.close()
    # item就是数据
    def process_item(self, item, spider):
        title = item.get('title', '')
        rank = item.get('rank', 0)
        subject = item.get('subject', '')
        duration = item.get('duration', '')
        intro = item.get('intro', '')
        self.cursor.execute('insert into tb_top_move(title,rating,subject,duration,intro) values (%s,%s,%s,%s,%s)',
                            (title,rank,subject,duration,intro))
        return item

#将爬虫返回的数据持久化，先存放到excel
class ExcelPipeline:
    # 创建excel工作簿和工作表
    def __init__(self):
        self.wb = openpyxl.Workbook()
        # wb.create_sheet()
        self.ws = self.wb.active  #激活工作表
        self.ws.title = "Top250"   #改名字
        self.ws.append(('标题','评分','主题'))

    def close_spider(self,spider):
        self.wb.save('电影数据.xlsx')

    # item就是数据
    def process_item(self, item, spider):
        title = item.get('title','')
        rank = item.get('rank', '')
        subject = item.get('subject', '')
        self.ws.append((title,rank,subject))
        return item

运行爬虫

scrapy crawl douban

中间件

中间件分为蜘蛛中间件和下载中间件

蜘蛛中间件一般不动

如果想要在请求中加上cookie，可以在中间件上的请求加上cookie信息

在middlewares.py类中，加上一个方法，获取cookie信息

修改middle的类

修改配置setting

参考文章：

02.使用Scrapy框架-1-创建项目_哔哩哔哩_bilibili

https://www.cnblogs.com/12345huangchun/p/10501673.html

Scrapy框架（高效爬虫）_scrapy爬虫框架-CSDN博客

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1444746.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

腾讯云4核8G服务器多少钱一年？

腾讯云4核8G服务器多少钱一年？

腾讯云4核8G服务器S5和轻量应用服务器优惠价格表，轻量应用服务器和CVM云服务器均有活动，云服务器CVM标准型S5实例4核8G配置价格15个月1437.3元，5年6490.44元，标准型SA2服务器1444.8元一年，轻量应用服务器4核8G12M带宽一…
阅读更多...
JavaScript 遍历文档生成目录结构

JavaScript 遍历文档生成目录结构

JavaScript 遍历文档生成目录结构 要遍历 HTML 文档并生成目录结构&#xff0c;你可以使用 JavaScript 来进行 DOM 操作和遍历。以下是一个简单的示例代码&#xff0c;演示了如何遍历文档中的标题元素&#xff08;例如 <h1>、<h2>、<h3> 等&#xff09;&…
阅读更多...
c++求三个数中最大数

c++求三个数中最大数

#include<iostream> using namespace std; int main() { int a,b,c; cout<<"请输入三个数字"<<endl;//end后面为小写的L cin>>a>>b>>c; if(a>b&&a>c) cout<<"最大数为a:"<<a<<e…
阅读更多...
vulnhub--＞hacksudo-Thor靶机详细思路

vulnhub--＞hacksudo-Thor靶机详细思路

目录 1. IP探测2.端口服务扫描3.网站漏洞扫描4.目录扫描5.信息分析6.破壳漏洞(Shellshock)nmap---漏洞检测CVE-2014-6271 7.nc反弹8.提权9.service提权 1. IP探测 ┌──(root㉿kali)-[~] └─# arp-scan -l Interface: eth0, type: EN10MB, MAC: 00:0c:29:10:3c:9b, IPv4: 19…
阅读更多...
Day39- 动态规划part07

Day39- 动态规划part07

一、爬楼梯 题目一&#xff1a;57. 爬楼梯 57. 爬楼梯&#xff08;第八期模拟笔试&#xff09; 题目描述 假设你正在爬楼梯。需要 n 阶你才能到达楼顶。 每次你可以爬至多m (1 < m < n)个台阶。你有多少种不同的方法可以爬到楼顶呢&#xff1f; 注意&#xff1a;…
阅读更多...
python接口自动化---接口测试报告模板（详解）

python接口自动化---接口测试报告模板（详解）

简介 接口测试报告是软件测试过程中非常重要的一部分&#xff0c;通过接口测试报告我们可以了解系统在接口层面上的稳定性和可靠性。下面是一个简单的接口测试报告模板&#xff1a; 测试概述 在这个部分中&#xff0c;您需要简要阐述接口测试的目的和范围。测试环境 在这个部…
阅读更多...
第80讲订单管理功能实现

第80讲订单管理功能实现

后端 <?xml version"1.0" encoding"UTF-8" ?> <!DOCTYPE mapperPUBLIC "-//mybatis.org//DTD Mapper 3.0//EN""http://mybatis.org/dtd/mybatis-3-mapper.dtd"> <mapper namespace"com.java1234.mapper.OrderM…
阅读更多...
opencv mat用法赋值克隆的操作和一些基本属性

opencv mat用法赋值克隆的操作和一些基本属性

//Mat基本结构 (头部 数据部分) //赋值的话 就是修改了指针位置 但还是指向了原来数据 并没创建数据 本质上并没有变 //只有克隆或者拷贝时 它才会真正复制一份数据 //代码实现 //创建方法 - 克隆 //Mat m1 src.clone(); //复制 //Mat m2; //src.copyTo(m2); //赋值法 …
阅读更多...
007集——数据存储的端序(大端序和小端序转换代码)——VB/VBA

007集——数据存储的端序(大端序和小端序转换代码)——VB/VBA

VB/VBA存储的端序 1、要想制造高性能的VB/VBA代码&#xff0c;离了指针是很难办到的。 2、因为VB/VBA里&#xff0c;用Long来表示指针&#xff0c;而32位(包括64位兼容的)计算机里4字节整数的处理&#xff0c;是最快的方式&#xff01; 3、要想用指针来处理数据&#xff0c;…
阅读更多...
刘知远LLM——神经网络基础

刘知远LLM——神经网络基础

文章目录 神经网络基础基本构成如何训练&#xff1f; Word2Vec例子负采样&#xff1a; 循环神经网络 RNN门控计算单元 GRU长短时记忆网络 LSTM遗忘门输入门输出门双向RNN卷积神经网络 CNNpytorch实战 神经网络基础 基本构成 全称&#xff1a;人工神经网络。启发于生物神经细胞…
阅读更多...
LeetCode 0094.二叉树的中序遍历：递归/迭代(栈模拟递归)

LeetCode 0094.二叉树的中序遍历：递归/迭代(栈模拟递归)

【LetMeFly】94.二叉树的中序遍历&#xff1a;递归/迭代(栈模拟递归) 力扣题目链接&#xff1a;https://leetcode.cn/problems/binary-tree-inorder-traversal/ 给定一个二叉树的根节点 root &#xff0c;返回 它的 中序 遍历 。 示例 1&#xff1a; 输入&#xff1a;root […
阅读更多...
第三百一十六回

第三百一十六回

[tod] 我们在上一章回中介绍了"如何在输入框中处理光标"相关的内容&#xff0c;本章回中将介绍如何添加输入框默认值.闲话休提&#xff0c;让我们一起Talk Flutter吧。 1. 概念介绍 在项目中经常使用输入框获取用户输入的内容&#xff0c;有时候在输入框中反复输入相…
阅读更多...
Modern C++ 内存篇2 - 关于relocation的思考

Modern C++ 内存篇2 - 关于relocation的思考

在上一节《Modern C 内存篇1 - std::allocator VS pmr-CSDN博客》我们详细讨论了关于如何判断用不用memmove优化的代码&#xff0c;结论可以总结为&#xff1a; 只有_Tp是trivial 且 用std::allocator 才会调用memmove。 所有case如下表格所示&#xff1a; No_Tpallocator typ…
阅读更多...
Rust基础拾遗--核心功能

Rust基础拾遗--核心功能

Rust基础拾遗 前言1.所有权与移动1.1 所有权 2.引用3.特型与泛型简介3.1 使用特型3.2 特型对象3.3 泛型函数与类型参数 4.实用工具特型5.闭包 前言 通过Rust程序设计-第二版笔记的形式对Rust相关重点知识进行汇总&#xff0c;读者通读此系列文章就可以轻松的把该语言基础捡起来…
阅读更多...
如何在 Windows 上恢复已删除的 Excel 文件

如何在 Windows 上恢复已删除的 Excel 文件

许多公司和个人在 Excel 电子表格中保存有价值的信息。当会议需要某个重要的 Excel 文件时&#xff0c;突然意识到您已删除或丢失该文件可能会造成严重问题。不用担心。我们将向您展示在 Windows 计算机上恢复已删除的 Excel 文件的多种方法。 如何在 Windows 上恢复已删除的 E…
阅读更多...
JS中常用占位符使用方法详解_ |%s|%d|%f|%o|%O|%c|

JS中常用占位符使用方法详解_ |%s|%d|%f|%o|%O|%c|

在 JavaScript 中&#xff0c;%s 是一种字符串格式化占位符&#xff0c;用于将字符串插入到另一个字符串中的指定位置。这种方法基于 C 语言的 printf() 函数&#xff0c;但在 JavaScript 中有一些变化。 在 JavaScript 中&#xff0c;%s 可以接受任何类型的值&#xff0c;并将…
阅读更多...
【Spring】Bean 的实例化方式

【Spring】Bean 的实例化方式

Spring 为 Bean 提供了多种实例化方式&#xff0c;通常包括4种方式 也就是说在 Spring 中为 Bean 对象的创建准备了多种方案&#xff0c;目的是&#xff1a;更加灵活 第一种&#xff1a;通过构造方法实例化 第二种&#xff1a;通过简单工厂模式实例化 第三种&#xff1a;通过…
阅读更多...
【九章斩题录】Leetcode：判定是否互为字符重排（C/C++）

【九章斩题录】Leetcode：判定是否互为字符重排（C/C++）

面试题 01.02. 判定是否互为字符重排 ✅ 模板&#xff1a;C class Solution { public:bool CheckPermutation(string s1, string s2) {} }; 「 法一 」排序 &#x1f4a1; 思路&#xff1a;看到题目中说 "重新排列后能否变成另一个字符串"&#xff0c;等等……重新…
阅读更多...
读书笔记之《重塑大脑重塑人生》：大脑强大的可塑性

读书笔记之《重塑大脑重塑人生》：大脑强大的可塑性

《重塑大脑重塑人生》作者是诺曼道伊奇&#xff0c;原作名: The Brain That Changes Itself: Stories of Personal Triumph from the Frontiers of Brain Science &#xff0c;于 2015-1-20出版。 诺曼•道伊奇&#xff08;Norman Doidge&#xff09;是医学博士&#xff0c;精…
阅读更多...
python + numpy test

python + numpy test

1. 2. What is the correct syntax to output the type of a variable or object in Python? Syntax of the Python type() functionThe type() function 3. upper() 全大写 lower() 全小写 4. 接下来是Numpy部分 1. What is a correct syntax to check the number of di…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023