超详细的Scrapy框架的基本使用教程

news2024/11/24 14:00:12

Scrapy的介绍

scrapy的工作流程（重点！！！）

如下图所示：

爬虫：

  1. 负责向引擎提供要爬取网页的URL，引擎会把这个URL封装成request对象并传递给调度器，
  2. 把引擎传递过来的response对象进行数据解析。数据解析有两种结果：
    1. 解析出具体的数据，那么通过引擎把这个具体的数据传递给管道，然后存入文件、数据库等
    2. 解析出一个新的URL，那么过程同作用1

管道：负责把引擎传递过来的数据进行存储，存入文件、数据库等。管道可以有多个，比如MySQL的管道，某个文件的管道，mango的管道等。

调度器：可以把调度器的存储结构看成一个优先队列，不同的request对象可能优先级不一样，按优先级的高低进行调度

  1. 把引擎传递过来的request对象放入队列进行排队，调度器可以实现去重的效果，即对两个相同的URL，只存储一个
  2. 向引擎提供队头的request对象（即优先级高的request对象），引擎把这个request对象传递给下载器进行请求

下载器：把引擎传递过来的request对象发送给服务器请求数据，并把服务器返回的内容封装成response对象， 然后把这个response对象传递给引擎，引擎再把这个response对象传递给爬虫进行数据解析

引擎：从上面的流程中可以看到，引擎负责控制数据流在所有组件流动,并在相应动作时触发事件，相当于爬虫的大脑

注意，在实际的代码编写过程中，我们只需要关注爬虫和管道部分的代码编写，而引擎、调度器、下载器都不需要我们实现   

scrapy的安装

在终端输入以下命令（包有点大，建议切换成国内的镜像源，如清华源等，据说安装可能会有很多问题，但是可能我人品比较好，没遇到，嘿嘿。如果有问题的百度一下吧）

pip install scrapy 

scrapy的基本使用

以爬取4399游戏网站的游戏名称为例，scrapy有以下几个步骤：

1、创建scrapy项目

首先在某个文件夹下打开终端，输入以下命令创建scrapy项目

scrapy startproject 项目名称

2、创建一个爬虫程序 

首先进入项目文件夹下，然后输入命令： 

scrapy genspider 爬虫程序的名称  要爬取网站的域名

3、编写爬虫程序

在game_4399.py文件中编写爬虫代码，代码如下

import scrapy


class Game4399Spider(scrapy.Spider):
    name = "game_4399"  # 爬虫程序的名称
    allowed_domains = ["4399.com"]  # 允许爬取的域名
    # 默认情况下是：https://4399.com
    # 但是我们不从首页开始爬取，所以改一下URL
    start_urls = ["https://4399.com/flash/"]  # 一开始爬取的URL

    def parse(self, response):  # 该方法用于对response对象进行数据解析
        # print(response)  # <200 http://www.4399.com/flash/>
        # print(response.text)  # 打印页面源代码
        # response.xpath()  # 通过xpath解析数据
        # response.css()  # 通过css解析数据

        # 获取4399小游戏的游戏名称
        # txt = response.xpath('//ul[@class="n-game cf"]/li/a/b/text()')
        # txt 列表中的每一项是一个Selector：
        # <Selector query='//ul[@class="n-game cf"]/li/a/b/text()' data='逃离克莱蒙特城堡'>]
        # 要通过extract()方法拿到data中的内容
        # print(txt)

        # txt = response.xpath('//ul[@class="n-game cf"]/li/a/b/text()').extract()
        # print(txt)  # 此时列表中的元素才是游戏的名字

        # 也可以先拿到每个li，然后再提取名字
        lis = response.xpath('//ul[@class="n-game cf"]/li')
        for li in lis:
            # name = li.xpath('./a/b/text()').extract()
            # # name 是一个列表
            # print(name)  # ['王城霸业']

            # 一般我们都会这么写：li.xpath('./a/b/text()').extract()[0]
            # 但是这样如果列表为空就会报错，所以换另一种写法
            # extract_first方法取列表中的第一个，如果列表为空，返回None
            name = li.xpath('./a/b/text()').extract_first()
            print(name)  # 王城霸业

            category = li.xpath('./em/a/text()').extract_first()  # 游戏类别
            date = li.xpath('./em/text()').extract_first()  # 日期
            print(category, date)

            # 通过yield向管道传输数据
            dic = {
                'name': name,
                'category': category,
                'date': date
            }
            # 可以认为这里是把数据返回给了管道pipeline，
            # 但是实际上是先给引擎，然后引擎再给管道，只是这个过程不用我们关心，scrapy会自动完成
            # 这里的数据会在管道程序中接收到
            yield dic

4、运行scrapy爬虫程序

在终端输入命令，就可以看到爬虫程序运行结果。

scrapy crawl 爬虫程序名称

5、总结scrapy的基本使用

关于第6、7步，在下面的scrapy管道中会说到。

Scrapy中的管道

基本介绍

我们接着看上述4399中创建的scrapy项目，管道的默认情况如下：

管道程序默认是不生效的，需要在settings文件进行配置，如下：

pipelines.py文件中的代码

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter


# 默认情况下管道是不开启的，需要在settings文件中进行设置
class GamePipeline:
    def process_item(self, item, spider):
        """
        接收爬虫通过引擎传递过来的数据
        :param item: 具体的数据内容
        :param spider: 对应传递数据的爬虫程序
        :return:
        """
        print(item)  # {'name': '武器升级', 'category': '休闲类', 'date': '2024-01-06'}
        print(spider)  # <Game4399Spider 'game_4399' at 0x22867dafc70>
        return item  # 把数据传递给下一个管道

 settings文件中关于管道的代码

ITEM_PIPELINES = {
    # 管道程序的所在路径：优先级
    # 300 表示管道的优先级，数字越小优先级越高
    # 优先级高的管道会比优先级低的管道先拿到数据
   "game.pipelines.GamePipeline": 300,
}

运行命令：scrapy crawl game_4399，运行结果如下（只截取了一部分）：

上述只有一个管道，如果有多个管道，比如我们自定义一个管道，代码如下：

from itemadapter import ItemAdapter


# 默认情况下管道是不开启的，需要在settings文件中进行设置
class GamePipeline:
    def process_item(self, item, spider):
        """
        接收爬虫通过引擎传递过来的数据
        :param item: 具体的数据内容
        :param spider: 对应传递数据的爬虫程序
        :return:
        """
        print(item)  # {'name': '武器升级', 'category': '休闲类', 'date': '2024-01-06'}
        print(spider)  # <Game4399Spider 'game_4399' at 0x22867dafc70>
        return item  # 把数据传递给下一个管道


# 自定义一个管道程序
# 记得在settings文件中配置，否则不生效
class OtherPipeline:
    def process_item(self, item, spider):
        # 比如这里给传递过来的数据添加一个新的字段
        item['new_field'] = 'hello'
        return item

settings文件关于管道的代码

ITEM_PIPELINES = {
    # 管道程序的所在路径：优先级
    # 300 表示管道的优先级，数字越小优先级越高
    # 优先级高的管道会比优先级低的管道先拿到数据
   "game.pipelines.GamePipeline": 300,
   # 优先级比GamePipeline高，可以通过运行结果看出
   "game.pipelines.OtherPipeline": 299
}

 运行结果如下，可见多了一个字段

 scrapy中的数据格式item

在上述的项目中，我们在爬虫程序里解析出来的数据组装成了字典然后使用yield传递给了管道，但是这实际上是不符合scrapy的规范的。在scrapy中，数据用item表示。

还是以上面的4399为例。game_4399.py中的代码如下：

import scrapy

from game.items import GameItem


class Game4399Spider(scrapy.Spider):
    name = "game_4399"  # 爬虫程序的名称
    allowed_domains = ["4399.com"]  # 允许爬取的域名
    # 默认情况下是：https://4399.com
    # 但是我们不从首页开始爬取，所以改一下URL
    start_urls = ["https://4399.com/flash/"]  # 一开始爬取的URL

    def parse(self, response):  # 该方法用于对response对象进行数据解析
        # 也可以先拿到每个li，然后再提取名字
        lis = response.xpath('//ul[@class="n-game cf"]/li')
        for li in lis:
            name = li.xpath('./a/b/text()').extract_first()
            category = li.xpath('./em/a/text()').extract_first()  # 游戏类别
            date = li.xpath('./em/text()').extract_first()  # 日期

            # 通过yield向管道传输数据
            # dic = {
            #     'name': name,
            #     'category': category,
            #     'date': date
            # }
            # 可以认为这里是把数据返回给了管道pipeline，
            # 但是实际上是先给引擎，然后引擎再给管道，只是这个过程不用我们关心，scrapy会自动完成
            # 如果只有一个数据，可以通过return返回，但是在scrapy中没人使用return，都是用yield的
            # 另外，在scrapy中，只希望yield返回三个类型之一的数据：item、request、None
            # 这里可以yield dic 返回字典，但是实际上并不希望这么干
            # 而且如果换成了 yield [] 返回雷暴，就会报错：
            # ERROR: Spider must return request, item, or None, got 'list'
            # yield dic

            # 我们现在不返回字典，而是返回真正推荐我们返回的格式之一：item
            # 先导入GameItem类：from game.items import GameItem
            # 然后创建它的实例，使用起来和字典类似
            # 区别就是GameItem类里没有定义的字段，就不能使用，比如不能item['某个没有定义的字段']
            item = GameItem()
            # item['xxx'] 里的xxx要在类GameItem里定义有，否则就会报错
            item['name'] = name
            item['category'] = category
            item['date'] = date
            yield item

 items.py中的代码

import scrapy


class GameItem(scrapy.Item):
    # 这里定义了三个字段，分别表示游戏的名称、类别和日期
    name = scrapy.Field()
    category = scrapy.Field()
    date = scrapy.Field()


# 可以定义其他字段来表示不同的信息
class OtherItem(scrapy.Item):
    pass

管道程序pipelines.py中的代码

from itemadapter import ItemAdapter


# 默认情况下管道是不开启的，需要在settings文件中进行设置
class GamePipeline:
    def process_item(self, item, spider):
        """
        接收爬虫通过引擎传递过来的数据
        :param item: 具体的数据内容
        :param spider: 对应传递数据的爬虫程序
        :return:
        """
        print(item)  # {'name': '武器升级', 'category': '休闲类', 'date': '2024-01-06'}
        print(spider)  # <Game4399Spider 'game_4399' at 0x22867dafc70>
        return item  # 把数据传递给下一个管道


# 自定义一个管道程序
# 记得在settings文件中配置，否则不生效
class OtherPipeline:
    def process_item(self, item, spider):
        # 比如这里给传递过来的数据添加一个新的字段
        # 此时传递过来的item不再是字典，而是GameItem类对象
        # 由于GameItem类里没有定义字段new_field，所以不能使用，否则报错
        # item['new_field'] = 'hello'
        return item

数据存储

我们一直说通过管道存储数据，但是上面的例子一直未涉及，现在来讲解怎么把数据进行持久化存储。在上面的例子中，我们已经在管道程序里拿到了引擎传递过来的数据，现在就可以把这些数据存储起来。

首先，先来说一说数据存储的几种方案：

  • 存入.csv文件，这类数据一般用于数据分析
  • 存入MySQL数据库
  • 存入mangodb数据库
  • 写入文件，如图片、视频、文字等数据

下面以存入csv文件为例（存入MySQL的也列举了一个模板，mango数据库的操作和MySQL基本一致，但是由于我对mango不熟悉，所以不写了，需要的可以百度一下）

settings文件中的代码

ITEM_PIPELINES = {
    # 管道程序的所在路径：优先级
    # 300 表示管道的优先级，数字越小优先级越高
    # 优先级高的管道会比优先级低的管道先拿到数据
   "game.pipelines.GamePipeline": 300,
   "game.pipelines.GameMySqlPipeline": 300,
   # 优先级比GamePipeline高，可以通过运行结果看出
   "game.pipelines.OtherPipeline": 299
}
# 配置MySQL
MYSQL = {
    "host": "localhost",  # 主机
    "port": 3306,  # 端口
    "user": "xxx",  # 用户名
    "password": "xxx",  # 密码
    "database": "xxx"  # 数据库名称
}

pipelines.py的代码：

import pymysql
# 导入MySQL配置
from game.settings import MYSQL

# 默认情况下管道是不开启的，需要在settings文件中进行设置
class GamePipeline:
    def __init__(self):
        self.f = None

    def open_spider(self, spider):
        """"""
        print('爬虫开始了...')
        self.f = open('./game_data.csv', mode='a', encoding='utf-8')

    def process_item(self, item, spider):
        """
        接收爬虫通过引擎传递过来的数据
        :param item: 具体的数据内容
        :param spider: 对应传递数据的爬虫程序
        :return:
        """
        print('爬虫进行中...')
        # 把数据写入文件
        # 写入模式是mode='a'，表示在文件里追加，不能是w，否则文件原本的内容会被覆盖
        # 以下的这种方式效率不高，因为每传递一次数据，就要进行一次文件的打开的关闭操作
        # with open('./game_data.csv', mode='a', encoding='utf-8') as f:
        #     f.write(f'{item["category"]}, {item["name"]}, {item["date"]}\n')

        # 采取另一种方式
        # scrapy 提供了两个方法open_spider()、close_spider()，分别会在爬虫开始时和爬虫结束后调用
        self.f.write(f'{item["category"]}, {item["name"]}, {item["date"]}\n')
        return item  # 把数据传递给下一个管道

    def close_spider(self, spider):
        print('爬虫结束了...')
        if self.f:
            self.f.close()


# 默认情况下管道是不开启的，需要在settings文件中进行设置
class GameMySqlPipeline:
    def __init__(self):
        self.conn = None

    def open_spider(self, spider):
        print('爬虫开始了...')
        # self.conn = pymysql.connect(  # 创建数据库连接
        #     host='localhost',  # 主机
        #     port=3306,  # 端口
        #     user='xxx',  # 用户名
        #     password='xxx',  # 密码
        #     database='xxx'  # 数据库名称
        # )

        # 可以向上面那样写，但是更好的办法是写在settings文件中
        # 然后从settings文件中导入：from game.settings import MYSQL
        self.conn = pymysql.connect(  # 创建数据库连接
            host=MYSQL['host'],  # 主机
            port=MYSQL['port'],  # 端口
            user=MYSQL['user'],  # 用户名
            password=MYSQL['password'],  # 密码
            database=MYSQL['database']  # 数据库名称
        )

    def process_item(self, item, spider):
        """
        接收爬虫通过引擎传递过来的数据
        :param item: 具体的数据内容
        :param spider: 对应传递数据的爬虫程序
        :return:
        """
        print('爬虫进行中...')
        # 把数据写入mysql数据库
        # 下载数据库包并导入：pip install pymysql
        # 确定自己的数据库中准备好了相应的数据表
        try:
            cursor = self.conn.cursor()
            # 插入的sql语句
            # (%s, %s, %s) 对应相应的字段类型，%s表示字符串类型
            insert_sql = 'insert into 数据库表名 (字段1, 字段2, 字段3, ...) values (%s, %s, %s)'
            # execute()的第二个参数是一个元祖，里面的每一个元素对应sql语句中的字段值
            cursor.execute(insert_sql, (item['category'], item['name'], item['date']))
            self.conn.commit()  # 提交事务
        except:
            self.conn.rollback()  # 出现异常，执行回滚操作
        finally:
            if cursor:
                cursor.close()

        return item  # 把数据传递给下一个管道

    def close_spider(self, spider):
        print('爬虫结束了...')
        if self.conn:
            self.conn.close()


# 自定义一个管道程序
# 记得在settings文件中配置，否则不生效
class OtherPipeline:
    def process_item(self, item, spider):
        # 比如这里给传递过来的数据添加一个新的字段
        # 此时传递过来的item不再是字典，而是GameItem类对象
        # 由于GameItem类里没有定义字段new_field，所以不能使用，否则报错
        # item['new_field'] = 'hello'
        return item

结尾

关于scrapy的基本使用，好像还有中间件这个内容，但是我看的那个视频教程这个部分好像漏掉了，反正就是没有笔记，需要了解的自行百度一下吧，或者看官方文档也行。

本人也是初学者，所以文章中有什么错误的地方，欢迎指正。

有一个对应的综合练习：scrapy框架爬取图片

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1494755.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

网络编程作业day6

网络编程作业day6

数据库操作的增、删、改完成 #include <myhead.h>//查询的回调函数 int callback(void* data,int count,char** argv, char** columnName) {//count是字段数//argv是字段内容//columnName是字段名称for(int i0;i<count;i) {printf("%s%s\n", columnName[…
阅读更多...
C++ 创建链表并输出

C++ 创建链表并输出

目录 代码实现 输出结果 代码实现 #include <stdio.h> #include <stdlib.h> //#include <cstdio> //#include <vector> #include<iostream> #include<cstdlib> using namespace std;//定义一个结构体 ListNode的结构 struct ListNode…
阅读更多...
CCF CSP 202006-4 1246 （100分详细题解，矩阵乘法+快速幂）

CCF CSP 202006-4 1246 （100分详细题解，矩阵乘法+快速幂）

202006-4 1246 &#xff08;100分详细题解&#xff0c;矩阵乘法快速幂&#xff09; 可以先看下csp官方的思路讲解&#xff0c;大思路是状态转移&#xff0c;先看下面s<2的情况 1 -> 2 2 -> 4 4 -> 16 6 -> 6 64 4 16 -> 26&#xff08;不考虑2&#xff0c;6…
阅读更多...
微服务自动化管理初步认识与使用

微服务自动化管理初步认识与使用

目录 一、ETCD 1.1、ETCD简介 对于实施工程师&#xff1a; 1.2、特点 1.3. 使用场景 1.4、 关键字 1.5 工作原理 二、ETCD的安装 2.1、下载路径 2.2、介绍 2.3、具体操作 安装服务端 安装etcd客户端 测试 三、ETCD使用 3.1、前奏具体操作 3.2、 常用操作 一、ET…
阅读更多...
Java开发进大厂面试必备技能，面试初级java工程师问题

Java开发进大厂面试必备技能，面试初级java工程师问题

前言 今天的分享主要是讲下这个 redis&#xff0c;什么是缓存雪崩、穿透和击穿。这三个技术问题是我们平时开发工作中和面试过程中&#xff0c;必须要会的知识点&#xff0c;因为目前的互联网系统没有几个不需要用到缓存的&#xff0c;只要用到缓存的话&#xff0c;就需要掌握…
阅读更多...
【OJ】日期差值与日期累加

【OJ】日期差值与日期累加

个人主页 &#xff1a; zxctscl 如有转载请先通知 文章目录 1. KY111 日期差值1.1 题目分析1.2 代码 2. KY258 日期累加2.1 题目分析2.2 代码 1. KY111 日期差值 1.1 题目分析 日期之间比较可能会出现给的两个年月日都不相同&#xff0c;这个就不好作差&#xff0c;每个月给的…
阅读更多...
Apache POI 解析和处理Excel

Apache POI 解析和处理Excel

摘要&#xff1a;由于开发需要批量导入Excel中的数据&#xff0c;使用了Apache POI库&#xff0c;记录下使用过程 1. 背景 Java 中操作 Excel 文件的库常用的有Apache POI 和阿里巴巴的 EasyExcel 。Apache POI 是一个功能比较全面的 Java 库&#xff0c;适合处理复杂的 Offi…
阅读更多...
Stable Diffusion V3测评

Stable Diffusion V3测评

1.引言 3月5号&#xff0c;Stability AI发布了介绍Stable Diffusion V3的研究论文&#xff0c;链接地址&#xff1a;戳我 这是目前他们发布的最先进、功能最强大的图像生成器&#xff0c;与一年多前发布的令人印象深刻的 Stable Diffusion V2.1 相比有了大幅升级。SD3所带来的…
阅读更多...
redis进阶(一)

redis进阶(一)

文章目录 前言一、Redis中的对象的结构体如下&#xff1a;二、压缩链表三、跳跃表 前言 Redis是一种key/value型数据库&#xff0c;其中&#xff0c;每个key和value都是使用对象表示的。 一、Redis中的对象的结构体如下&#xff1a; /** Redis 对象*/ typedef struct redisO…
阅读更多...
软考65-上午题-【面向对象技术】-面向对象分析、设计、测试

软考65-上午题-【面向对象技术】-面向对象分析、设计、测试

一、面向对象分析OOA 1-1、面向对象分析的定义 面向对象分析的目的&#xff1a;为了获得对应用问题的理解。理解的目的是确定系统的功能、性能要求。 面向对象分析包含5个活动&#xff1a;&#xff08;背&#xff01;&#xff09; 认定对象&#xff1b;&#xff08;重要一点…
阅读更多...
爆肝！Claude3与ChatGPT-4到底谁厉害，看完你就知道了！

爆肝！Claude3与ChatGPT-4到底谁厉害，看完你就知道了！

前言&#xff1a; 相信大家在pyq都被这张图片刷屏了把~ 昨天&#xff0c;为大家介绍了一下什么是Claude&#xff0c;今天咱终于弄到号了&#xff08;再被ban了3个号之后终于是成功的登上去了&#xff0c;如果各位看官觉得咱文章写的不错&#xff0c;麻烦点个小小的关注~你们的…
阅读更多...
android开发基础有哪些，985研究生入职电网6个月

android开发基础有哪些，985研究生入职电网6个月

不好意思久等了 这篇文章让小伙伴们久等了。 一年多以来&#xff0c;关于嵌入式开发学习路线、规划、看什么书等问题&#xff0c;被问得没有一百&#xff0c;也有大几十次了。但是无奈自己对这方面了解有限&#xff0c;所以每次都没法交代&#xff0c;搞得实在不好意思。 但…
阅读更多...
Linux conntrack和iptables技术解析

Linux conntrack和iptables技术解析

Linux虚拟文件系统管理技术 1. netfilter解析1.1 netfilter的基础原理1.2 netfilter的相关hook 2. conntrack解析2.1 conntrack的基础原理2.2 conntrack的表记录解析 3. iptables解析3.1 iptables基础原理3.2 融合conntrack表的iptables规则 4. 疑问和思考4.1 conntrack和iptab…
阅读更多...
【vue3之组合式API】

【vue3之组合式API】

组合式API 一、setup1.写法2.如何访问3.语法糖4.同步返回对象 二、reactive()和ref()1.reactive()2.ref() 三、computed四、watch函数1侦听单个数据2.侦听多个数据3. immediate4. deep5.精确侦听对象的某个属性 五、生命周期函数六、组件通信1.父传子2. 子传父 七、模版引用1. …
阅读更多...
【C++精简版回顾】20.模板的使用

【C++精简版回顾】20.模板的使用

1.模板起源 1.模板的定义 1.针对函数属性模板 //针对函数属性 template <class VOID > VOID print1(int a) {cout << a << endl; } 2.针对数据属性模板 //针对数据属性 template <typename INT,typename FLOAT> void print2(INT a,FLOAT b) {cout <…
阅读更多...
网工内推 | 华为成都研究所，24届应届生人才储备计划

网工内推 | 华为成都研究所，24届应届生人才储备计划

华为成都研究所 招聘岗位 网络工程师&#xff08;2024应届&#xff09; 岗位要求 24届的学员 本科公办院校 英语4/6级 有HCIP优先 工作地点 成都 私信小编&#xff0c;回复【内推】&#xff0c;获取内推名额申请资格~ 想获取更多『 思科 | 华为 | 红帽 认证真题 』、『 网…
阅读更多...
正向代理和反向代理区别

正向代理和反向代理区别

正向代理和反向代理的区别&#xff1a; 特点正向代理反向代理位置位于客户端和目标服务器之间位于目标服务器和客户端之间代理对象代理服务器代表客户端发送请求到目标服务器代理服务器代表目标服务器接收客户端的请求配置客户端需要手动配置代理服务器客户端不需要知道代理服…
阅读更多...
Redis(5.0)

Redis(5.0)

1、什么是Redis Redis是一种开源的、基于内存、支持持久化的高性能Key-Value的NoSQL数据库&#xff0c;它同时也提供了多种数据结构来满足不同场景下的数据存储需求。 2、安装Redis&#xff08;Linux&#xff09; 2.1、去官网&#xff08;http://www.redis.cn/&#xff09;下…
阅读更多...
7、Redis-事务、持久化、内存淘汰机制和过期key处理

7、Redis-事务、持久化、内存淘汰机制和过期key处理

目录 一、事务 二、持久化 三、内存淘汰机制 四、过期key处理 一、事务 Redis的事务本质上就是一个批量执行命令的操作。分为三个步骤&#xff1a; 开始事务&#xff1a;multi命令入队&#xff1a;正常输入命令即可执行事务&#xff08;依次执行命令&#xff09;&#xf…
阅读更多...
最近开发中遇到的一些问题

最近开发中遇到的一些问题

puppeteer下载失败问题 使用的淘宝镜像&#xff0c;但执行命令npm i puppeteer之后&#xff0c;报错&#xff1a; npm ERR! code 1 npm ERR! path E:\项目-临时\test_install_puppeteer\node_modules\puppeteer npm ERR! command failed npm ERR! command C:\WINDOWS\system3…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023