Redis从零上手

news2024/12/23 17:17:25

文章目录

  • NoSQL概述
    • 互联网发展史
      • 单机MySQL的年代(90年代)
      • 缓存时代: Memcached + MySQL + 垂直拆分(读写分离)
      • 分库分表 + 水平拆分(MySQL集群)
      • 如今最近的年代
    • 为什么要用NoSQL
    • 什么是NoSQL
    • NoSQL特点
    • 阿里巴巴演进分析
      • 阿里巴巴中文站架构发展历程
      • 简单分析
    • NoSQL的四大分类
      • KV键值对
      • 文档型数据库(bson格式和json一样)
      • 列存储数据库
      • 图关系数据库
  • Redis入门
    • 概述
      • Redis是什么?
      • Redis能干嘛?
      • Redis三大核心作用
      • Redis特性
      • 学习中需要用到的东西
      • 为什么redis默认端口号是6379
      • Redis是单线程的!
      • Redis为什么单线程还这么快?
    • 安装
      • Windows安装
      • Linux安装
    • 测试性能
    • Redis-Key
      • 切换数据库 `select`、查看db大小 `dbsize`
      • 查看所有Key `keys *`
      • 清空当前数据库 `flushdb`
      • 清空所有数据库 `flushall`
      • 判断某个Key是否存在 `EXISTS`
      • 移除某一个Key `move`
      • 设置过期时间 `EXPIRE`
      • 判断当前key的类型 `TYPE`
      • 清屏
    • 五大数据类型
      • 字符串(Strings)
      • 列表(Lists)
      • 集合(Sets)
      • 散列(Hashes)
      • 有序集合(Zset)
    • 三种特殊数据类型
      • 地理空间(geospatial)
      • hyperloglog
      • bitmaps
    • Redis的事务
    • Redis实现乐观锁
    • redis.conf详解
    • Redis持久化
      • RDB(Redis DataBase)默认模式
        • 保存rdb文件的触发机制
        • 如何恢复rdb文件
        • 优点和缺点
      • AOF(Append Only File)默认不开启
        • 优点和缺点
        • 重写
    • RDB和AOF的扩展
    • Redis发布订阅
      • Redis 发布订阅命令
      • 示例
      • 原理
      • 使用场景
    • Redis主从复制
      • 概念
      • 主从复制的作用
      • 环境配置
      • 细节
      • 复制原理
      • 引深 - 层层链路模型
    • 哨兵模式(自动选举老大的模式)
      • 概述
      • 原理
      • 作用
      • 多哨兵模式
      • 演示
      • 优缺点
      • 哨兵模式的全部配置
    • Redis缓存穿透和雪崩(面试高频,工作常用~)
      • 缓存穿透(查不到)
        • 概念
        • 解决方案1 - 布隆过滤器
        • 解决方案2 - 缓存空对象
      • 缓存击穿(量太大,缓存过期)
        • 概念
        • 解决方案1 - 设置热点数据永不过期
        • 解决方案2 - 加互斥锁
      • 缓存雪崩
        • 概念
        • 解决方案1 - redis高可用
        • 解决方案2 - 限流降级
        • 解决方案3 - 数据预热
  • Jedis
    • 什么是Jedis
      • 配置MVN
      • 简单使用
      • 事务简单使用

NoSQL概述

互联网发展史

单机MySQL的年代(90年代)

在这里插入图片描述

一个基本的网站访问量一般不会太大,单个数据库完全足够!那个时候更多的是使用静态网站(HTML),服务器根本没有太大压力。

思考一下,这种情况下:整个网站的瓶颈是什么?

  1. 数据量如果太大,一个机器放不下了。
  2. 单表的数据超过300万就一定要建立索引了,mysql的索引用的是(B+Tree),一个机器内存也放不下。
  3. 如果数据库的访问量太大(读写混合),一个服务器承受不了。

只要你开始出现以上的三种情况之一,那么你就必须要晋级!

缓存时代: Memcached + MySQL + 垂直拆分(读写分离)

网站80%的情况都是在读,每次都要去查询数据库的话就十分的麻烦!所以说我们希望减轻数据的压力,我们可以使用缓存来保证效率!

缓存主要解决读的问题!

发展过程:优化数据结构和索引 --> 文件缓存(IO) --> Memcached(当时最热门的技术)

在这里插入图片描述

分库分表 + 水平拆分(MySQL集群)

本质:解决数据库(读、写)

早些年MySQL数据库中使用MyISAM存储引擎:表锁,十分影响效率,高并发下会出现严重的锁问题。

后来转战到MySQL数据库的InnoDB存储引擎:行锁。

慢慢的就开始使用分库分表来解决写的压力!MySQL在那个年代推出了表分区,但是并没有很多公司使用该技术。

后来推出了MySQL的集群,很好的满足那个年代的所有需求。

在这里插入图片描述

如今最近的年代

2010-2020十年之间,世界已经发生了翻天覆地的变化;(定位,也是一种数据,音乐,热榜!)

MySQL等关系型数据库就不够用了!数据量很多,变化很快~!

MySQL有的使用它来存储一些比较大的文件、博客、图片!数据库表太大,效率就低了!

大数据的IO压力下,表结构几乎没法更改(增加列)。

在这里插入图片描述

为什么要用NoSQL

用户的个人信息,社交网络,地理位置。用户自己产生的数据,用户日志等等爆发式增长!

这时候我们就需要使用NoSQL数据库的,Nosql可以很好的处理以上的情况!

什么是NoSQL

  • NoSQL = Not Only SQL (不仅仅是SQL)

  • 关系型数据库:表格、行、列

  • 泛指非关系型数据库,随着Web2.0互联网的诞生!传统的关系型数据库很难对付Web2.0时代!尤其是超大规模的高并发的社区!暴露出来很多难以克服的问题。NoSQL在当今大数据环境下发展的十分迅速,Rdis是发展最快的,而且是我们当下必须要掌握的一个技术!

  • 很多的数据类型用户的个人信息,社交网络,地理位置。这些数据类型的存储不需要一个固定的格式!不需要多余的操作就可以横向扩展的!

NoSQL特点

解耦

  • 方便扩展(数据之间没有关系,很好扩展!)

  • 大数据量高性能(Redis一秒写8万次,读取11万,NoSQL的缓存记录级,是一种细粒度的缓存,性能会比较高!)

  • 数据类型是多样型的!(不需要事先设计数据库!随取随用!如果是数据量十分大的表,很多人就无法设计了!)

  • 传统RDBMS和NoSQL

    • 传统的RDBMS,即关系型数据库管理系统(Relational Database Management System)
       - 结构化组织
       - SQL
       - 数据和关系都存储在单独的表中
       - 操作,数据定义语言
       - 严格的一致性
       - 基础的事物
       - ...
      
    • NoSQL
       - 不仅仅是数据
       - 没有固定的查询语言
       - 键值对存储、列存储、文档存储、图形数据库(社交关系)
       - 最终一致性
       - CAP定理和BASE(异地多活)
       - 高性能、高可用、高可扩
       - ...
      
  • 3V+3高

    • 大数据时代的3V:主要是描述问题的
      • 海量Volume
      • 多样Variety
      • 实时Velocity
    • 大数据时代的3高:主要是对程序的要求
      • 高并发
      • 高可扩
      • 高性能
  • 真正在公司中的实践:NoSQL+RDBMS一起使用才是最强的

阿里巴巴演进分析

思考问题:这么多东西难道都是在一个数据库中的吗?

在这里插入图片描述

阿里巴巴中文站架构发展历程

在这里插入图片描述

简单分析

# 1、商品的基本信息 
	名称、价格、商家信息:
	关系型数据库就可以解决了!MySQL/Orac1e(淘宝早年就去IOE了!-王坚) 
	淘宝内部的MySQL不是大家用的MySQL

# 2、商品的描述、评论(文字比较多)
	文档型数据库中,MongoDB
	
# 3、图片
	分布式文件系统FastDFS 
	- 淘宝自己的 TFS 
	- Google的 GFS 
	- Hadoop HDFS 
	- 阿里云的 OSS

# 4、商品的关键字(搜索) 
	- 搜索引擎 solr elasticsearch 
	- ISerach: 多隆
	
# 5、商品热门的波段信息
	- 内存数据库
	- Redis Tair、Memcached....

# 6、商品的交易、外部的支付接口
	- 三方应用

NoSQL的四大分类

KV键值对

  • 新浪:Redis
  • 美团:Redis + Tair
  • 阿里、百度:Redis + Memcached

文档型数据库(bson格式和json一样)

  • MongoDB(一般必须要掌握)
    • MongoDB是一个基于分布式文件存储的数据库,C++编写,主要用来处理大量的文档!
    • MongoDB是一个介于关系型数据库和非关系型数据的中间产品!MongoDB是非关系型数据库中功能最丰富,最像关系型数据库的!
  • ConthDB

列存储数据库

  • HBase
  • 分布式文件系统

图关系数据库

  • 它不是存图形,放的是关系,比如:朋友圈社交网络,广告推荐!
  • Neo4j、InfoGrid

在这里插入图片描述

Redis入门

概述

Redis是什么?

  • Redis(Remote Dictionary Server),即远程字典服务!

  • 是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Velue数据库,并提供多种语言的API。

  • redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。

  • 免费和开源!是当下最热门的NoSQL技术之一!也被人们称之为结构化数据库!

Redis能干嘛?

  • 内存存储、持久化,内存中是断电即失、所以说持久化很重要(rdb、aof)

  • 效率高,可以用于高速缓存

  • 发布订阅系统

  • 地图信息分析

  • 计时器、计数器(浏览量!)

Redis三大核心作用

  • 可以用作数据库
  • 可以用作缓存
  • 可以用作消息中间件MQ

Redis特性

  • 多样的数据类型
  • 持久化
  • 集群
  • 事务

学习中需要用到的东西

  • 官网:https://redis.io/
  • 中文网:http://www.redis.cn

注意:Redis推荐都是在Linux服务器上搭建的,不推荐在Windows上学习,Windows版本的Redis停更很久了,所以我们是基于Linux学习!

为什么redis默认端口号是6379

因为6379是手机按键上MERZ对应的号码键,而MERZ取自意大利歌女Alessia Merz的名字(粉丝效应)。就像MySQL的3306是作者女儿的名字的九宫格打法一样。

Redis是单线程的!

明白Redis是很快的,官方表示,Redis是基于内存操作,CPU不是Redis性能瓶颈,Redis的瓶颈是根据机器的内存和网络带宽,既然可以使用单线程来实现,就使用单线程了!

Redis为什么单线程还这么快?

Redis是C语言写的,官方提供的数据为100000+的QPS,完全不比同样是使用key-value的Memcached差!

  1. 误区1:高性能的服务器一定是多线程的?
  2. 误区2:多线程(CPU上下文会切换!)一定比单线程效率高!

CPU>内存>硬盘的速度

核心:redis是将所有的数据全部放在内存中的,所以说使用单线程去操作效率就是最高的,多线程(CPU上下文会切换:耗时的操作!!!),对于内存系统来说,没有上下文切换效率就是最高的!多次读写都是在一个CPU上的,在内存情况下,这个就是最佳的方案!

安装

Windows安装

  • 下载安装包:https://github.com/dmajkic/redis

  • 下载完毕得到压缩包

  • 解压到自己电脑上的环境目录下的就可以的!Redis十分的小,只有5M

  • 开启Redis双击运行服务即可!

  • redis默认端口6379

  • 使用redis客户端来接redis

    # 测试连接redis是否成功,返回PONG
    $ ping
    # 设置KV
    $ set name kuangshen
    # 通过K获得V
    $ get name
    
  • 记住一句话,Window下使用确实简单,但是Redis推荐我们使用Linux去开发使用!

Linux安装

  • redis官方安装文档

  • 下载安装包:https://github.com/redis/redis

  • 解压Redis的安装包!

  • # 建议程序放在/opt目录下
    $ mkdir /opt/redis && cd /opt/redis
    # 下载Source压缩文件
    $ wget https://download.redis.io/redis-stable.tar.gz
    # 解压
    $ tar -zxvf redis-stable.tar.gz && cd redis-stable
    # 安装编译环境
    $ apt install -y gcc make
    # Compiling Redis
    $ make
    $ make install
    # 为了方便后期管理我们这里把redis配置文件放到/etc/redis目录下
    $ mkdir /etc/redis/ && mv redis.conf /etc/redis/
    
  • Redis的可执行二进制文件默认安装路径在/usr/local/bin

  • redis默认不是后台启动的,修改配置文件!

    # 如果是apt安装redis则配置文件在/etc/redis/redis.conf
    # 如果是编译安装redis则配置文件在Redis安装目录下/opt/redis/redis-stable/redis.conf
    daemonize yes
    
  • # 启动Redis服务
    $ redis-server
    $ redis-server /etc/redis/redis.conf
    
    # 连接Redis
    $ redis-cli -p 6379
    # 测试连接是否成功
    127.0.0.1:6379> ping
    # 设置KV
    127.0.0.1:6379> set name kuangshen
    # 根据K获取V
    127.0.0.1:6379> get name
    # 查看所有K
    127.0.0.1:6379> keys *
    
    # 关机
    127.0.0.1:6379> SHUTDOWN
    
  • 更多配置,请见redis.conf详解

测试性能

redis-benchmark是一个压力测试工具!

https://redis.io/docs/management/optimization/benchmarks/

官方自带的性能测试工具!

# 测试:100个并发连接 100000请求
$ redis-benchmark -h localhost -p 6379 -c 100 -n 100000

如何查看这些分析呢?

在这里插入图片描述

Redis-Key

http://www.redis.cn/commands.html

切换数据库 select、查看db大小 dbsize

redis默认有16个数据库,默认使用的是第0个,可以使用select进行切换数据库!

# 切换数据库
127.0.0.1:6379> select 3
OK
# 查看db大小
127.0.0.1:6379[3]> dbsize
(integer) 0
# 写入KV
127.0.0.1:6379[3]> set name kuangshen
OK
# 再次查看db大小
127.0.0.1:6379[3]> dbsize
(integer) 1

在这里插入图片描述

查看所有Key keys *

# 查看所有Key
127.0.0.1:6379[3]> keys *
1) "name"

清空当前数据库 flushdb

# 清空当前数据库
127.0.0.1:6379[3]> flushdb
OK
# 查看所有Key
127.0.0.1:6379[3]> keys *
(empty array)
# 查看db大小
127.0.0.1:6379[3]> dbsize
(integer) 0

清空所有数据库 flushall

127.0.0.1:6379[3]> select 0
OK
127.0.0.1:6379> keys *
1) "key:__rand_int__"
2) "name"
3) "myhash"
4) "mylist"
5) "counter:__rand_int__"
127.0.0.1:6379> select 3
OK
# 清空所有数据库
127.0.0.1:6379[3]> flushall
OK
127.0.0.1:6379[3]> select 0
OK
127.0.0.1:6379> keys *
(empty array)

判断某个Key是否存在 EXISTS

127.0.0.1:6379> set name kuangshen
OK
# 判断name这个Key是否存在
127.0.0.1:6379> EXISTS name
(integer) 1
# # 判断age这个Key是否存在
127.0.0.1:6379> EXISTS age
(integer) 0

移除某一个Key move

127.0.0.1:6379> set name kuangshen
OK
127.0.0.1:6379> keys *
1) "name"
# 把name这个Key从当前数据库中移除,1代表当前数据库
127.0.0.1:6379> move name 1
(integer) 1
127.0.0.1:6379> keys *
(empty array)

设置过期时间 EXPIRE

127.0.0.1:6379> set name kuangshen
OK
127.0.0.1:6379> get name
"kuangshen"
# 设置name这个key的过期时间为5秒
127.0.0.1:6379> EXPIRE name 5
(integer) 1
127.0.0.1:6379> ttl name
(integer) 4
127.0.0.1:6379> ttl name
(integer) 3
127.0.0.1:6379> ttl name
(integer) 2
127.0.0.1:6379> ttl name
(integer) 1
127.0.0.1:6379> ttl name
(integer) 0
127.0.0.1:6379> ttl name
(integer) -2
127.0.0.1:6379> get name
(nil)

判断当前key的类型 TYPE

127.0.0.1:6379> set name kuangshen
OK
# 判断name这个key的类型
127.0.0.1:6379> TYPE name
string

清屏

clear

五大数据类型

字符串(Strings)

# 设置值
127.0.0.1:6379> set key1 v1
OK
# 对象,这里的key是一个巧妙的设计 user:{id}:{fi1ed},如此设计在Reds中是完全oK!
127.0.0.1:6379> set user:1 {name:zhangsan,age:3}
OK
# 获取值
127.0.0.1:6379> get key1
"v1"
127.0.0.1:6379> get user:1
"{name:zhangsan,age:3}"
# 获取所有的key
127.0.0.1:6379> keys *
1) "key1"
2) "name"
# 判断某一个key是否存在
127.0.0.1:6379> EXISTS key1
(integer) 1
# 追加字符串,如果当前key不存在,就相当于set key
127.0.0.1:6379> APPEND key1 "hello"
(integer) 7
127.0.0.1:6379> get key1
"v1hello"
# 获取字符串的长度
127.0.0.1:6379> STRLEN key1
(integer) 7
127.0.0.1:6379> APPEND key1 ",kuangshen"
(integer) 17
127.0.0.1:6379> STRLEN key1
(integer) 17
127.0.0.1:6379> get key1
"v1hello,kuangshen"
127.0.0.1:6379>
# 初始浏览量为0
127.0.0.1:6379> set views 0
OK
127.0.0.1:6379> get views
"0"
# 自增1
127.0.0.1:6379> INCR views
(integer) 1
127.0.0.1:6379> INCR views
(integer) 2
127.0.0.1:6379> get views
"2"
# 自减1
127.0.0.1:6379> DECR views
(integer) 1
127.0.0.1:6379> DECR views
(integer) 0
127.0.0.1:6379> DECR views
(integer) -1
# 自增步长10
127.0.0.1:6379> INCRBY views 10
(integer) 9
127.0.0.1:6379> INCRBY views 10
(integer) 19
# 自减步长5
127.0.0.1:6379> DECRBY views 5
(integer) 14
127.0.0.1:6379> keys *
(empty array)
127.0.0.1:6379> set key1 "hello,kuangshen"
OK
127.0.0.1:6379> get key1
"hello,kuangshen"
# 获取存储在key上的值的一个子字符串[0, 3]
127.0.0.1:6379> GETRANGE key1 0 3
"hell"
# 获取全部的字符串 和get key是一样的
127.0.0.1:6379> GETRANGE key1 0 -1
"hello,kuangshen"
# 从指定的偏移量开始,覆盖键上的部分字符串
127.0.0.1:6379> SETRANGE key1 1 xx
(integer) 15
127.0.0.1:6379> get key1
"hxxlo,kuangshen"
127.0.0.1:6379>
# setex (set with expire) # 设置过期时间
# setnx (set if not exist) # 不存在再设置(在分布式锁中会常常使用)
127.0.0.1:6379> SETEX key3 10 "hello"
OK
127.0.0.1:6379> get key3
"hello"
127.0.0.1:6379> ttl key3
(integer) -2
127.0.0.1:6379> get key3
(nil)

127.0.0.1:6379> SETNX key3 "hello"
(integer) 1
127.0.0.1:6379> SETNX key3 "helloooo"
(integer) 0
127.0.0.1:6379> get key3
"hello"
# mset # 设置多个key value
# mget # 获得多个key的值
# msetnx # 不存在再设置,原子性操作(要么完整地执行完成,要么完全地不执行)
127.0.0.1:6379> mset k1 v1 k2 v2 k3 v3
OK
127.0.0.1:6379> keys *
1) "k2"
2) "k3"
3) "k1"
127.0.0.1:6379> mget k1 k2 k3
1) "v1"
2) "v2"
3) "v3"
127.0.0.1:6379> msetnx k1 v1 k4 v4
(integer) 0
# getset # 先get再set
127.0.0.1:6379> getset db redis # 如果不存在值,则返回nil
(nil)
127.0.0.1:6379> get db
"redis"
127.0.0.1:6379> getset db "mongodb"  # 如果存在值,获取原来的值,并设置新的值
"redis"
127.0.0.1:6379> get db
"mongodb"

String类似的使用场景:value除了是我们的字符串还可以是我们的数字!

  • 计数器
  • 统计多单位的数量
  • 粉丝数
  • 对象缓存存储!

列表(Lists)

  • 基本的数据类型,列表
  • 在redis里面,我们可以把Iist玩成:栈、队列、阻塞队列!
  • 所有的list命令都是用l开头的
# 将一个值或者多个值,插入到列表头部(左)
127.0.0.1:6379> LPUSH list one 
(integer) 1
127.0.0.1:6379> LPUSH list two
(integer) 2
127.0.0.1:6379> LPUSH list three
(integer) 3
127.0.0.1:6379> LRANGE list 0 -1  # 获取list中值!
1) "three"
2) "two"
3) "one"
127.0.0.1:6379> LRANGE list 0 1   # 通过区间获取具体的值!
1) "three"
2) "two"
# 将一个值或者多个值,插入到列表尾部(右)
127.0.0.1:6379> RPUSH list four
(integer) 4
127.0.0.1:6379> LRANGE list 0 -1
1) "three"
2) "two"
3) "one"
4) "four"
# LPOP
# RPOP

127.0.0.1:6379> LRANGE list 0 -1 
1) "three"
2) "two"
3) "one"
4) "four"
127.0.0.1:6379> LPOP list
"three"
127.0.0.1:6379> RPOP list
"four"
127.0.0.1:6379> LRANGE list 0 -1
1) "two"
2) "one"
# Lindex # 通过下标获得list中的某一个值!
127.0.0.1:6379> LINDEX list 1
"one"
127.0.0.1:6379> LINDEX list 0
"two"
# llen # 返回列表的长度
127.0.0.1:6379> LLEN list
(integer) 2
# LREM # 移除指定的值
127.0.0.1:6379> LRANGE list 0 -1
1) "three"
2) "three"
3) "two"
4) "one"
127.0.0.1:6379> LREM list 1 one     # 移除list集合中指定个数的value,精确匹配
(integer) 1
127.0.0.1:6379> LRANGE list 0 -1
1) "three"
2) "three"
3) "two"
127.0.0.1:6379> LREM list 1 three
(integer) 1
127.0.0.1:6379> LRANGE list 0 -1
1) "three"
2) "two"
127.0.0.1:6379> LPUSH list three
(integer) 3
127.0.0.1:6379> LRANGE list 0 -1
1) "three"
2) "three"
3) "two"
127.0.0.1:6379> LREM list 2 three
(integer) 2
127.0.0.1:6379> LRANGE list 0 -1
1) "two"
# LTRIM # 修剪,list截取
127.0.0.1:6379> keys *
(empty array)
127.0.0.1:6379> RPUSH list "hello"
(integer) 1
127.0.0.1:6379> RPUSH list "hello1"
(integer) 2
127.0.0.1:6379> RPUSH list "hello2"
(integer) 3
127.0.0.1:6379> RPUSH list "hello3"
(integer) 4
127.0.0.1:6379> LTRIM list 1 2      # 通过下标截取指定的长度
OK
127.0.0.1:6379> LRANGE list 0 -1
1) "hello1"
2) "hello2"
# rpoplpush # 移除列表的最后一个元素,并将它移动到新list中!
127.0.0.1:6379> rpush mylist "hello"
(integer) 1
127.0.0.1:6379> rpush mylist "hello1"
(integer) 2
127.0.0.1:6379> rpush mylist "hello2"
(integer) 3
127.0.0.1:6379> RPOPLPUSH mylist myotherlist
"hello2"
127.0.0.1:6379> LRANGE mylist 0 -1
1) "hello"
2) "hello1"
127.0.0.1:6379> LRANGE myotherlist 0 -1
1) "hello2"
# LSET # 将列表中指定下标的值替换为另外一个值,更新操作
127.0.0.1:6379> EXISTS list
(integer) 0
127.0.0.1:6379> LSET list 0 item  # 如果不存在列表我们去更新就会报错
(error) ERR no such key
127.0.0.1:6379> LPUSH list value1
(integer) 1
127.0.0.1:6379> LRANGE list 0 0
1) "value1"
127.0.0.1:6379> LSET list 0 item  # 如果存在,更新当前下标的值
OK
127.0.0.1:6379> LRANGE list 0 0
1) "item"
127.0.0.1:6379> LSET list 1 other
(error) ERR index out of range
127.0.0.1:6379>
# linsert # 将某个具体的value插入到列把你中某个元素的前面或者后面!
127.0.0.1:6379> RPUSH mylist "hello"
(integer) 1
127.0.0.1:6379> RPUSH mylist "world"
(integer) 2
127.0.0.1:6379> LINSERT mylist before "world" "other"
(integer) 3
127.0.0.1:6379> LRANGE mylist 0 -1
1) "hello"
2) "other"
3) "world"
127.0.0.1:6379> LINSERT mylist after world new
(integer) 4
127.0.0.1:6379> LRANGE mylist 0 -1
1) "hello"
2) "other"
3) "world"
4) "new"

总结:

  • list实际上是一个链表,before Node after , left ,right 都可以插入值
  • 如果key不存在,创建新的链表
  • 如果key存在,新增内容
  • 如果移除了所有值,空链表,也代表不存在!
  • 在两边插入或者改动值,效率最高!中间元素,相对来说效率会低一点~
  • 消息队列(Lpush Rpop)、栈(Lpush Lpop)

集合(Sets)

  • set中的值是不能重复的
  • 所有的set命令都是用s开头的
127.0.0.1:6379> sadd myset "hello"      # set集合中添加元素
(integer) 1
127.0.0.1:6379> sadd myset "kuangshen"  
(integer) 1
127.0.0.1:6379> sadd myset "lovekuangshen"
(integer) 1
127.0.0.1:6379> SMEMBERS myset          # 查看指定set的所有值
1) "kuangshen"
2) "lovekuangshen"
3) "hello"
127.0.0.1:6379> SISMEMBER myset hello   # 判断某一个值是不是在set集合中
(integer) 1
127.0.0.1:6379> SISMEMBER myset world
(integer) 0
127.0.0.1:6379> SCARD myset								# 获取set集合中的内容元素个数
(integer) 3
127.0.0.1:6379> sadd myset "lovekuangshen"
(integer) 0
127.0.0.1:6379> sadd myset "lovekuangshen2"
(integer) 1
127.0.0.1:6379> SCARD myset
(integer) 4
127.0.0.1:6379> SREM myset hello					# 移除set集合中的指定元素
(integer) 1
127.0.0.1:6379> SCARD myset
(integer) 3
127.0.0.1:6379> SMEMBERS myset
1) "kuangshen"
2) "lovekuangshen2"
3) "lovekuangshen"
127.0.0.1:6379> SRANDMEMBER myset					# 随机抽选出一个元素
"kuangshen"
127.0.0.1:6379> SRANDMEMBER myset
"lovekuangshen2"
127.0.0.1:6379> SRANDMEMBER myset 2				# 随机抽选出指定个数的元素
1) "kuangshen"
2) "lovekuangshen2"
127.0.0.1:6379> SMEMBERS myset
1) "kuangshen"
2) "lovekuangshen2"
3) "lovekuangshen"
127.0.0.1:6379> SPOP myset								# 随机移除元素
"lovekuangshen"
127.0.0.1:6379> sadd myset "hello"
(integer) 1
127.0.0.1:6379> sadd myset "world"
(integer) 1
127.0.0.1:6379> sadd myset "kuangshen"
(integer) 1
127.0.0.1:6379> sadd myset2 "set2"
(integer) 1
127.0.0.1:6379> SMOVE myset myset2 "kuangshen"	# 将一个指定的值,移动到另外一个set集合!
(integer) 1
127.0.0.1:6379> SMEMBERS myset
1) "world"
2) "hello"
127.0.0.1:6379> SMEMBERS myset2
1) "kuangshen"
2) "set2"
127.0.0.1:6379> sadd key1 a
(integer) 1
127.0.0.1:6379> sadd key1 b
(integer) 1
127.0.0.1:6379> sadd key1 c
(integer) 1
127.0.0.1:6379> sadd key2 c
(integer) 1
127.0.0.1:6379> sadd key2 d
(integer) 1
127.0.0.1:6379> sadd key2 e
(integer) 1
127.0.0.1:6379> SDIFF key1 key2			# 差集
1) "a"
2) "b"
127.0.0.1:6379> SINTER key1 key2		# 交集 共同好友就可以这样实现
1) "c"
127.0.0.1:6379> SUNION key1 key2		# 并集
1) "a"
2) "c"
3) "b"
4) "d"
5) "e"

散列(Hashes)

  • 即哈希,想象成Map集合,key-Map集合!这个值是一个map集合!本质和String类型没有太大区别,还是一个简单的key-value!
  • 所有的hash命令都是用h开头的
127.0.0.1:6379> HSET myhash field1 kuangshen	# set一个具体的key-value
(integer) 1
127.0.0.1:6379> HGET myhash field1	# 获取一个字段值
"kuangshen"
127.0.0.1:6379> HMSET myhash field1 hello field2 world # set多个key-value
OK
127.0.0.1:6379> HMGET myhash field1 field2 # 获取多个字段值
1) "hello"
2) "world"
127.0.0.1:6379> HGETALL myhash	# 获取全部的数据
1) "field1"
2) "hello"
3) "field2"
4) "world"
127.0.0.1:6379> HDEL myhash field1	# 删除hash指定的key字段,对应的value也就消失了
(integer) 1
127.0.0.1:6379> HGETALL myhash
1) "field2"
2) "world"
127.0.0.1:6379> HLEN myhash		# 获取hash表的字段数量
(integer) 1
127.0.0.1:6379> HMSET myhash field1 hello field2 world
OK
127.0.0.1:6379> HGETALL myhash
1) "field2"
2) "world"
3) "field1"
4) "hello"
127.0.0.1:6379> HLEN myhash
(integer) 2
127.0.0.1:6379> HEXISTS myhash field1 # 判断hash中指定字段是否存在!
(integer) 1
127.0.0.1:6379> HEXISTS myhash field3
(integer) 0
127.0.0.1:6379> HKEYS myhash		# 获取所有的key
1) "field2"
2) "field1"
127.0.0.1:6379> HVALS myhash		# 获取所有的value
1) "world"
2) "hello"
127.0.0.1:6379> HSET myhash field3 5
(integer) 1
127.0.0.1:6379> HINCRBY myhash field3 1	# 指定增量
(integer) 6
127.0.0.1:6379> HINCRBY myhash field3 -1
(integer) 5
127.0.0.1:6379> HSETNX myhash field4 hello # 如果不存在则可以设置
(integer) 1
127.0.0.1:6379> HSETNX myhash field4 world	# 如果存在则不可以设置
(integer) 0
# 这里的key是一个巧妙的设计,hash变更的数据user name age,尤其是是用户信息之类的,经常变动的信息!hash更适合于对象的存储,String。更加适合字符串存储!
127.0.0.1:6379> HSET user:1 name zhangsan
(integer) 1
127.0.0.1:6379> HGET user:1 name
"zhangsan"

有序集合(Zset)

  • 在set的基础上,增加了一个值
  • 所有的Zset命令都是用z开头的
127.0.0.1:6379> ZADD myzset 1 one	# 添加一个值
(integer) 1
127.0.0.1:6379> ZADD myzset 2 two
(integer) 1
127.0.0.1:6379> ZADD myzset 3 three 4 four # 添加多个值
(integer) 2
127.0.0.1:6379> ZRANGE myzset 0 -1
1) "one"
2) "two"
3) "three"
4) "four"
127.0.0.1:6379> zadd salary 2500 xiaohong	# 添加用户
(integer) 1
127.0.0.1:6379> zadd salary 5000 zhangsan
(integer) 1
127.0.0.1:6379> zadd salary 500 kuangshen
(integer) 1
127.0.0.1:6379> ZRANGEBYSCORE salary -inf +inf	# 显示全部用户,从小到大排序
1) "kuangshen"
2) "xiaohong"
3) "zhangsan"
127.0.0.1:6379> ZRANGEBYSCORE salary -inf +inf withscores	# 显示全部用户并附带成绩
1) "kuangshen"
2) "500"
3) "xiaohong"
4) "2500"
5) "zhangsan"
6) "5000"
127.0.0.1:6379> ZRANGEBYSCORE salary -inf 2500 withscores # 显示工资小于2500员工的升序排序!
1) "kuangshen"
2) "500"
3) "xiaohong"
4) "2500"
127.0.0.1:6379> ZREVRANGE salary 0 -1	# 从大到小进行排序
1) "zhangsan"
2) "kuangshen"
127.0.0.1:6379> ZRANGE salary 0 -1
1) "kuangshen"
2) "xiaohong"
3) "zhangsan"
127.0.0.1:6379> ZREM salary  xiaohong	# 移除有序集合中指定的元素
(integer) 1
127.0.0.1:6379> ZRANGE salary 0 -1
1) "kuangshen"
2) "zhangsan"
127.0.0.1:6379> ZCARD salary	# 获取有序集合中的个数
(integer) 2
127.0.0.1:6379> ZADD myset 1 hello
(integer) 1
127.0.0.1:6379> ZADD myset 2 world 3 zhangsan
(integer) 2
127.0.0.1:6379> ZCOUNT myset 1 3	# 获取指定区间的成员数量
(integer) 3
127.0.0.1:6379> ZCOUNT myset 1 2
(integer) 2

三种特殊数据类型

地理空间(geospatial)

  • 在Redis3.2版本就推出了!这个功能可以推算地理位置的信息,两地之间的距离,方圆几里的人!
  • 所有的Geo命令都是用geo开头的
  • https://www.redis.net.cn/order/3685.html
# GEOADD # 添加地理位置,两极无法直接添加,我们一般会下载城市数据,直接通过编程代码一次性倒入
# 参数key 值 (经度、纬度、名称)
# 有效的经度从-180度到180度
# 有效的纬度从-85.05112878度到85.05112878度
127.0.0.1:6379> GEOADD china:city 116.40 39.90 beijing
(integer) 1
127.0.0.1:6379> GEOADD china:city 121.47 31.23 shanghai
(integer) 1
127.0.0.1:6379> GEOADD china:city 106.50 29.53 chongqing 114.05 22.52 shenzhen
(integer) 2
127.0.0.1:6379> GEOADD china:city 120.16 30.24 hangzhou 108.96 34.26 xian
(integer) 2
# 获取指定的城市的经度和纬度:一定是一个坐标值
127.0.0.1:6379> GEOPOS china:city beijing chongqing
1) 1) "116.39999896287918091"
   2) "39.90000009167092543"
2) 1) "106.49999767541885376"
   2) "29.52999957900659211"
# 返回两个给定位置之间的直线距离
127.0.0.1:6379> GEODIST china:city beijing shanghai km
"1067.3788"
127.0.0.1:6379> GEODIST china:city beijing chongqing km
"1464.0708"
# 以给定的经纬度为中心,找出某一半径内的元素
127.0.0.1:6379> GEORADIUS china:city 110 30 1000 km
1) "chongqing"
2) "xian"
3) "shenzhen"
4) "hangzhou"
127.0.0.1:6379> GEORADIUS china:city 110 30 500 km
1) "chongqing"
2) "xian"
127.0.0.1:6379> GEORADIUS china:city 110 30 500 km withdist
1) 1) "chongqing"
   2) "341.9374"
2) 1) "xian"
   2) "483.8340"
127.0.0.1:6379> GEORADIUS china:city 110 30 500 km withcoord
1) 1) "chongqing"
   2) 1) "106.49999767541885376"
      2) "29.52999957900659211"
2) 1) "xian"
   2) 1) "108.96000176668167114"
      2) "34.25999964418929977"
127.0.0.1:6379> GEORADIUS china:city 110 30 500 km withdist withcoord count 1
1) 1) "chongqing"
   2) "341.9374"
   3) 1) "106.49999767541885376"
      2) "29.52999957900659211"
# 找出位于指定范围内的元素,中心点是由给定的位置元素决定
127.0.0.1:6379> GEORADIUSBYMEMBER china:city beijing 1000 km
1) "beijing"
2) "xian"
127.0.0.1:6379> GEORADIUSBYMEMBER china:city shanghai 400 km
1) "hangzhou"
2) "shanghai"
# 返回一个或多个位置元素的Geohash表示,该命令返回11个字符的Geohash字符串
127.0.0.1:6379> GEOHASH china:city beijing chongqing
1) "wx4fbxxfke0"
2) "wm5xzrybty0"

GEO底层的实现原理其实就是Zset!我们可以使用Zset命令来操作GEO!

127.0.0.1:6379> ZRANGE china:city 0 -1	# 查看地图中全部的元素
1) "chongqing"
2) "xian"
3) "shenzhen"
4) "hangzhou"
5) "shanghai"
6) "beijing"
127.0.0.1:6379> ZREM china:city beijing	# 移除指定元素
(integer) 1
127.0.0.1:6379> ZRANGE china:city 0 -1
1) "chongqing"
2) "xian"
3) "shenzhen"
4) "hangzhou"
5) "shanghai"

hyperloglog

  • 什么是基数?即不重复的元素

A {1,3,5,7,8,7}

B {1,3,5,7,8}

基数(不重复的元素)= 5(个)

  • Redis2.8.9版本就更新了Hyperloglog数据结构!
  • Redis Hyperloglog基数统计的算法!
  • 网页的UV(一个人访问一个网站多次,但是还是算作一个人!)
    • 传统的方式,set保存用户的id,然后就可以统计set中的元素数量作为标准判断!这个方式如果保存大量的用户id,就会比较麻烦!我们的目的是为了计数,而不是保存用户id;
    • Redis Hyperloglog优点:占用的内存是固定, 2 64 2^{64} 264不同的元素的计数,只需要废12KB内存!如果要从内存角度来比较的话Hyperloglog首选!
  • 官方说Hyperloglog大概有0.81%错误率!所以例如统计UV任务,可以接受这种错误率则一定要使用Hyperloglog
  • 如果不允许容错,就使用set或者自己的数据类型即可!
127.0.0.1:6379> PFADD mykey a b c d e f g h i j	# 创建第一组元素
(integer) 1
127.0.0.1:6379> PFCOUNT mykey	# 统计mykey元素的基数数量
(integer) 10
127.0.0.1:6379> PFADD mykey2 i j z x c v b n m	# 创建第二组元素
(integer) 1
127.0.0.1:6379> PFCOUNT mykey2 # 统计mykey2元素的基数数量
(integer) 9
127.0.0.1:6379> PFMERGE mykey3 mykey mykey2 # 合并mykey、mykey2到mykey3
OK
127.0.0.1:6379> PFCOUNT mykey3	# 查看并集的数量
(integer) 15

bitmaps

  • 位存储
  • 统计用户信息:活跃、不活跃!登陆、未登陆!
  • 只有两个状态的都可以使用bitmaps
  • bitmaps位图,数据结构!都是操作二进制位来进行记录,就只有0和1两个状态!
# 使用bitmaps记录周一到周日的打卡!
# 周一:1 周二:0 周三:0 周四:1 周五:1 周六:0 周日:0
127.0.0.1:6379> FLUSHALL
OK
127.0.0.1:6379> clear
127.0.0.1:6379> SETBIT sign 0 1
(integer) 0
127.0.0.1:6379> SETBIT sign 1 0
(integer) 0
127.0.0.1:6379> SETBIT sign 2 0
(integer) 0
127.0.0.1:6379> SETBIT sign 3 1
(integer) 0
127.0.0.1:6379> SETBIT sign 4 1
(integer) 0
127.0.0.1:6379> SETBIT sign 5 0
(integer) 0
127.0.0.1:6379> SETBIT sign 6 0
(integer) 0

# 查看某一天是否有打卡
127.0.0.1:6379> GETBIT sign 3
(integer) 1
127.0.0.1:6379> GETBIT sign 6
(integer) 0

# 统计打卡天数
127.0.0.1:6379> BITCOUNT sign
(integer) 3

Redis的事务

  • MySQL:ACID
  • 原子性:要么同时成功,要么同时失败
  • Redis:单条命令是保持原子性的,但是事务是不保证原子性。
  • Redis事务本质:一组命令的集合!一个事务中的所有命令都会被序列化,在事务执行过程的中,会按照顺序执行!是一次性、顺序性、排他性!执行一些列的命令!
  • Redis事务没有没有隔离级别的慨念!
  • 所有的命令在事务中,并没有直接被执行!只有发起执行命令的时候才会执行!Exec
  • redis的事务:
    • 开启事务(multi)
    • 命令入队(…)
    • 执行事务(exec)
127.0.0.1:6379> multi		# 开启事务
OK
# 命令入队
127.0.0.1:6379(TX)> set k1 v1
QUEUED
127.0.0.1:6379(TX)> set k2 v2
QUEUED
127.0.0.1:6379(TX)> get k2
QUEUED
127.0.0.1:6379(TX)> set k3 v3
QUEUED
127.0.0.1:6379(TX)> exec	# 执行事务
1) OK
2) OK
3) "v2"
4) OK
127.0.0.1:6379>
127.0.0.1:6379> keys *
1) "k2"
2) "k3"
3) "k1"
127.0.0.1:6379> multi		# 开启事务
OK
127.0.0.1:6379(TX)> set k1 v1
QUEUED
127.0.0.1:6379(TX)> set k2 v2
QUEUED
127.0.0.1:6379(TX)> set k4 v4
QUEUED
127.0.0.1:6379(TX)> DISCARD	# 放弃事务
OK
127.0.0.1:6379> get k4		# 事务队列中命令都不会被执行!
(nil)
  • Redis的事务中的错误
    • 编译型异常:(代码有问题!命令有错!),事务中所有的命令都不会被执行!
    • 运行时异常:( 1 0 \frac{1}{0} 01),如果事务队列中存在语法性错误,那么执行命令的时候,其他命令式可以正常执行的,错误命令抛出异常!
127.0.0.1:6379> multi
OK
127.0.0.1:6379(TX)> set k1 v1
QUEUED
127.0.0.1:6379(TX)> set k2 v2
QUEUED
127.0.0.1:6379(TX)> set k3 v3
QUEUED
127.0.0.1:6379(TX)> GETSET k3		# 错误的命令
(error) ERR wrong number of arguments for 'getset' command
127.0.0.1:6379(TX)> set k4 v4
QUEUED
127.0.0.1:6379(TX)> set k5 v5
QUEUED
127.0.0.1:6379(TX)> exec # 执行事务报错!
(error) EXECABORT Transaction discarded because of previous errors.
127.0.0.1:6379> get k5	# 所有的命令都不会被执行!
(nil)
127.0.0.1:6379>
127.0.0.1:6379> SET k1 "v1"
OK
127.0.0.1:6379> multi
OK
127.0.0.1:6379(TX)> incr k1	# 运行时异常,字符串不允许+1
QUEUED
127.0.0.1:6379(TX)> set k2 v2
QUEUED
127.0.0.1:6379(TX)> set k3 v3
QUEUED
127.0.0.1:6379(TX)> get k3
QUEUED
127.0.0.1:6379(TX)> exec
1) (error) ERR value is not an integer or out of range # 虽然第一条命令报错了,但是依旧正常执行成功了!
2) OK
3) OK
4) "v3"
127.0.0.1:6379> get k2
"v2"
127.0.0.1:6379> get k3
"v3"

Redis实现乐观锁

使用Redis的watch实现乐观锁。

  • 悲观锁:
    • 很悲观,什么时候都会出问题,无论做什么都会加锁!
  • 乐观锁:
    • 很乐观,认为什么时候都不会出问题,所以不会上锁!更新数据的时候去判断一下,在此期间是否有人修改过这个数据。在MySQL中使用数据版本version的记录机制实现的,即
      • 先获取version
      • 后在更新的时候比较version
# 正常执行成功
127.0.0.1:6379> set money 100
OK
127.0.0.1:6379> set out 0
OK
127.0.0.1:6379> watch money	# 检视money对象
OK
127.0.0.1:6379> multi	# 事务正常结束,数据期间没有发生变动,这个时候就正常执行成功!
OK
127.0.0.1:6379(TX)> DECRBY money 20
QUEUED
127.0.0.1:6379(TX)> INCRBY out 20
QUEUED
127.0.0.1:6379(TX)> exec
1) (integer) 80
2) (integer) 20

下面是测试多线程修改值,使用watch可以当做redis的乐观锁操作!

# 线程1
127.0.0.1:6379> watch money	# 监视 money
OK
127.0.0.1:6379> multi
OK
127.0.0.1:6379(TX)> DECRBY money 10
QUEUED
127.0.0.1:6379(TX)> INCRBY out 10
QUEUED
127.0.0.1:6379(TX)>
# 线程2
127.0.0.1:6379> get money
"80"
127.0.0.1:6379> set money 10000
OK
127.0.0.1:6379>
# 线程1
127.0.0.1:6379(TX)> exec	# 执行之前,另外一个线程,修改了我们的值,这个时候,就会导致事务执行失败!
(nil)		# 代表执行失败


# 下面是解决办法(一句话如果修改失败,获取最新的值就好)
127.0.0.1:6379> UNWATCH # 1、如果发现事务执行失败,就先解锁
OK
127.0.0.1:6379> WATCH money	# 获取最新的值,再次监视,select version
OK
127.0.0.1:6379> multi
OK
127.0.0.1:6379(TX)> DECRBY money 10
QUEUED
127.0.0.1:6379(TX)> INCRBY out 10
QUEUED
127.0.0.1:6379(TX)> exec	# 3、比对监视的值是否发生了变化,如果没有变化,那么可以执行成功。如果有变化就执行失败!
1) (integer) 9990
2) (integer) 30

redis.conf详解

  • 单位:Unit单位对大小写不敏感

  • 包含:这个配置文件可以包含别的配置文件,即支持组合配置文件

    # include /path/to/local.conf
    # include /path/to/other.conf
    
  • 网络:

    # 绑定的ip
    bind 127.0.0.1 ::1 
    # 保护模式
    protected-mode yes
    # 端口
    port 6379
    
  • 通用

    # 以守护进程方式运行
    daemonize yes
    # 如果以后台的方式运行,我们就需要指定一个pid文件
    pidfile /var/run/redis_6379.pid
    # 日志级别,notice是生产环境使用
    loglevel notice
    # 日志的文件位置
    logfile "/var/log/redis/redis_6379.log"
    # 数据库的数量
    databases 16
    # 是否总是显示logo
    always-show-logo no
    
  • 快照:持久化,在规定的时间内,执行了多少次操作,则会持久化到文件 .rdb .aof

    redis是内存数据库,如果没有持久化,那么数据断电及失!

    # 下面是持久化规则:
    # 如果900秒内(15分钟),如果至少有一个key进行了修改,就进行持久化操作
    save 900 1
    # 如果300秒内,有至少10个key进行修改,就进行持久化操作
    save 300 10
    # 如果60秒内,有至少10000个key进行修改,就进行持久化操作
    save 60 10000
    
    # 如果持久化出现错误是否继续进行工作
    stop-writes-on-bgsave-error yes
    # 是否压缩rdb文件,需要消耗一些CPU资源
    rdbcompression yes
    # 保存rdb文件的时候,是否进行错误的检查校验
    rdbchecksum yes
    # rdb保存的文件
    dbfilename dump.rdb
    # rdb文件保存目录
    dir /var/lib/redis
    
  • 复制:即主从复制

    # 只需要配置从机,配置成主机的ip、端口
    replicaof <masterip> <masterport>
    # 如果主机有密码,就需要配置
    masterauth <master-password>
    
  • 安全:

    # 设置密码(一般是在客户端里进行设置)
    requirepass foobared
    
    127.0.0.1:6379> ping
    PONG
    127.0.0.1:6379> CONFIG GET requirepass
    1) "requirepass"
    2) ""		# 默认是没有密码的
    127.0.0.1:6379> CONFIG SET requirepass "123456"	# 设置redis密码
    OK
    127.0.0.1:6379> ping
    (error) NOAUTH Authentication required.
    127.0.0.1:6379> auth 123456	# 登陆redis
    OK
    127.0.0.1:6379> ping
    PONG
    127.0.0.1:6379>
    
  • 限制

    # 设置能连接上Redis的最大的客户端数量
    maxclients 10000
    # redis配置最大的内存容量
    maxmemory <bytes>
    # 内存到达上限之后的处理策略
    maxmemory-policy noeviction
    > volatile-lru:只对设置了过期时间的key进行LRU(默认值) 
    > allkeys-lru : 删除lru算法的key   
    > volatile-random:随机删除即将过期key   
    > allkeys-random:随机删除   
    > volatile-ttl : 删除即将过期的   
    > noeviction : 永不过期,返回错误
    
  • APPEND ONLY模式:aof配置

    # 默认是不开启aof模式的,默认是使用rdb方式持久化的,在大部分所有的情况下,rdb完全够用!
    appendonly no
    # 持久化的文件的名字
    appendfilename "appendonly.aof"
    
    # 每次修改都会sync,速度比较慢,消耗性能
    appendfsync always
    # 每秒执行一次sync,可能会丢失这1s的数据
    appendfsync everysec
    # 不sync,这个时候操作系统自己同步数据,速度最快
    appendfsync no
    

Redis持久化

Redis是内存数据库,如果不将内存中的数据库状态保存到磁盘,那么一旦服务器进程退出,服务器中的数据库状态也会消失。所以Redis提供了持久化功能!

RDB(Redis DataBase)默认模式

在这里插入图片描述

在指定的时间间隔内将内存中的数据集快照写入磁盘,也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里。

Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。整个过程中,主进程是不进行任何IO操作的。这就确保了极高的性能。如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。

有时候在生产环境我们会将这个文件进行备份!

我们默认的就是RDB,一般情况下不需要修改这个配置!

在主从复制中,rdb就是备用的,是在从机上面!

# rdb保存的文件
dbfilename dump.rdb
# rdb文件保存目录
dir /var/lib/redis

保存rdb文件的触发机制

当触发以下时会自动生成一个dump.rdb文件

  • save的规则满足的情况下,会自动触发rdb规则
  • 执行flushall命令,也会触发我们的rdb规则
  • 退出redis,也会产生rdb文件

如何恢复rdb文件

只需要将rdb文件放在我们redis.conf配置文件中指定的目录下就可以,redis启动的时候会自动检查dump.rdb文件,并恢复其中的数据。

127.0.0.1:6379> config get dir	# 查看rdb文件存放的目录
1) "dir"
2) "/var/lib/redis"	# 如果在这个目录下存在dump.rdb文件,启动就会自动恢复其中的数据
127.0.0.1:6379>

优点和缺点

  • 优点
    • 适合大规模的数据恢复!
    • 对数据的完整性要不高!
  • 缺点
    • 需要一定的时间间隔进行操作!如果redis意外宕机了,这个最后一次修改数据就没有的了!
    • fork进程的时候,会占用一定的内容空间!!

AOF(Append Only File)默认不开启

将我们的所有命令都记录下来,类似于history,恢复的时候就把这个文件全部在执行一遍。

以日志的形式来记录每个写操作,将Redis执行过的所有指令记录下来(读操作不记录),只许追加文件但不可以改写文件,redis 启动之初会读取该文件重新构建数据,换言之,redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。

在这里插入图片描述

# 默认是不开启aof模式的,默认是使用rdb方式持久化的,在大部分所有的情况下,rdb完全够用!
appendonly no
# 持久化的文件的名字
appendfilename "appendonly.aof"

如果这个appendonly.aof文件有错位,这时候redis是启动不起来的吗,我们需要修复这个aof文件,redis给我们提供了一个工具redis-check-aof --fix appendonly.aof,注意可能会丢失一些数据。如果文件正常,重启就可以直接恢复了!

优点和缺点

  • 优点
    • 每一次修改都同步,文件的完整会更加好!
    • 默认每秒同步一次,可能会丢失一秒的数据
  • 缺点
    • 相对于数据文件的大小来说,aof远远大于rdb,修复的速度也比rdb慢!
    • aof运行效率也要比rdb慢,所以我们redis默认的配置就是rdb持久化!

重写

aof默认就是文件的无限追加,文件会越来越大!

# 如果aof文件大于64m,太大了!fork一个新的进程来将我们的文件进行重写
auto-aof-rewrite-min-size 64mb

RDB和AOF的扩展

  • DB持久化方式能够在指定的时间间隔内对你的数据进行快照存储
  • AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以Redis协议追加保存每次写的操作到文件末尾,Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大。
  • 只做缓存,如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化
  • 同时开启两种持久化方式
    • 在这种情况下,当redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB 文件保存的数据集要完整。
    • RDB的数据不实时,同时使用两者时服务器重启也只会我AOF文件,那要不要只使用AOF呢?作者建议不要,因为RDB更适合 用于备份数据库(AOF在不断变化不好备份),快速重启,而且不会有AOF可能潜在的Bug,留着作为一个万一的手段。
  • 性能建议
    • 因为RDB文件只用作后备用途,建议只在Slave上持久化RDB文件,而且只要15分钟备份一次就够了,只保留 save 900 1这条规则
    • 如果Enable AOF,好处是在最恶劣情况下也只会丢失不超过两秒数据,启动脚本较简单只Ioad自己的AOF文件就可以了,代价 一是带来了持续的IO,二是AOF rewrite的最后将rewrite过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的。只要硬盘许可,应该尽量减少AOF rewrite的频率,AOF重写的基础大小默认值64M太小了,可以设到5G以上,默认超过原大小 100%大小重写可以改到适当的数值。
    • 如果不Enable AOF,仅靠Master-Slave Repllcation实现高可用性也可以,能省掉一大笔IO,也减少了rewrite时带来的系统波动。代价是如果Master/Slave同时倒掉,会丢失十几分钟的数据,启动脚本也要比较两个Master/Slave中的RDB文件,载入较新的那个,微博就是这种架构。

Redis发布订阅

Redis发布订阅(pub/sub)是一种消息通信模式:发送者(pub)发送消息,订阅者(sub)接收消息。

Redis客户端可以订阅任意数量的频道。

订阅/发布消息图:

在这里插入图片描述

下图展示了频道 channel1 , 以及订阅这个频道的三个客户端 —— client2 、 client5 和 client1 之间的关系:

在这里插入图片描述

当有新消息通过 PUBLISH 命令发送给频道 channel1 时, 这个消息就会被发送给订阅它的三个客户端:

在这里插入图片描述

Redis 发布订阅命令

这些命令被广泛用于构建即时通信应用,比如网络聊天室(chatroom)和实时广播、实时提醒等。

在这里插入图片描述

示例

# 终端1(订阅端)
127.0.0.1:6379> SUBSCRIBE kuangshenshuo	# 订阅一个频道kuangshenshuo
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "kuangshenshuo"
3) (integer) 1
# 等待读取推送的信息
# 终端2(发送端)
127.0.0.1:6379> PUBLISH kuangshenshuo "hello"	# 发布者发布消息到频道!
(integer) 1
127.0.0.1:6379>
# 终端1会自动输出如下
1) "message"	# 消息
2) "kuangshenshuo"	# 来自哪个频道的消息
3) "hello"	# 消息具体内容
# 终端2
127.0.0.1:6379> PUBLISH kuangshenshuo "hello,redis"	# 发布者发布消息到频道!
(integer) 1
127.0.0.1:6379>
# 终端1会自动输出如下
1) "message"
2) "kuangshenshuo"
3) "hello,redis"

原理

Redis是使用C实现的,通过分析Redis源码里的pubsub.c文件,了解发布和订阅机制的底层实现,籍此加深对Redis的理解。

Redis通过PUBLISHSUBSCRIBEPSUBSCRIBE等命令实现发布和订阅功能。

通过SUBSCRIBE命令订阅某频道后,redis-server里维护了一个字典,字典的键就是一个个channel,而字典的值则是一个链表,链表中保存了所有订阅这个channel的客户端。SUBSCRIBE命令的关键,就是将客户端添加到给定channel的订阅链表中。

通过PUBLISH命令向订阅者发送消息,redis-server会使用给定的频道作为键,在它所维护的channel字典中查找记录了订阅这个频道的所有客户端的链表,遍历这个链表,将消息发布给所有订阅者。

Pub/Sub从字面上理解就是发布(Publish)与订阅(Subscribe),在Redis中,你可以设定对某一个key值进行消息发布及消息订阅,当一个key值上进行了消息发布后,所有订阅它的客户端都会收到相应的消息。这一功能最明显的用法就是用作实时消息系统,比如普通的即时聊天,群聊等功能。

使用场景

  • 实时消息系统
  • 实时聊天(频道当做聊天室,将信息回显给所有人即可)
  • 订阅、关注系统都是可以的
  • 稍微复杂的场景我们就会使用消息中间件MQ

Redis主从复制

概念

  • 主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(master/leader),后者称为从节点 (slave/follower);数据的复制是单向的,只能由主节点到从节点。Master以写为主,Slave只能读。

  • 默认情况下,每台Redis服务器都是主节点;且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。

  • 一般来说,要将Redis运用于工程项目中,只使用一台Redis是万万不能的,原因如下:

    • 从结构上,单个Redis服务器会发生单点故障,并且一台服务器需要处理所有的请求负载,压力较大;
    • 从容量上,单个Redis服务器内存容量有限,就算一台Redis服务器内存容量为256G,也不能将所有内存用作Redis存储内存,一般来说,单台Redis最大使用内存不应该超过20G
  • 电商网站上的商品,一般都是一次上传,无数次浏览的,说专业点也就是“多读少写”。

    对于这种场景,我们可以使如下这种架构:

在这里插入图片描述

  • 只要在公司中,主从复制就是必须要使用的,因为在真实的项目中不可能单机使用Redis!生产环节下一般最低配是一主二从。

主从复制的作用

  • 数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。
  • 故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。
  • 负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量,。
  • 高可用基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础。

环境配置

只配置从机,不用配置主机,因为redis默认就是主。

127.0.0.1:6379> info replication	# 查看当前机的信息
# Replication
role:master	# 角色
connected_slaves:0	# 没有从机
master_replid:9108041c2ec15d44338b69a9beccfa96998e8597
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
127.0.0.1:6379>
  • 首先我们拷贝出2个配置文件

    $ cp /etc/redis/redis.conf /etc/redis/redis80.conf
    $ cp /etc/redis/redis.conf /etc/redis/redis81.conf
    
  • 配置redis配置文件

    # 主
    $ redis.conf
    > port 6379	# 端口6379
    > daemonize yes	# 打开后台运行
    > pidfile /var/run/redis_6379.pid	# pidfile
    > logfile "/var/log/redis/redis_6379.log"	# 日志文件
    > dbfilename dump.rdb	# rdb文件名
    
    # 从
    $ redis80.conf
    > port 6380	# 端口6380
    > daemonize yes	# 打开后台运行
    > pidfile /var/run/redis_6380.pid	# pidfile
    > logfile /var/log/redis/redis_6380.log	# 日志文件
    > dbfilename dump6380.rdb	# rdb文件名
    
    # 从
    $ redis81.conf
    > port 6381	# 端口6381
    > daemonize yes	# 打开后台运行
    > pidfile /var/run/redis_6381.pid	# pidfile
    > logfile /var/log/redis/redis_6381.log	# 日志文件
    > dbfilename dump6381.rdb	# rdb文件名
    
  • 启动redis集群

    $ redis-server /etc/redis/redis.conf
    $ redis-server /etc/redis/redis80.conf
    $ redis-server /etc/redis/redis81.conf
    
  • 一主二从(命令方式配置,是临时的)

    默认情况下,每台Redis服务器都是主节点;我们一般情况下只用配置从机就好了! 即让从机认老大!一主(79)二从(80,81)

    127.0.0.1:6380> SLAVEOF 127.0.0.1 6379	# 认老大
    OK
    
    127.0.0.1:6381> SLAVEOF 127.0.0.1 6379	# 认老大
    OK
    
    127.0.0.1:6379> info replication	# 查看主机信息
    # Replication
    role:master
    connected_slaves:2
    slave0:ip=127.0.0.1,port=6380,state=online,offset=70,lag=0
    slave1:ip=127.0.0.1,port=6381,state=online,offset=70,lag=0
    master_failover_state:no-failover
    master_replid:863f445412245da08a3ed135212abfdd083b9d37
    master_replid2:0000000000000000000000000000000000000000
    master_repl_offset:70
    second_repl_offset:-1
    repl_backlog_active:1
    repl_backlog_size:1048576
    repl_backlog_first_byte_offset:1
    repl_backlog_histlen:70
    127.0.0.1:6379>
    

    真实的从主配置应该在配置文件中配置,这样的话是永久的,我们这里使用的是命令,暂时的!

细节

  • 主机可以写也可以读,从机不能写只能读!主机中的所有信息和数据,都会自动被从机保存!

    127.0.0.1:6379> set name zhangsan
    OK
    
    127.0.0.1:6380> set name zhangsan
    (error) READONLY You can't write against a read only replica.
    127.0.0.1:6380> get name
    "zhangsan"
    
    127.0.0.1:6381> set name zhangsan
    (error) READONLY You can't write against a read only replica.
    127.0.0.1:6381> get name
    "zhangsan"
    
  • 如果此时主机宕机了,则从机永远都是从机,因为没有配置哨兵模式,则此时整个redis集群没有写的功能了。

    • 在哨兵模式没有出来之前,一般都是手动把从机改为主机,然后再手动的把其他从机连接到此主机上。此时旧的数据依旧是存在的。即使此时原来的主机回来了,也是光杆司令了。如果这个时候原来的老大修复了,也需要重新配置。

      127.0.0.1:6380> SLAVEOF no one	# 使自己变成主机
      OK
      
  • 如果主机又回来了,从机依旧可以直接获取到主机写的信息。

  • 如果使用的是命令行配置的从机,则从机宕机后再回来就编程默认为主机状态了,此时肯定是拿不到从机的数据的。如果此时我们通过命令行再次设置为从机,则可以拿到全部的主机数据。所以只要变为从机,立马就会从主机中获取值!具体参考复制原理。

复制原理

  • Slave第一次启动成功并连接到master后会发送一个sync同步命令。Master接到命令,启动后台的存盘进程,同时收集所有接收到的用于修改数据集命令,在后台进程执行完毕之后,master将传送 整个数据 文件到slave,并完成一次完全同步(全量复制)。

  • 而后,主要主机接收到新的修改数据集命令后,就会增量复制给从机。

  • 所以,只要是重新连接master,一次完全同步(全量复制)将被自动执行。我们的数据一定可以在从机中看到。

  • 全量复制:slave服务在接收到数据库文件数据后,将其存盘并加载到内存中。

  • 增量复制:Master继续将新的所有收集到的修改命令依次传给slave,完成同步。

引深 - 层层链路模型

  • 即在79主机下挂一个从机80,而该80从机下挂另外一个从机81,注意此时查看该80从机还是显示为从机。
  • 在这种模型下,79写入,80、81均可拿到。
  • 注意在这种模型下,80仍旧是不可写的。

哨兵模式(自动选举老大的模式)

概述

主从切换技术的方法是:当主服务器宕机后,需要手动把一台从服务器切换为主服务器,这就需要人工干预,费事费力,还会造成一段时间内服务不可用。这不是一种推荐的方式,更多时候,我们优先考虑哨兵模式。Redis从2.8开始正式提供了Sentinel(哨兵)架构来解决这个问题。

谋朝篡位的自动版,能够后台监控主机是否故障,如果故障了根据投票数自动将从库转换为主库。

原理

哨兵模式是一种特殊的模式,首先Redis提供了哨兵的命令,哨兵是一个独立的进程,作为进程,它会独立运行。其原理是哨兵通过发送命令,等待Redis服务器响应,从而监控运行的多个Redis实例。

在这里插入图片描述

作用

这里的哨兵有两个作用:

  • 通过发送命令,让Redis服务器返回监控其运行状态,包括主服务器和从服务器。
  • 当哨兵监测到master宕机,会自动将slave切换成master,然后通过发布订阅模式通知其他的从服务器,修改配置文件,让它们切换主机。

然而一个哨兵进程对Redis服务器进行监控,可能会出现问题,为此,我们可以使用多个哨兵进行监控。各个哨兵之间还会进行监控,这样就形成了多哨兵模式。

多哨兵模式

所以如果要在生产中配置,起步就是6个进程。

在这里插入图片描述

假设主服务器宕机,哨兵1先检测到这个结果,系统并不会马上进行failover(故障转移)过程,仅仅是哨兵1主观的认为主服务器不可用,这个现象成为主观下线。当后面的哨兵也检测到主服务器不可用,并且数量达到一定值时,那么哨兵之间就会进行一次投票,投票的结果由一个哨兵发起,进行failover操作。切换成功后,就会通过发布订阅模式,让各个哨兵把自己监控的从服务器实现切换主机,这个过程称为客观下线

演示

我们目前的状态是一主二从。

  • 首先,配置哨兵配置文件sentinel.conf

    $ vim sentinel.conf
    # sentinel monitor 被监控的名称 host port 1
    > sentinel monitor myredis 127.0.0.1 6379 1
    

    后面的这个数字1,代表多少个sentinel哨兵统一认为master主节点失联,那么这时客观上认为主节点失联了。

  • 而后,启动哨兵

    $ redis-sentinel /etc/redis/sentinel.conf
    # 从下面的日志可以看到监控的master和2个slave
    > +monitor master myredis 127.0.0.1 6379 quorum 1
    > +slave slave 127.0.0.1:6380 127.0.0.1 6380 @ myredis 127.0.0.1 6379
    > +slave slave 127.0.0.1:6381 127.0.0.1 6381 @ myredis 127.0.0.1 6379
    
  • 测试

    127.0.0.1:6379> set k1 v1
    OK
    127.0.0.1:6379> SHUTDOWN
    (0.96s)
    not connected> exit
    

    如果Master节点断开了,这个时候就会从从机中随机选择一个服务器!(这里面有一个投票算法!)

    经过一点时间的等待…

    # sentinel终端输出:
    +failover-state-send-slaveof-noone slave 127.0.0.1:6381 127.0.0.1 6381 @ myredis 127.0.0.1 6379
    +sdown slave 127.0.0.1:6379 127.0.0.1 6379 @ myredis 127.0.0.1 6381
    
    127.0.0.1:6381> info replication
    role:master
    connected_slaves:1
    slave0:ip=127.0.0.1,port=6380,state=online,offset=21521,lag=0
    
    127.0.0.1:6380> info replication
    role:slave
    master_host:127.0.0.1
    master_port:6381
    

    此时如果我们的79原主机回来了,就会在哨兵的日志中看到如下

    +convert-to-slave slave 127.0.0.1:6379 127.0.0.1 6379 @ myredis 127.0.0.1 6381
    

    所以79原主机回来了,也只能当81新主机的从机了,这就是哨兵模式的规则。

    127.0.0.1:6381> info replication
    role:master
    connected_slaves:2
    slave0:ip=127.0.0.1,port=6380,state=online,offset=53368,lag=0
    slave1:ip=127.0.0.1,port=6379,state=online,offset=53368,lag=0
    

优缺点

  • 优点:
    • 哨兵集群,基于主从复制模式,所有的主从配置优点它全有
    • 主从可以切换,故障可以转移,系统的可用性就会更好。
    • 哨兵模式就是主从模式的升级,手动到自动,更加健壮!
  • 缺点:
    • Redis不好在线扩容的,集群容量一旦到达上限,在线扩容就十分麻烦!
    • 实现哨兵模式的配置其实是很麻烦的,里面有很多选择!

哨兵模式的全部配置

# Example sentinel.conf
 
# 哨兵sentinel实例运行的端口 默认26379
# 如果有哨兵集群,就需要配置每一个哨兵端口
port 26379
 
# 哨兵sentinel的工作目录
dir /tmp
 
# 哨兵sentinel监控的redis主节点的 ip port 
# master-name  可以自己命名的主节点名字 只能由字母A-z、数字0-9 、这三个字符".-_"组成。
# quorum 配置多少个sentinel哨兵统一认为master主节点失联 那么这时客观上认为主节点失联了
# sentinel monitor <master-name> <ip> <redis-port> <quorum>
sentinel monitor mymaster 127.0.0.1 6379 2
 
# 当在Redis实例中开启了requirepass foobared 授权密码 这样所有连接Redis实例的客户端都要提供密码
# 设置哨兵sentinel 连接主从的密码 注意必须为主从设置一样的验证密码
# sentinel auth-pass <master-name> <password>
sentinel auth-pass mymaster MySUPER--secret-0123passw0rd
 
 
# 指定多少毫秒之后 主节点没有应答哨兵sentinel 此时 哨兵主观上认为主节点下线 默认30秒
# sentinel down-after-milliseconds <master-name> <milliseconds>
sentinel down-after-milliseconds mymaster 30000
 
# 这个配置项指定了在发生failover主备切换时最多可以有多少个slave同时对新的master进行 同步,
# 这个数字越小,完成failover所需的时间就越长,
# 但是如果这个数字越大,就意味着越 多的slave因为replication而不可用。
# 可以通过将这个值设为 1 来保证每次只有一个slave 处于不能处理命令请求的状态。
# sentinel parallel-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1
 
 
 
# 故障转移的超时时间 failover-timeout 可以用在以下这些方面: 
#1. 同一个sentinel对同一个master两次failover之间的间隔时间。
#2. 当一个slave从一个错误的master那里同步数据开始计算时间。直到slave被纠正为向正确的master那里同步数据时。
#3.当想要取消一个正在进行的failover所需要的时间。  
#4.当进行failover时,配置所有slaves指向新的master所需的最大时间。不过,即使过了这个超时,slaves依然会被正确配置为指向master,但是就不按parallel-syncs所配置的规则来了
# 默认三分钟
# sentinel failover-timeout <master-name> <milliseconds>
sentinel failover-timeout mymaster 180000
 
# SCRIPTS EXECUTION
 
#配置当某一事件发生时所需要执行的脚本,可以通过脚本来通知管理员,例如当系统运行不正常时发邮件通知相关人员。
#对于脚本的运行结果有以下规则:
#若脚本执行后返回1,那么该脚本稍后将会被再次执行,重复次数目前默认为10
#若脚本执行后返回2,或者比2更高的一个返回值,脚本将不会重复执行。
#如果脚本在执行过程中由于收到系统中断信号被终止了,则同返回值为1时的行为相同。
#一个脚本的最大执行时间为60s,如果超过这个时间,脚本将会被一个SIGKILL信号终止,之后重新执行。
 
#通知型脚本:当sentinel有任何警告级别的事件发生时(比如说redis实例的主观失效和客观失效等等),将会去调用这个脚本,
这时这个脚本应该通过邮件,SMS等方式去通知系统管理员关于系统不正常运行的信息。调用该脚本时,将传给脚本两个参数,
一个是事件的类型,
一个是事件的描述。
如果sentinel.conf配置文件中配置了这个脚本路径,那么必须保证这个脚本存在于这个路径,并且是可执行的,否则sentinel无法正常启动成功。
#通知脚本
# sentinel notification-script <master-name> <script-path>
sentinel notification-script mymaster /var/redis/notify.sh
 
# 客户端重新配置主节点参数脚本
# 当一个master由于failover而发生改变时,这个脚本将会被调用,通知相关的客户端关于master地址已经发生改变的信息。
# 以下参数将会在调用脚本时传给脚本:
# <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>
# 目前<state>总是“failover”,
# <role>是“leader”或者“observer”中的一个。 
# 参数 from-ip, from-port, to-ip, to-port是用来和旧的master和新的master(即旧的slave)通信的
# 这个脚本应该是通用的,能被多次调用,不是针对性的。
# sentinel client-reconfig-script <master-name> <script-path>
sentinel client-reconfig-script mymaster /var/redis/reconfig.sh

Redis缓存穿透和雪崩(面试高频,工作常用~)

Redis缓存的使用,极大的提升了应用程序的性能和效率,特别是数据查询方面。但同时,它也带来了一些问题。其中,最要害的问题,就是数据的一致性问题,从严格意义上讲,这个问题无解。如果对数据的一致性要求很高,那么就不能使用缓存。

另外的一些典型问题就是,缓存穿透、缓存雪崩和缓存击穿。目前,业界也都有比较流行的解决方案。

缓存穿透(查不到)

概念

缓存穿透的概念很简单,用户想要查询一个数据,发现redis内存数据库没有,也就是缓存没有命中,于是向持久层数据库查询。发现也没有,于是本次查询失败。当用户很多的时候,缓存都没有命中,于是都去请求了持久层数据库。这会给持久层数据库造成很大的压力,这时候就相当于出现了缓存穿透。

解决方案1 - 布隆过滤器

布隆过滤器是一种数据结构,对所有可能查询的参数以hash形式存储,在控制层先进行校验,不符合则丢弃,从而避免了对底层存储系统的查询压力;

在这里插入图片描述

解决方案2 - 缓存空对象

当存储层不命中后,即使返回的空对象也将其缓存起来,同时会设置一个过期时间,之后再访问这个数据将会从缓存中获取,保护了后端数据源;

在这里插入图片描述

但是这种方法会存在两个问题:

  • 如果空值能够被缓存起来,这就意味着缓存需要更多的空间存储更多的键,因为这当中可能会有很多的空值的键;
  • 即使对空值设置了过期时间,还是会存在缓存层和存储层的数据会有一段时间窗口的不一致,这对于需要保持一致性的业务会有影响。

缓存击穿(量太大,缓存过期)

概念

这里需要注意和缓存穿透的区别,缓存击穿是指一个key非常热点,在不停的扛着大并发,大并发集中对这一个点进行访问,当这个key在失效的瞬间,持续的大并发就穿破缓存,直接请求数据库,就像在一个屏障上凿开了一个洞。

当某个key在过期的瞬间,有大量的请求并发访问,这类数据一般是热点数据,由于缓存过期,会同时访问数据库来查询最新数据,并且回写缓存,会导使数据库瞬间压力过大。

解决方案1 - 设置热点数据永不过期

从缓存层面来看,没有设置过期时间,所以不会出现热点key过期后产生的问题。

解决方案2 - 加互斥锁

分布式锁:使用分布式锁,保证对于每个key同时只有一个线程去查询后端服务,其他线程没有获得分布式锁的权限,因此只需要等待即可。这种方式将高并发的压力转移到了分布式锁,因此对分布式锁的考验很大。

缓存雪崩

概念

缓存雪崩,是指在某一个时间段,缓存集中过期失效。

产生雪崩的原因之一,比如在写本文的时候,马上就要到双十二零点,很快就会迎来一波抢购,这波商品时间比较集中的放入了缓存,假设缓存一个小时。那么到了凌晨一点钟的时候,这批商品的缓存就都过期了。而对这批商品的访问查询,都落到了数据库上,对于数据库而言,就会产生周期性的压力波峰。于是所有的请求都会达到存储层,存储层的调用量会暴增,造成存储层也会挂掉的情况。

在这里插入图片描述
其实集中过期,倒不是非常致命,比较致命的缓存雪崩,是缓存服务器某个节点宕机或断网。因为自然形成的缓存雪崩,一定是在某个时间段集中创建缓存,这个时候,数据库也是可以顶住压力的。无非就是对数据库产生周期性的压力而已。而缓存服务节点的宕机,对数据库服务器造成的压力是不可预知的,很有可能瞬间就把数据库压垮。

解决方案1 - redis高可用

这个思想的含义是,既然redis有可能挂掉,那我多增设几台redis,这样一台挂掉之后其他的还可以继续工作,其实就是搭建的集群。

解决方案2 - 限流降级

这个解决方案的思想是,在缓存失效后,通过加锁或者队列来控制读数据库写缓存的线程数量。比如对某个key只允许一个线程查询数据和写缓存,其他线程等待。

解决方案3 - 数据预热

数据加热的含义就是在正式部署之前,我先把可能的数据先预先访问一遍,这样部分可能大量访问的数据就会加载到缓存中。在即将发生大并发访问前手动触发加载缓存不同的key,设置不同的过期时间,让缓存失效的时间点尽量均匀。

Jedis

我们要使用Java来操作Redis

什么是Jedis

是Redis官方推荐的java连接开发工具!使用Java操作Redis中间件!如果你要使用java操作redis,那么一定要对Jedis十分的熟悉!

配置MVN

https://mvnrepository.com/

<!-- https://mvnrepository.com/artifact/redis.clients/jedis -->
<dependency>
    <groupId>redis.clients</groupId>
    <artifactId>jedis</artifactId>
    <version>4.3.2</version>
</dependency>
<!-- https://mvnrepository.com/artifact/com.alibaba/fastjson -->
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>fastjson</artifactId>
    <version>2.0.28</version>
</dependency>

简单使用

package com.kuang;
import redis.clients.jedis.Jedis;

public class TestPing {
  public static void main(String[] args) {
    // 1、 new Jedis对象
    Jedis jedis = new Jedis("127.0.0.1", 6379);
    // jedis所有的命令就是我们之前学习的所有指令
    // 2、 测试连接
    System.out.println(jedis.ping());
    // 3、 关闭连接
    jedis.close(); 
  }
}

事务简单使用

package com.kuang;

import com.alibaba.fastjson.JSONObject;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.Transaction;

public class TestTX {
  public static void main(String[] args) {
    JSONObject jsonObject = new JSONObject();
    jsonObject.put("hello", "world");
    jsonObject.put("name", "kuangshen");
    String result = jsonObject.toJSONString();
    
    // 1、 new Jedis对象
    Jedis jedis = new Jedis("127.0.0.1", 6379);
    // 2、 开启事务
    Transaction multi = jedis.multi();
    try {
      // 3、 命令入队
    	multi.set("user1": result);
    	multi.set("user1": result);
      // 4、 执行事务
      multi.exec();
    } catch (Exception e) {
      multi.discard(); // 放弃事务
      e.printStackTrace();
    } finally {
      System.out.println(jedis.get("user1"));
      System.out.println(jedis.get("user2"));
      // 5、 关闭连接
      jedis.close();
    }
  }
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/449550.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

MySQL架构设计其实很简单

一、概述 我们很多互联网项目首选的数据库就是MySql5.7&#xff0c;因为免费&#xff0c;支持数据库主从复制&#xff0c;读写分离&#xff0c;且语法简单&#xff0c;容易上手&#xff0c;虽然对sql的函数、触发器、存储过程有一定的了解&#xff0c;也能说出一些优化sql语句…

基于SpringBoot+Vue的前后端分离的博客管理系统

菜单 首页写文章内容管理 博客管理相册管理归档登录、注册(项目整合了shiro+jwt+redis,用户未登录不能发布博客、内容管理、相册、归档等功能) 文章​​​​​​​末尾赋前后端代码以及数据库文件链接!!! 1 首页 首页包括菜单、博客、登录用户、推荐博客排行、博客分类…

Autosar-Interface接口

文章目录 一、Autosar接口1、AUTOSAR Interface2、Standardized Interface3、Standardized AUTOSAR Interface二、AUTOSAR接口的通用规则三、示例-存储四、总结一、Autosar接口 在Autosar里规定了三类接口,分别是AUTOSAR接口,标准AUTOSAR接口和标准接口。 下图将所有的接口…

【Linux】I/O复用

概述 I/O复用使得程序能同时监听多个文件描述符&#xff0c;看文件上是否有用户感兴趣的事件发生&#xff0c;提高程序性能。 使用I/O复用技术的情况&#xff1a; 客户端同时处理多个套接字 客户端同时处理用户输入和网络连接 同时监听多个端口 同时处理TCP和UDP请求 TCP服务器…

【JavaEE】文件操作(InputStream、OutputStream)

博主简介&#xff1a;想进大厂的打工人博主主页&#xff1a;xyk:所属专栏: JavaEE初阶 在Java中总会用到文件操作&#xff0c;比如从盘符读写文件&#xff0c;按字节和字符进行数据读写&#xff0c;那么你真的认识什么是文件路径吗&#xff1f;平时谈到的“文件”&#xff0c;…

mybatis实现CRUD详解(使用mapper映射文件实现增删改查)

mybatis实现CRUD详解(使用mapper映射文件实现增删改查) 创建maven项目&#xff1a;项目结构如图所示 准备数据库表&#xff1a; 准备pom.xml所需的依赖&#xff1a; <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.…

快速弄懂RPC

快速弄懂RPC 常见的远程通信方式远程调用RPC协议RPC的运用场景和优势 常见的远程通信方式 基于REST架构的HTTP协议以及基于RPC协议的RPC框架。 远程调用 是指跨进程的功能调用。 跨进程可以理解为一个计算机节点的多个进程或者多个计算机节点的多个进程。 RPC协议 远程过…

C++string类

&#x1f4df;作者主页&#xff1a;慢热的陕西人 &#x1f334;专栏链接&#xff1a;C &#x1f4e3;欢迎各位大佬&#x1f44d;点赞&#x1f525;关注&#x1f693;收藏&#xff0c;&#x1f349;留言 本博客主要内容讲解了C中的string类以及类内的一些常用函数 Cstring类 文章…

k8s_3节点集群部署

背景 近期想在自己电脑上部署一套3节点K8s 作为自己平时的学习测试环境。 本来想看一下有没有比较便捷的部署方式如&#xff1a; rancherdesktop: https://docs.rancherdesktop.io/zh/next/getting-started/installation/ sealos: https://www.sealos.io/docs/getting-started…

【超算/先进计算学习】日报3

目录 今日已完成任务列表遇到的问题及解决方案任务完成详细笔记作业管理系统 slurm作业管理系统及常用用户命令节点状态查询/作业提交命令作业队列查询/作业取消命令任务练习 调试器 GDB实时调试core 文件调试 对自己的表现是否满意简述下次计划其他反馈 今日已完成任务列表 4-…

Spring的体系结构

Spring的体系结构 一、Spring简介1. Spring介绍1.1 为什么要学1.2 学什么1.3 怎么学 2. 初识Spring2.1 Spring家族2.2 Spring发展史 3. Spring体系结构3.1 Spring Framework系统架构图3.2 Spring Framework课程学习路线 4. Spring核心概念4.1 目前我们代码存在的问题4.2 核心概…

『Linux从入门到精通』第 ⑫ 期 -深入了解冯诺依曼体系结构与操作系统(Operator System)

文章目录 &#x1f490;专栏导读&#x1f490;文章导读&#x1f337;计算机之父——冯诺依曼&#x1f337;冯诺依曼体系结构&#x1f33a;木桶效应 &#x1f337;操作系统(Operator System)&#x1f33a;如何理解操作系统&#x1f33a;系统调用和库函数概念 &#x1f490;专栏导…

论文结构商讨

论文查重 pass软件 提出问题 1、由于选取的算法太多了&#xff0c;不知道是简单介绍&#xff0c;还是深入介绍 希望找到一个具体的模板 2、数据库要是用一个就在前面介绍&#xff0c;用不一样的就在每章里面分别介绍 4、数据集介绍放在那个具体位置&#xff1f; 如果可以画出…

蓝精灵事件来袭: 深受喜爱的蓝色角色来 Web3 啦!

起源于漫画并成为国际知名的卡通和电影明星的蓝色x小家伙正在进入 NFT 舞台。 作者&#xff1a;Coindesk——Toby Bochan 因漫画、卡通片和电影而闻名的热门动画系列“蓝精灵”正在展开新的冒险&#xff0c;由蓝精灵协会推出一系列新的非同质化通证&#xff08;NFT&#xff09;…

汽车ECU的内部构成与功能模块

摘要&#xff1a; ECU作为与外部通信的接口&#xff0c;为了通过微控制器运算实现符合实际状态的最佳控制&#xff0c;需要检测外部状态的输入手段及实际控制驱动的输出手段。 1. 常规功能模块 ① 电源&#xff1a;向ECU内的各模块提供稳定的电压&#xff08;5V、3V等&#xf…

sequelize + Nodejs + MySQL 的简单用法

How to Use Sequelize ORM in NodeJS - Tutorial 1 Sequlize 简介 Sequelize 是最流行的可以与 Nodejs 一起使用的一种关系数据库 ORM (Object-relational mapping 对象关系映射)&#xff0c;Mongoose 是 MongoDB 的 ORM. Sequelize 的作用&#xff0c;简单地说&#xff0c;就…

Netty编解码器,Netty自定义编解码器解决粘包拆包问题,Netty编解码器的执行过程详解

文章目录 一、编解码器概述1、编解码器概述2、编码器类关系图3、解码器类关系图 二、以编解码器为例理解入站出站1、Server端2、Client端3、编解码器3、执行查看结果4、注意事项 三、Netty其他内置编解码器1、ReplayingDecoder2、其他编码器3、内置编解码器处理粘包拆包问题 四…

[LeetCode复盘] LCCUP‘23春季赛 20230422

[LeetCode复盘] LCCUP23春季赛 20230422 一、总结二、 1. 补给马车1. 题目描述2. 思路分析3. 代码实现 三、2. 探险营地1. 题目描述2. 思路分析3. 代码实现 四、 3. 最强祝福力场1. 题目描述2. 思路分析3. 代码实现 五、 4. 传送卷轴1. 题目描述2. 思路分析3. 代码实现 六、 5…

REDIS03_AOF概述、工作流程、写回策略、正常异常流程、重写机制、配置文件详解

文章目录 ①. AOF - 概述作用②. AOF - 工作流程③. 缓冲区 - 写回策略④. 配置文件说明(6 VS 7)⑤. 正常、异常恢复⑥. AOF - 优劣势⑦. AOF - 重写机制⑧. AOF优化配置项详解⑨. RBD和AOF共存模式 ①. AOF - 概述作用 ①. 官网介绍 ②. 以日志的形式来记录每个写操作,将Red…

解决RabbitMQ的The channelMax limit is reached. Try later.

The channelMax limit is reached. Try later.顾名思义就是channel达到数量限制 查看源码得出 大概意思就是&#xff1a; 默认最大通道数&#xff1b;2047&#xff0c;因为它在服务器端是第2048个&#xff0c;每个连接用于协商和错误通信。 也可以在rabbitmq的管控台看出 总结…