一、 关系型数据库和 NoSQL 数据库
1.1 数据库主要分为两大类:关系型数据库与 NoSQL 数据库
-
关系型数据库,是建立在关系模型基础上的数据库,其借助于集合代数等数学概念和方法来处理数据库中的数据主流的 MySQL、Oracle、MS SQL Server 和 DB2 都属于这类传统数据库。
-
NoSQL 数据库,全称为 Not Only SQL,意思就是适用关系型数据库的时候就使用关系型数据库,不适用的时候也没有必要非使用关系型数据库不可,可以考虑使用更加合适的数据存储。主要分为临时性键值存储(memcached、Redis)、永久性键值存储(ROMA、Redis)、面向文档的数据库(MongoDB、CouchDB)、面向列的数据库(Cassandra、HBase),每种 NoSQL 都有其特有的使用场景及优点。
1.2 RDBMS和NOSQL的特点及优缺点
关系型数据库 | NoSQL数据库 | |
---|---|---|
特点 | 数据关系基于关系模型,结构化存储,完整性约束 基于二维表及之间的联系,需要连接,并、交、差、除等数据操作 采用结构化的查询语言(SQL)做数据读写 操作需要数据的一致性,需要事务甚至是强一致性 | 非结构化的存储 基于多维关系模型 具有特有的使用场景 |
优点 | 保持数据的一致性(事务处理) 可以进行join等复杂查询 通用化,技术成熟 | 高并发,大数据下读写能力较强 支持分布式,易于扩展,可伸缩 简单,弱结构化存储 |
缺点 | 数据读写必须经过SQL分析,大量数据,高并发下读写性能不足 对数据做读写或者修改数据结构时需要加锁,影响并发操作 无法适应非结构化存储 扩展困难 昂贵、复杂 | join等复杂操作能力较弱 事务支持较弱 通用性差 无完整约束,复杂业务场景支持较差 |
二、Redis简介
2.1 Redis介绍
Redis 是一个开源的、基于内存的数据结构存储系统(NoSQL),通常用作数据库、缓存和消息代理。它的名字源自 “REmote DIctionary Server”(远程字典服务器)。目前国内外使用的公司众多,比如:阿里,百度,新浪微博,知乎网,GitHub,Twitter 等Redis是一个开源的、遵循BSD协议的、基于内存的而且目前比较流行的键值数据库(key-valuedatabase),是一个非关系型数据库,redis 提供将内存通过网络远程共享的一种服务,提供类似功能的还有memcached,但相比memcached,redis还提供了易扩展、高性能、具备数据持久性等功能。Redis 在高并发、低延迟环境要求比较高的环境使用量非常广泛
2.2 Redis特性
- 速度快: 10W QPS,基于内存,C语言实现
- 单线程
- 持久化
- 支持多种数据结构
- 支持多种编程语言
- 功能丰富: 支持Lua脚本,发布订阅,事务,pipeline等功能
- 简单: 代码短小精悍(单机核心代码只有23000行左右),单线程开发容易,不依赖外部库,使用简单
- 主从复制
- 支持高可用和分布式
单线程为何如此快?
- 纯内存
- 非阻塞
- 避免线程切换和竞态消耗
2.3 Redis应用场景
- Session 共享:常见于web集群中的Tomcat或者PHP中多web服务器session共享
- 缓存:数据查询、电商网站商品信息、新闻内容
- 计数器:访问排行榜、商品浏览数等和次数相关的数值统计场景
- 微博/微信社交场合:共同好友,粉丝数,关注,点赞评论等
- 消息队列:ELK的日志缓存、部分业务的订阅发布系统
- 地理位置: 基于GEO(地理信息定位),实现摇一摇,附近的人,外卖等功能
2.4 缓存的实现流程
-
数据更新操作流程
写入数据:
- 应用程序尝试将新的数据写入 MySQL 数据库。
写MySQL:
- 如果数据成功写入 MySQL:
- 程序会继续进行下一步操作,即删除 Redis 中对应的缓存项。
- 如果写入 MySQL 失败:
- 程序直接返回,表示操作失败,不做进一步处理。
删除Redis对应项:
- 在 MySQL 数据写入成功后,程序会删除 Redis 中与此次写入相关的缓存数据。这一步是为了确保 Redis 缓存中的数据与 MySQL 数据库中的数据保持一致性。
返回:
- 最后,程序将返回操作结果,通知调用方操作的成功与否。
-
数据读取操作流程
读取数据请求:
- 客户端或应用程序发起一个读取数据的请求。
读Redis:
- 系统首先尝试从 Redis 缓存中读取数据:
- 如果从 Redis 中读取到了数据,直接返回读取的数据。
- 如果未能从 Redis 中读取到数据,执行下一步操作。
读MySQL:
- 当 Redis 中未命中(即缓存中没有请求的数据),系统将回源到 MySQL 数据库进行查询:
- 如果 MySQL 中也未能获取到相应的数据,则返回“未读取到数据”的状态或相应的错误信息给客户端。
- 如果 MySQL 查询成功,读取到所需数据。
写Redis:
- 当从 MySQL 成功读取数据后,系统会将此数据写入到 Redis 中。这样做的目的是为了缓存数据,便于后续相同请求的快速响应。
返回数据:
- 最终,无论是从 Redis 还是 MySQL 中获取的数据,都会返回给客户端或调用方。
三、Redis的安装
官方下载地址:http://download.redis.io/releases/
3.1Redis的基础环境部署
主机名 | IP | 角色 |
---|---|---|
redis-node1 | 172.25.254.14 | master |
redis-node2 | 172.25.254.24 | slave1 |
redis-node3 | 172.25.254.34 | slave2 |
注意:以下案例的实现所有环境都为Rehl9.1
# 配置好以上后,需要将防火墙关闭,以防影响案例的实现
[root@redis-node1 ~]# systemctl stop firewalld.service
[root@redis-node1 ~]# systemctl mask firewalld.service
[root@redis-node1 ~]# setenforce 0
3.2rpm包方式安装
[root@redis-node1 ~]# dnf install redis -y
正在更新 Subscription Management 软件仓库。
无法读取客户身份
本系统尚未在权利服务器中注册。可使用 subscription-manager 进行注册。
上次元数据过期检查:0:21:21 前,执行于 2024年08月25日 星期日 22时33分52秒。
依赖关系解决。
=========================================================================================
软件包 架构 版本 仓库 大小
=========================================================================================
安装:
redis x86_64 6.2.7-1.el9 Appstream 1.3 M
事务概要
=========================================================================================
安装 1 软件包
总计:1.3 M
安装大小:4.7 M
3.3 源码安装
在官网下载稳定版本的
注意:在一台主机中不能即用rpm安装也用源码安装
1.在官网下载好源码包,传送至linux系统后,进行解压
[root@redis-node1 ~]# tar zxf redis-7.4.0.tar.gz # 解压源码包
[root@redis-node1 ~]# cd redis-7.4.0/ # 进入解压目录
2.安装编译工具并启动执行编译
# 安装编译工具
[root@redis-node1 redis-7.4.0]# dnf install make gcc initscripts -y
# 执行编译命令
[root@redis-node1 redis-7.4.0]# make # 进行源码编译
[root@redis-node1 redis-7.4.0]# make install # 进行源码安装
3.启动Redis
# 启动Redis
[root@redis-node1 redis-7.4.0]# cd utils/
[root@redis-node1 utils]# ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis server
This systems seems to use systemd. # 提示系统使用的是systemd的初始化方式
Please take a look at the provided example service unit files in this directory, and adapt and stall them. Sorry!
# 注释以下检测,解决启动报错问题
[root@redis-node1 utils]# vim ./install_server.sh
76 #bail if this system is managed by systemd
77 #_pid_1_exe="$(readlink -f /proc/1/exe)"
78 #if [ "${_pid_1_exe##*/}" = systemd ]
79 #then
80 # echo "This systems seems to use systemd."
81 # echo "Please take a look at the provided example service unit files in this direct ory, and adapt and install them. Sorry!"
82 # exit 1
83 #fi
4.重新启动
[root@redis-node1 utils]# ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis server
Please select the redis port for this instance: [6379] # 端口号,点击Enter
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] # 配置文件,点击Enter
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] # 日志文件,点击Enter
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379]#数据目录,点击Enter
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server] # 命令路径,点击Enter
Selected config:
Port : 6379
Config file : /etc/redis/6379.conf
Log file : /var/log/redis_6379.log
Data dir : /var/lib/redis/6379
Executable : /usr/local/bin/redis-server
Cli Executable : /usr/local/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort. # 最后再点击Enter
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful! # 启动成功
5.配置redis
[root@redis-node1 utils]# vim /etc/redis/6379.conf # 修改配置文件
89 bind * -::*
112 # even if no authentication is configured.
113 protected-mode no # 关闭身份认证
[root@redis-node1 utils]# /etc/init.d/redis_6379 restart # 重新启动redis
Stopping ...
Redis stopped
Starting Redis server...
[root@redis-node1 utils]# netstat -antlpe | grep redis # 查看redis的端口(6379)是否在监听
tcp 0 0 0.0.0.0:6379 0.0.0.0:* LISTEN 0 79267 46334/redis-server
tcp6 0 0 :::6379 :::* LISTEN 0 79268 46334/redis-server
6.测试
# 查看信息
[root@redis-node1 utils]# redis-cli
127.0.0.1:6379> info
3.3.1 其它redis的部署
通过以上rede-node1的安装成功后,可以通过传送编译好的源码包传送到其它redis主机进行安装、配置。
1.# 在redis-node1中传送编译好的源码包
[root@redis-node1 ~]# scp -r redis-7.4.0 root@172.25.254.34:/root
2.# 安装编译工具
[root@redis-node2 ~]# dnf install make gcc initscripts -y
3.# 源码安装
[root@redis-node2 ~]# cd redis-7.4.0/
[root@redis-node2 redis-7.4.0]# make install
4.# 因为传送过来的源码编译包已经配置好,所以这里直接启动redis,不用再处理报错
[root@redis-node2 redis-7.4.0]# cd utils/
[root@redis-node2 utils]# ./install_server.sh
5.# 但是依旧需要手动修改主配置文件的设置
[root@redis-node1 utils]# vim /etc/redis/6379.conf # 修改配置文件
89 bind * -::*
112 # even if no authentication is configured.
113 protected-mode no # 关闭身份认证
6.# 重新启动redis
[root@redis-node2 utils]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...
7.# 查看redis的端口(6379)是否在监听
[root@redis-node2 utils]# netstat -antlpe | grep redis
tcp 0 0 0.0.0.0:6379 0.0.0.0:* LISTEN 0 67801 40927/redis-server
tcp6 0 0 :::6379 :::* LISTEN 0 67802 40927/redis-server
其他redes的主机操作也一致
3.3.2 源码安装的Redis服务卸载
[root@redis-node1 ~]# /etc/init.d/redis_6379 stop # 停止redis服务
[root@redis-node1 ~]# cd redis-7.4.0/ # 进入编译目录
[root@redis-node1 redis-7.4.0]# make uninstall # 执行卸载命令
[root@redis-node1 redis-7.4.0]# ps aux | grep redis # 查看是否还存在redis的进程
四、Redis的基本操作
命令 | 说明 |
---|---|
config get * | 查看配置 |
select 1 | 选择数据库 |
flushdb | 清空当前数据库 |
flushall | 清空所有数据库 |
move key 1 | 移动key |
del key | 删除 |
rename oldkey newkey | 改名 |
expire key 10 | 设置过期时间 |
persist key | 设置持久化 |
keys user* | 查询 |
exists key | 判断是否存在 |
示例:
1.查看配置
[root@redis-node1 utils]# redis-cli
127.0.0.1:6379> config get bind # 查看bind的配置
1) "bind"
2) "* -::*"
127.0.0.1:6379> config get * # 查看所有配置
2.写入和读取数据
127.0.0.1:6379> set name haha # 设置名字
OK
127.0.0.1:6379> get name # 查询名字
"haha"
3.查看key值
127.0.0.1:6379> set name haha
OK
127.0.0.1:6379> keys * # 查看所有key
1) "name"
4.选择数据库,redis中有0-15个数据库
127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> get name
(nil)
127.0.0.1:6379[1]> select 0
OK
127.0.0.1:6379> select 16
(error) ERR DB index is out of range # 超出选择范围
5.移动数据
127.0.0.1:6379> set name haha # 设定一个数据
OK
127.0.0.1:6379> move name 1 # 移动数据
(integer) 1
127.0.0.1:6379> get name # 在本来的库进行查询
(nil)
127.0.0.1:6379> select 1 # 选择到1库
OK
127.0.0.1:6379[1]> get name # 再重新查询,数据移动
"haha"
6.改变键名
127.0.0.1:6379[1]> rename name id
OK
127.0.0.1:6379[1]> get name
(nil)
127.0.0.1:6379[1]> get id
"haha"
7.设定数据过期时间
127.0.0.1:6379> set name haha ex 5 # 设置过期时间
OK
127.0.0.1:6379> get name
"haha"
127.0.0.1:6379> get name
"haha"
127.0.0.1:6379> get name
"haha"
127.0.0.1:6379> get name
(nil)
# 如果没有设定数据过期时间会一直存在, /var/lib/redis/6379/dump.rdb内存快照中
8.删除
127.0.0.1:6379> set name xixi
OK
127.0.0.1:6379> get name
"xixi"
127.0.0.1:6379> del name
(integer) 1
127.0.0.1:6379> get name
(nil)
9.持久化保存
127.0.0.1:6379> persist name
(integer) 0
10.判断key是否存在
127.0.0.1:6379> exists name
(integer) 1
127.0.0.1:6379> exists lee
(integer) 0
11.清空当前库
127.0.0.1:6379> flushdb
OK
127.0.0.1:6379> get name
(nil)
12.清空所有库
127.0.0.1:6379> flushall
ok
13.退出数据库
127.0.0.1:6379> quit
[root@redis-node1 ~]#
五、Readis的主从复制
5.2主从同步过程
- slave节点发送同步亲求到master节点
- slave节点通过master节点的认证开始进行同步
- master节点会开启bgsave进程发送内存rbd到slave节点,在此过程中是异步操作,也就是说master节点仍然可以进行写入动作
- slave节点收到rdb后首先清空自己的所有数据
- slave节点加载rdb并进行数据恢复
- 在master和slave同步过程中master还会开启新的bgsave进程把没有同步的数据进行缓存
- 然后通过自有的replactionfeedslave函数把未通过内存快照发动到slave的数据一条一条写入到slave中
5.2配置主从同步
1.修改master
[root@redis-node1 & node2 & node3 ~]# vim /etc/redis/6379.conf
protected-mode no #关闭protected模式
[root@redis-node1 &node2 & node3 ~]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...
2.配置Slave节点
[root@redis-node2 & 3 ~]# vim /etc/redis/6379.conf
replicaof 172.25.254.14 6379
[root@redis-node2 & 3 ~]# /etc/init.d/redis_6379 restart
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
Starting Redis server...
3.测试效果
# 在master中写入数据
[root@redis-node1 ~]# redis-cli
127.0.0.1:6379> set name haha
OK
# 在slave进行查看
[root@redis-node2 utils]# redis-cli
127.0.0.1:6379> get name
"haha"
六、Redis的高可用(哨兵模式)
6.1Redis哨兵模式
-
Sentinel 进程是用于监控redis集群中Master主服务器工作的状态,在Master主服务器发生故障的时候,可以实现Master和Slave服务器的切换,保证系统的高可用,此功能在redis2.6+的版本已引用,Redis的哨兵模式到了2.8版本之后就稳定了下来。一般在生产环境也建议使用Redis的2.8版本的以后版本
-
每个哨兵(Sentinel)进程会向其它哨兵(Sentinel)、Master、Slave定时发送消息,以确认对方是否”活”着,如果发现对方在指定配置时间(此项可配置)内未得到回应,则暂时认为对方已离线,也就是所谓的”主观认为宕机” (主观:是每个成员都具有的独自的而且可能相同也可能不同的意识),英文名称:Subjective Down,简称SDOWN
-
有主观宕机,对应的有客观宕机。当“哨兵群”中的多数Sentinel进程在对Master主服务器做出SDOWN 的判断,并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后,得出的Master Server下线判断,这种方式就是“客观宕机”(客观:是不依赖于某种意识而已经实际存在的一切事物),英文名称是:Objectively Down, 简称 ODOWN
-
通过一定的vote算法,从剩下的slave从服务器节点中,选一台提升为Master服务器节点,然后自动修改相关配置,并开启故障转移(failover)
-
Sentinel 机制可以解决master和slave角色的自动切换问题,但单个 Master 的性能瓶颈问题无法解决,类似于MySQL中的MHA功能
-
Redis Sentinel中的Sentinel节点个数应该为大于等于3且最好为奇数
sentinel中的三个定时任务
-
每10秒每个sentinel对master和slave执行info
- 发现slave节点
- 确认主从关系
-
每2秒每个sentinel通过master节点的channel交换信息(pub/sub)
- 通过sentinel__:hello频道交互
- 交互对节点的“看法”和自身信息
-
每1秒每个sentinel对其他sentinel和redis执行pi
6.2Redis的哨兵模式部署
注意:在所有阶段中关闭 protected-mode no
1.配置master
# 编辑配置文件
[root@redis-node1 ~]# cd redis-7.4.0/
[root@redis-node1 redis-7.4.0]# cp sentinel.conf /etc/redis/
[root@redis-node1 redis-7.4.0]# vim /etc/redis/sentinel.conf
protected-mode no # 关闭保护模式
port 26379 # 监听端口
daemonize no # 进入不打如后台
pidfile /var/run/redis-sentinel.pid # sentinel进程pid文件
loglevel notice # 日志级别
sentinel monitor mymaster 172.25.254.100 6379 2 # 创建sentinel监控监控master主
机,2表示必须得到2票
sentinel down-after-milliseconds mymaster 10000 # master中断时长,10秒连不上视为master下线
sentinel parallel-syncs mymaster 1 # 发生故障转移后,同时开始同步新master数据的slave数量
sentinel failover-timeout mymaster 180000 # 整个故障切换的超时时间为3分钟
[root@redis-node1 redis-7.4.0]# cp /etc/redis/sentinel.conf /etc/redis/sentinel.conf.bak # 对修改好的配置文件进行备份,因为在后面进行哨兵的启用后会修改配置文件,以防出现问题,将其进行备份。
2.在master复制配置文件到其他阶段
[root@redis-node1 redis]# scp sentinel.conf root@172.25.254.24:/etc/redis/
[root@redis-node1 redis]# scp sentinel.conf root@172.25.254.34:/etc/redis/
3.启动redis-sentinel
一主两从的服务都要启动
/etc/redis/sentinel.conf 文件在用哨兵程序调用后会更改其配置文件,如果需要重新做需要删掉文件重新编辑
4.测试
刚启动时
模拟故障
# 复制一个master会话窗口
[root@redis-node1 ~]# redis-cli
127.0.0.1:6379> shutdown # 关闭redis服务
(0.82s)
not connected>
再次查询
6.3 Redis哨兵模式会存在的问题以及解决方案
-
问题
在生产环境中如果master和slave中的网络出现故障,由于哨兵的存在会把master提出去当网络恢复后,master发现环境发生改变,master就会把自己的身份转换成slavemaster变成slave后会把网络故障那段时间写入自己中的数据清掉,这样数据就丢失了。
-
解决方案
master在被写入数据时会持续连接slave,mater确保有2个slave可以写入我才允许写入,如果slave数量少于2个便拒绝写入
# 在master中进行设定
[root@redis-node1 ~]# redis-cli
127.0.0.1:6379> CONFIG GET min-slaves-to-write
1) "min-slaves-to-write"
2) "0"
127.0.0.1:6379> CONFIG set min-slaves-to-write 2
OK
127.0.0.1:6379> CONFIG GET min-slaves-to-write
1) "min-slaves-to-write"
2) "2"
127.0.0.1:6379>
# 以上为临时设定,若想永久设定可以在/etc/redis/6379.conf中进行设定
# 永久设定
[root@redis-node1 ~]# vim /etc/redis/6379.conf
113 # even if no authentication is configured.
114 protected-mode no
115 min-slaves-to-write 2 # 写入设定的slave数量
[root@redis-node1 ~]# /etc/init.d/redis_6379 restart