Redis最佳实践 | 黑马Redis高级篇

news2025/1/16 16:55:55

目录

一、Redis键值设计

1、优雅的key结构

2、BigKey问题

什么是BigKey

BigKey的危害

如何发现BigKey

如何删除BigKey

3、恰当的数据类型

二、批处理优化

1、Pipeline

大量数据导入的方式

MSET

Pipeline

2、集群下的批处理

三、服务端优化

1、持久化配置

2、慢查询

3、命令及安全配置

4、内存配置

四、集群最佳实践

1、集群完整性问题

2、集群带宽问题

3、集群还是主从

一、Redis键值设计

1、优雅的key结构

Redis的Key虽然可以自定义，但是最好遵循下面的几个最佳实践约定：

遵循基本的格式： [业务名称]:[数据名]:[id] ，长度不超过44字节，不包含特殊字符

优点：

可读性强、避免key冲突、方便管理

2、BigKey问题

什么是BigKey

BigKey指以Key的大小和Key中成员的数量来综合判定

  • Key本身的数据量过大：一个String类型的Key，它的值为5MB
  • Key中的成员数过多：一个ZSET类型的Key，它的成员数量为10000个
  • Key中成员的数据量过大：一个Hash类型的Key，它的成员数量虽然只有1000个但这些成员的Value值总大小为100MB

推荐：

  • 单个key的value小于10KB
  • 对于集合类型的key，建议元素数量小于1000

BigKey的危害

网络堵塞：少量的QPS就可能导致带宽使用率被占满，导致Redis实例，乃至物理机变慢

数据倾斜：bigkey所在的redis内存使用率远远超过其他实例，无法让数据分片的内存资源达到均衡

Redis阻塞：对元素较多的hash、list、zset等做运算会耗时较久，使主线程被阻塞

CPU压力：对bigKey数据序列化和反序列化会导致cpu使用率飙升，影响redis实例

如何发现BigKey

如何删除BigKey

BigKey内存占用较多，即便是删除都很耗时，导致redis主线程堵塞，引发一些列问题

redis 3.0以下版本

如果是集合类型，则遍历BigKey（扫描）的元素，先逐个删除子元素，最后删除bigKey

redis4.0以后提供了异步删除的命令：unlink

3、恰当的数据类型

假如有hash类型的key，其中100万对feiid和value，feild是自增id，这个key什么问题怎么优化？

存在问题：

hash的entry数量超过500时，会使用哈希表而不是ziplist，内存占用较多

可以通过hash-max-ziplist-entries配置entry上限调大，但是如果entry过多会导致bigkey问题

优化方案

我们可以把hash打散的方式来优化

二、批处理优化

1、Pipeline

大量数据导入的方式

网络传输耗时相对来说是非常大的，所以我们要尽量避免多次请求

MSET

Redis提供了很多Mxxx这样的命令，可以实现批量插入数据

  • mset（只能处理字符串）
  • hmset（只能处理hash）

利用mset批量插入10万条数据：

注意：不要一次批处理中传输太多命令，否则单词命令占用带宽过多，会导致网络堵塞

Pipeline

MSET虽然可以批处理，但是却只能操作部分数据类型，有复杂数据类型的批处理需要，建议使用Pipeline功能：

Piepline是没有数据类型限制的可以任意做组合

但是Piepline的多个命令之间不像mset多条命令原子性，中间可能有其他代码执行，所以速度相对会比较慢

2、集群下的批处理

如MSET或Piepline这样的批处理需要一次请求中携带多条命令，而此时如果Redis是一个集群，那批处理命令的多个key必须落在一个插槽中，否则就会导致执行失败

其实当我们要实现集群下批处理的时候，直接使用spring提供的stringRedisTemplate就行，底层已经帮我们封装好了

底层是异步执行的并行的方式，第三种，性能最好的一种

三、服务端优化

1、持久化配置

Redis持久化虽然可以保证数据安全，但也会带来很多额外开销，因此持久化要遵循以下建议：

  • 用来做缓存的redis实例尽量不要开持久化功能
  • 建议关闭RDB持久化功能，使用AOF持久化
  • 利用脚本定期在slave节点做RDB，实现数据备份（不建议频繁做，一段时间做一次，尽量从节点做）
  • 合理的rewrite阈值，避免频繁的bgrewrite
  • 配置no-appendfsync-on-rewrite=yes，禁止rewrite期间做aof，避免aof引起堵塞。（因为在aof时主线程要将数据写到aof缓冲区，有独立线程刷盘，主线程还会判断耗时，如果耗时超过2秒，会堵塞主线程。这时加如正在执行bgrewrite，磁盘io会影响aof刷盘从而导致主线程堵塞，但是这个期间没有aof可能导致数据丢失）

部署建议：

redis实例的物理机要预留足够内存来应付fork（可能内存翻倍）和rewrite（重写也要读取内存）

单个redis实例内存上限不要太大。可以加快fork（如果单节点过大，要同步更多数据）的速度、减小主从同步、数据迁移压力

不要与cpu密集型应用部署一起

不要与高硬盘负载应用一起部署（因为重写也要大量io也会影响性能）

2、慢查询

慢查询：redis执行耗时超过某个阈值的命令

redis是单线程的，每次命令进来就会进入队列，如果执行慢查询，后面的都可能等待过久超时，所以我们解决掉慢查询

慢查询的阈值可以配置指定：

slowlog-log-slower-than：慢查询阈值，单位微妙。默认是10000，建议1000

慢查询会被放入慢查询日志中，日志长度有上限，可以配置：

slowlog-max-len：慢查询日志（本质是队列）的长度默认128，建议1000

我们可以用上面的命令找到他，加以分析解决，如果是数据结构问题，我们就选择更优的方案等

3、命令及安全配置

Redis会绑定0.0.0.0:6379，这样将redis服务暴露在公网上，而redis如果没有做身份认证，会出现严重安全漏洞， Redis未授权访问配合SSH key文件利用分析 - 腾讯云开发者社区-腾讯云

出现的原因：

  • Redis未设置密码
  • 利用了redis的config set命令动态修改redis配置
  • 使用root账号权限启动redis

为了避免这样漏洞，可以：

4、内存配置

当Redis内存不足，可能导致key频繁被删除，响应时间边长，qps不稳定等问题，当内存使用率达到90%就需要警惕，并快速定位到内存占用原因

我们要给普通客户端加上上限，默认都是没有上限，如果发的都是bigkey可能把内存占满

我们同时也要尽可能避免出现bigkey适当增大物理机的带宽

另外两个客户端都是有上限的，所以不用太担心内存溢出

可以通过下面命令看有没有移除： 

四、集群最佳实践

1、集群完整性问题

redis认为有插槽坏了就是有一部分数据丢失，影响数据完整性所以整个集群停止服务

但是我们开发看重可用性，所以不建议开启，部分插槽不可以集群也能服务

2、集群带宽问题

集群节点之间会不断相互ping确定其他节点状态，每次ping都包含：插槽信息、集群状态信息

集群中节点越多，集群状态信息数据量越大，10个节点相关信息可能达到1kb，此时每次集群互通需要的带宽会非常高

解决途径：

  • 避免大集群，集群节点数不要太多，最好少于1000，如果业务庞大，建立多个集群
  • 避免单个物理机中运行太多redis实例
  • 配置合适的cluster-node-timeout值

3、集群还是主从

集群虽然具备高可用性能，能实现自动故障恢复，但是如果使用不当，也会存在一些问题：

单体的redis已经达到百万级别的qps，并且也具备很强的高可用特性，如果主从能满足业务需求的情况下，尽量不搭建redis集群

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/198092.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

MyBatis案例 | 使用映射配置文件实现CRUD操作——多条件查询

MyBatis案例 | 使用映射配置文件实现CRUD操作——多条件查询

本专栏主要是记录学习完JavaSE后学习JavaWeb部分的一些知识点总结以及遇到的一些问题等，如果刚开始学习Java的小伙伴可以点击下方连接查看专栏 本专栏地址：🔥JavaWeb Java入门篇： 🔥Java基础学习篇 Java进阶学习篇&…
阅读更多...
【论文阅读】Exathlon: A Benchmark for Explainable Anomaly Detection over Time Series

【论文阅读】Exathlon: A Benchmark for Explainable Anomaly Detection over Time Series

论文来源 标题: Exathlon: A Benchmark for Explainable Anomaly Detection over Time Series (Vincent Jacob,2021) 作者: Vincent Jacob, Fei Song, Arnaud Stiegler, Bijan Rad, Yanlei Diao, Nesime Tatbul 期刊: Proceedings of the VLDB Endowment 研究问题 Exathlon是…
阅读更多...
尚医通（三）医院设置模块后端 | swagger | 统一日志 | 统一返回结果

尚医通（三）医院设置模块后端 | swagger | 统一日志 | 统一返回结果

目录一、医院设置模块需求二、医院设置表结构三、医院模块配置四、医院查询功能1、创建包结构，创建SpringBoot启动类2、编写controller代码3、创建SpringBoot配置类5、运行启动类6、统一返回的json时间格式五、医院设置逻辑删除功能1、HospitalSetController添加删除…
阅读更多...
CDA Level Ⅱ 模拟题（二）

CDA Level Ⅱ 模拟题（二）

练习题 【单选题】1/20 一项针对全国25-35岁用户群的手机喜好调查，但调研项目经费大概是10万元，并且用户群相对集中在中国中部城市。前期预调研显示，用户群的数值方差和调研费用不等。以下哪种情况是比较适宜的调查方式？ A.简单随…
阅读更多...
【C++入门】

【C++入门】

目录1、命名空间1.1、命名空间定义1.2、命名空间的使用2、C输入和输出3、缺省参数3.1 缺省参数概念3.2缺省参数分类4、函数重载4.1、函数重载概念4.2 C支持函数重载的原理--名字修饰5、引用5.1、引用概念5.2、引用特性5.3、常引用5.4、使用场景5.5、传值、传引用效率比较5.6、引…
阅读更多...
【JavaEE】如何构造 HTTP请求认识HTTPS

【JavaEE】如何构造 HTTP请求认识HTTPS

✨哈喽，进来的小伙伴们，你们好耶！✨ 🛰️🛰️系列专栏:【JavaEE】 ✈️✈️本篇内容:如何构造 HTTP 请求同时认识HTTPS！ 🚀🚀代码存放仓库gitee：JavaEE代码！ …
阅读更多...
HW在即，那些被遗忘的物理安全还好吗？

HW在即，那些被遗忘的物理安全还好吗？

近段时间，一个网络攻击的段子在互联网上火了起来。 “某公司被黑客勒索，每20分钟断一次网，给公司带来了极其严重的影响，但通过技术手段怎么也找不到问题。最后公司发现是黑客买通了保安，每20分钟拔一次网线。” 看完…
阅读更多...
即时通讯系列---如何设计消息协议层方案

即时通讯系列---如何设计消息协议层方案

1. 前言 上篇即时通讯系列—如何下手做技术方案设计 最后总结出IM系统的端侧基本结构 后续文章将从下到上以此做架构设计. 本文Agenda 什么是消息同步同步协议的常见设计方案包含哪些应该采用哪种方案方案细节 2. 名词定义: 消息漫游 : 用户如何从消息服务器获取会话和消息…
阅读更多...
MITK2021.02编译记录

MITK2021.02编译记录

编译成功效果 编译文件夹 参考教程 https://libaineu2004.blog.csdn.net/article/details/124202508?spm1001.2101.3001.6650.6&utm_mediumdistribute.pc_relevant.none-task-blog-2%7Edefault%7EOPENSEARCH%7ERate-6-124202508-blog-76460702.pc_relevant_aa2&depth_…
阅读更多...
C语言——数据在内存中的存储

C语言——数据在内存中的存储

C语言——数据的存储一、C语言中常见的数据类型1.1 数据类型的基本归类二. 整型在内存中的存储2.1原码、反码、补码知识回顾2.2大小端字节序2.2.1 何为大小端字节序2.2.2为什么会产生大小端字节序2.2.3练习三、浮点型在内存中的存储3.1浮点数存储规则一、C语言中常见的数据类型…
阅读更多...
Java两大工具库：Commons和Guava（5）

Java两大工具库：Commons和Guava（5）

您好，我是湘王，这是我的CSDN博客。值此新春佳节，我给您拜年啦～祝您在新的一年中所求皆所愿，所行皆坦途，展宏“兔”，有钱“兔”，多喜乐，常安宁！在开发中&#…
阅读更多...
C语言最鸡肋的关键字

C语言最鸡肋的关键字

C语言的关键字有很多，要说最不常见的，我觉得应该是auto。 说它不常见，因为很多时候，我们都把它给省略了。 比如在函数内部定义变量a，正常人都会这样写： void function() {int a; }很少有人会在前面加一个…
阅读更多...
1616_MIT 6.828 program header相关只是小结

1616_MIT 6.828 program header相关只是小结

全部学习汇总： GreyZhang/g_unix: some basic learning about unix operating system. (github.com) 前面刚刚分析了elf的header，看了两行代码又遇到了program的header。又是一个概念类的问题，还得去简单了解下。 1. 这里面的信息其实是可能有…
阅读更多...
hgame2023 week2 writeup

hgame2023 week2 writeup

WEEK2 文章目录WEEK2web1、Git Leakage2、v2board3、DesignerRE1、before_main2、stream3、VidarCamera4、mathpwn1、YukkuriSay2、editable_note3、fast_note4、new_fast_noteCrypto1、零元购年货商店2、包里有什么3、Rabin3、RSA 大冒险1misc1、Tetris Master2、Sign In Pro …
阅读更多...
深入理解Linux网络学习总结

深入理解Linux网络学习总结

文章目录一、绪论二、内核如何接收网络包1、收包流程的一些核心概念2、网络接收过程总览三、内核如何与用户进程协作1、进程的一些基础概念3、同步阻塞IO工作流程4、epoll工作流程四、内核如何发送网络包1、发包流程的一些基础概念2、网络发送过程总览3、发包流程的内存拷贝操作…
阅读更多...
Cnetsdk:PDF 转图像转换器 SDK 大文档轻松转

Cnetsdk:PDF 转图像转换器 SDK 大文档轻松转

.NET PDF 到图像转换器 SDK，成熟的PDF转换器 CnetSDK .NET PDF Converter for Images是一个完整的PDF到图像转换解决方案。无需将任何其他 Adob​​e 或 PDF 阅读器安装到您的 .NET 应用程序（C# 或 VB.NET），例如 Windows 和 ASP.N…
阅读更多...
Cnetsdk.NET PDF 条码阅读器 SDK

Cnetsdk.NET PDF 条码阅读器 SDK

.NET PDF 条码阅读器 SDK 易于整合 Cnetsdk.NET PDF 条码阅读器 SDK易于添加和集成到您的 C# 和 VB.NET 应用程序开发中。您只需要将您的 VS .NET 项目引用添加到 CnetSDK .NET PDF Barcode Reader SDK 库 dll。这个独立的 .NET 库与 .NET Framework 2.0、Visual Studio 2005、…
阅读更多...
Linux（常用操作+服务器部署项目运行环境的过程记录）

Linux（常用操作+服务器部署项目运行环境的过程记录）

Linux（常用操作实例springboot项目（包含数据库）打包上传，配置到腾讯云轻量级服务器，中间一些错误也记录了解决方法和自己的理解） Linux中一切皆文件【文件: 读写执行(查看、创建、删除、移动、复制、编辑)…
阅读更多...
java易错题锦集一

java易错题锦集一

易错题 字符串 题一 原题链接 public class Example { String str new String("good"); char[] ch {a,b,c}; public static void main(String[] args) { Example ex new Example(); ex.change(ex.str, ex.ch); System.out.print(ex.str "and"); Syst…
阅读更多...
Spring设计模式总结

Spring设计模式总结

Spring 框架用到了哪些设计模式？ 代理模式 总述 所谓代理，是指它与被代理对象实现了相同的接口，客户端必须通过代理才能与被代理的目标类进行交互，而代理一般在交互的过程中（交互前后），进行某…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023