2023.12.28 关于 Redis 数据类型 List 内部编码、应用场景

news2025/4/24 12:51:44

目录

List 编码方式

早期版本

现今版本

List 实际应用

多表之间的关联关系

消息队列

频道(多列表)消息队列

微博 Timeline

栈 & 队列


List 编码方式

早期版本

  • 早期版本 List 类型的内部编码方式有两种
  1. ziplist(压缩列表)
  2. linkedlist(链表)
  • 两个配置项
  1. list-max-ziplist-entries 配置
  2. list-max-ziplist-value 配置

注意:

  • 现版本 Redis 已不再使用这两个配置项
  • 且上述的 两种编码方式 为早期版本 Reids 中的 List 类型内部编码方式

现今版本

  • 现今版本 Redis 使用 quicklist 作为 List 类型的内部编码方式
  • quicklist 相当于 ziplist 和 linkedlist 的结合

  • quicklist 整体上还是一个 linkedlist ,但 linkedlist 的每个节点均为一个 ziplist

特点:

  • 每个节点上的 ziplist 不会太大,且这多个 ziplist 通过链式结构链接起来

配置项:

  • 该配置项描述了每个节点 ziplist 的阈值
  • 当 ziplist 满足阈值,便将其分裂成多个列表节点,即多个 ziplist 
  • 再将这多个 ziplist 通过链式结构链接起来

注意:

  • 观察上图注释信息,ziplist 的阈值为可选项
  • 所以我们还需针对当前业务场景,来选择合适的阈值!

实例理解

  • 我们通过 object encoding key 来查看编码方式

List 实际应用

多表之间的关联关系

  • 可将 list 作为 数组 这样的结构来存储多个元素

实例理解

  • 使用 MySQL 表示学生和班级信息

  • 上图 MySQL 表结构 可以很方便的实现 查询指定班级中有哪些同学
  • Redis 所提供的查询功能 是不如 MySQL 的
  • 所以我们可以通过往 Redis 中插入 List 类型键值对直接将 学生 和 班级信息 进行关联

  • 结合上图实例,Redis 通过 List 类型 便可以将 学生 和 班级信息 关联起来
  • 从而能很轻易的实现 查询指定班级中有哪些同学

注意:

  • 此处除了使用 Hash 类型表示学生信息,也可使用 String + JSON 的方式来表示学生信息
  • 即 具体 Redis 中的数据是如何组织的,都需根据实际的业务情况来决定

消息队列

  • 生产者消费者模型

  • 上图的 brpop 为阻塞操作
  • 当列表为空时,brpop 命令便会阻塞等待,一直等到其他客户端向列表中 lpush 元素为止

重点理解:

  • 此处 只有一个消费者能抢到元素

通俗理解:

  • 谁先执行的 brpop 命令,谁就能拿到这个新 lpush 的元素
  • 该设定便能很好的构成 "轮询" 效果

实例理解

  • 假设此时列表为空,三个消费者(A、B、C)按顺序执行 brpop 命令进行阻塞等待
  • 即执行顺序为 消费者A ——> 消费者B ——> 消费者C
  • 当有新元素到达列表时,该新元素将被 消费者A 获取,且 brpop 命令立即返回,标志着 消费者A 完成了一次消费操作
  • 若消费者A 想要继续消费,必须再次执行 brpop 命令
  • 此时执行顺序变为 消费者B ——> 消费者C ——> 消费者A
  • 如果再有新元素到达,消费者B 将获取该元素,且 brpop 命令立即返回,标志着 消费者 B 完成了一次消费操作

总结:

  • 上述实例所描述的这种轮询方式,即消费者们按照固定的顺序交替执行 brpop 命令
  • 很好的实现了对阻塞队列的有序消费

频道(多列表)消息队列

  • 多列表/频道 这种场景是比较常见的

实例理解

  • 日常使用的程序,比如抖音
  • 一个频道 用来传输短视频数据
  • 一个频道 用来传输弹幕
  • 还可以有多个频道,用来传输点赞、转发、收藏、评论数据

优点:

  • 多频道模式 一定程度上保证了在某种数据发生问题的时候,不会对其他数据造成影响
  • 具有一定的 解耦合 作用

微博 Timeline

  • 每个用户都拥有属于自己的 Timeline(微博列表),现需要分页展示文章列表
  • 此时便可以考虑使用列表,因为列表不但是有序的,且支持按照索引范围获取元素

实例理解

  • 每篇微博使用 哈希结构存储
  • 此处包含三个属性(title、timestamp、content)
hmset mblog:1 title xx timestamp 1476536196 content xxxxx
...
hmset mblog:n title xx timestamp 1476536196 content xxxxx
  • 向用户 Timeline 添加微博,使用 List 类型
  • 此处使用 user:<uid>:mblogs 作为微博的键
lpush user:1:mblogs mblog:2 mblog:4
...
lpush user:k:mblogs mblog:n
  • 分页获取用户的 Timeline
  • 此处假设获取用户1 的前 5 篇微博
keylist = lrange user:1:mblogs 0 4
for key in keylist {
 hgetall key
}

问题一:

  • 当前一页中有多少数据是不确定,所以有可能会导致 for 循环比较大
  • 从而会触发多次 hgetall 命令,即多次 网络请求

解决方法:

  • 使用 pipeline(流水线、管道)
  • 虽然此处是多个 Redis 命令,但是通过 pipeline 我们可以将这些命令合并成一个 网络请求 进行通信
  • 由此可以大大降低 客户端 和 服务器 之间的交互次数

问题二:

  • lrange 在列表两端表现较好,获取列表中间的元素表现较差

解决方案:

  • 将文章对应的 list 进行切分
  • 假设某用户发布了 1w 篇微博,则 list 的长度为 1w
  • 如果将这 1w 篇微博拆分成 10 份,即 每份1k 篇微博
  • 此时如果想获取第 5k 篇左右的微博
  • 即直接找到第五个列表,进行遍历即可
  • 通过这样的拆分方式便能降低单个 list 的长度,并加快中间位置元素的查询速度

栈 & 队列

  • 同侧存取(lpush+lpop 或 rpush+rpop)为栈
  • 异侧存取(lpush+rpop 或 rpush+lpop)为队列

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1345632.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

论文阅读<Contrastive Learning-based Robust Object Detection under Smoky Conditions>

论文链接&#xff1a;https://openaccess.thecvf.com/content/CVPR2022W/UG2/papers/Wu_Contrastive_Learning-Based_Robust_Object_Detection_Under_Smoky_Conditions_CVPRW_2022_paper.pdf Abstract 目标检测是指有效地找出图像中感兴趣的目标&#xff0c;然后准确地确定它们…

ssrf之gopher协议的使用和配置,以及需要注意的细节

gopher协议 目录 gopher协议 &#xff08;1&#xff09;安装一个cn &#xff08;2&#xff09;使用Gopher协议发送一个请求&#xff0c;环境为&#xff1a;nc起一个监听&#xff0c;curl发送gopher请求 &#xff08;3&#xff09;使用curl发送http请求&#xff0c;命令为 …

【MATLAB】PSO粒子群优化LSTM(PSO_LSTM)的时间序列预测

有意向获取代码&#xff0c;请转文末观看代码获取方式~也可转原文链接获取~ 1 基本定义 PSO粒子群优化LSTM&#xff08;PSO-LSTM&#xff09;是一种将粒子群优化算法&#xff08;PSO&#xff09;与长短期记忆神经网络&#xff08;LSTM&#xff09;相结合的混合模型。该算法通过…

Kubernetes技术与架构-集群管理

Kubernetes技术与架构提供支撑工具支持集群的规划、安装、创建以及管理。 数字证书 用户可以使用easyrsa、openssl、cfssl工具生成数字证书&#xff0c;在kubernetes集群的api server中部署数字证书用于访问鉴权 资源管理 如上所示&#xff0c;定义一个服务类service用于负…

计算机视觉技术-目标检测数据集

目标检测领域没有像MNIST和Fashion-MNIST那样的小数据集。 为了快速测试目标检测模型&#xff0c;我们收集并标记了一个小型数据集。 首先&#xff0c;我们拍摄了一组香蕉的照片&#xff0c;并生成了1000张不同角度和大小的香蕉图像。 然后&#xff0c;我们在一些背景图片的随机…

【计算机网络】第五,六章摘要重点

1.运输层协议概述 运输层提供的是进程之间的通信 2. 3.套接字指的是什么 ip地址端口号 4.每一条TCP语句唯一地被通信两端连接的两个端点 5.TCP传输如何实现 以字节为单位的滑动窗口 超时重传 选择确认 6.TCP流量控制和拥塞控制的区别 流量控制&#xff1a;点对点通信…

android 13.0 Launcher3长按app弹窗设置为圆角背景功能实现一

1.前言 在13.0的系统ROM定制化开发中,在进行一些Launcher3的定制化开发中,在使用app的弹窗的功能时,会弹出应用信息和微件之类的内容,所以在定制需求中,需要默认设置为圆角背景,接下来就来分析下相关功能的实现 如图: 2.Launcher3长按app弹窗设置为圆角背景功能实现的核…

如何高效查询文件:Linux 下的多种方法详解

如何高效查询文件&#xff1a;Linux 下的多种方法详解 在日常工作中&#xff0c;我们经常需要查找文件&#xff0c;无论是寻找特定的代码文件、配置文件还是其他文档。Linux 提供了多种强大的命令和工具&#xff0c;通过巧妙地使用管道符&#xff0c;我们可以将这些命令组合起来…

2023年03月17日_微软和谷歌办公AI的感慨

2023年3月17日 最近这个科技圈的消息 有点爆炸的让人应接不暇了 各种大公司简直就是神仙打架 你从来没有见过这么密集的 这么高频的产品发布 昨天微软是发布了Office 365 Copilot 在里边提供了大量的AI的功能 然后谷歌呢也发布了这个Google Workspace AI 也是跟365 Cop…

学生数据可视化与分析工具 vue3+flask实现

目录 一、技术栈亮点 二、功能特点 三、应用场景 四、结语 学生数据可视化与分析工具介绍 在当今的教育领域&#xff0c;数据驱动的决策正变得越来越重要。为了满足学校、教师和学生对于数据深度洞察的需求&#xff0c;我们推出了一款基于Vue3和Flask编写的学生数据可视化…

利用idea+ jclasslib插件查看和分析 Java 类文件的字节码

jclasslib介绍 jclasslib 插件是一个用于 IntelliJ IDEA 的工具&#xff0c;它允许开发者在集成开发环境&#xff08;IDE&#xff09;内直接查看和分析 Java 类文件的字节码。这个插件尤其对于想要深入了解 Java 字节码、类加载机制、以及 Java 虚拟机&#xff08;JVM&#xf…

[Angular] 笔记 22:ElementRef

chatgpt: ElementRef 是 Angular 中的一个类&#xff0c;它用于包装对 DOM 元素的引用。它允许开发者直接访问与 Angular 组件关联的宿主 DOM 元素。 当在 Angular 中需要直接操作 DOM 元素时&#xff0c;可以使用 ElementRef。通常情况下&#xff0c;最好避免直接操作 DOM&a…

性能优化-如何提高cache命中率

本文主要介绍性能优化领域常见的cache的命中率问题&#xff0c;旨在全面的介绍提高cache命中率的方法&#xff0c;以供大家编写出性能友好的代码&#xff0c;并且可以应对性能优化领域的面试问题。 &#x1f3ac;个人简介&#xff1a;一个全栈工程师的升级之路&#xff01; &am…

Grafana监控数据可视化

Grafana 是一个可视化面板&#xff0c;有着非常漂亮的图表和布局展示&#xff0c;功能齐全的度量仪表盘和图形编辑器&#xff0c;支持 Graphite、zabbix、InfluxDB、Prometheus、OpenTSDB、Elasticsearch 等作为数据源&#xff0c;比 Prometheus 自带的图表展示功能强大太多&am…

论文阅读——Slide-Transformer(cvpr2023)

Slide-Transformer: Hierarchical Vision Transformer with Local Self-Attention 一、分析 1、改进transformer的几个思路&#xff1a; &#xff08;1&#xff09;将全局感受野控制在较小区域&#xff0c;如&#xff1a;PVT&#xff0c;DAT&#xff0c;使用稀疏全局注意力来…

Mysql 容易忘的 sql 指令总结

目录 一、操作数据库的基本指令 二、查询语句的指令 1、基本查询语句 2、模糊查询 3、分支查询 4、 分组查询 5、分组查询 6、基本查询总结&#xff1a; 7、子查询 8、连接查询 三、MySQL中的常用函数 1、时间函数 2、字符串函数 3、聚合函数 4、运算函数 四、表…

使用element中el-cascader级联选择器实现省市区街道筛选(非动态加载)

<template><el-form ref"form" :model"form" label-width"80px"><el-form-item label"地址:" prop"addressList"><el-cascaderv-model"form.addressList":props"props":options&q…

NModbus-一个C#的Modbus协议库实现

NModbus-一个基于C#实现的Modbus通信协议库 最近在学习C#的时候&#xff0c;因为之前做过环保设备时使用C做过环保设备采集使用到了Modbus协议&#xff0c;当时看了一下基于C语言开发的libmodbus库。所以特意搜索看了一下C#下有什么Modbus协议库&#xff0c;在Github上面找了一…

代数结构与图论

文章目录 图的基本概念欧拉图与哈密顿图树平面图代数系统群与环格与布尔代数 图的基本概念 图的阶&#xff1a;图中的顶点数 &#xff0c;n 个顶点被称为 n 阶图零图&#xff1a;一条边都没有 平凡图&#xff1a;一阶零图基图&#xff1a;将有向图的各条有向边改成无向边所得到…

基于CNN神经网络的手写字符识别实验报告

作业要求 具体实验内容根据实际情况自拟&#xff0c;可以是传统的BP神经网络&#xff0c;Hopfield神经网络&#xff0c;也可以是深度学习相关内容。 数据集自选&#xff0c;可以是自建数据集&#xff0c;或MNIST&#xff0c;CIFAR10等公开数据集。 实验报告内容包括但不限于&am…