03 redis新类型bitmap/hyperloglgo/GEO

news2024/11/29 11:36:31

亿级系统中常见的四种统计

聚合统计

  • 统计多个集合元素的聚合结果，就是前面讲解过的交差并等集合统计
  • 交并差集和聚合函数的应用

排序统计

  • 抖音视频最新评论留言的场景，请你设计一个展现列表。考察你的数据结构和设计思路
  • 设计案例和回答思路
  • 以抖音vcr最新的留言评价为案例，所有评论需要两个功能，按照时间排序+分页显示

list

  • 每个商品评价对应一个List集合，这个List包含了对这个商品的所有评论，而且会按照评论时间保存这些评论
  • 每来一个新评论就用LPUSH命令把它插入List的队头。但是，如果在演示第二页前，又产生了一个新评论，第2页的评论不一样了。
  • 原因：List是通过元素在List中的位置来排序的，当有一个新元素插入时，原先的元素在List中的位置都后移了一位，原来在第1位的元素现在排在了第2位，当LRANGE读取时，就会读到旧元素。
    在这里插入图片描述

Zset

在这里插入图片描述
在⾯对需要展示最新列表、排行榜等场景时，如果数据更新频繁或者需要分页显示，建议使⽤ZSet

二值统计

  • 集合元素的取值就只有0和1两种。在钉钉上班签到打卡的场景中，我们只用记录有签到(1)或没签到(0)
  • 见bitmap

基数统计

bitmap

是什么

在这里插入图片描述

  • 说明：用String类型作为底层数据结构实现的一种统计二值状态的数据类型
  • 位图本质是数组，它是基于String数据类型的按位的操作。该数组由多个二进制位组成，每个二进制位都对应一个偏移量(我们可以称之为一个索引或者位格)。Bitmap支持的最大位数是232位，它可以极大的节约存储空间，使用512M内存就可以存储多大42.9亿的字节信息(232 = 4294967296)
  • 由0和1状态表现的二进制位的bit数组

能干嘛

  • 用户是否登陆过Y、N，比如京东每日签到送京豆
  • 电影、广告是否被点击播放过
  • 钉钉打卡上下班，签到统计

大厂真实案例

  • 日活统计
  • 连续签到打卡
  • 最近一周的活跃用户
  • 统计指定用户一年之中的登陆天数
  • 某用户按照一年365天，哪几天登陆过？哪几天没有登陆？全年中登录的天数共计多少？

京东签到领取京豆

在这里插入图片描述

  • 签到日历仅展示当月签到数据
  • 签到日历需展示最近连续签到天数
  • 假设当前日期是20210618，且20210616未签到
  • 若20210617已签到且0618未签到，则连续签到天数为1
  • 若20210617已签到且0618已签到，则连续签到天数为2
  • 连续签到天数越多，奖励越大
  • 所有用户均可签到
  • 截至2020年3月31日的12个月，京东年度活跃用户数3.87亿，同比增长24.8%，环比增长超2500万，此外，2020年3月移动端日均活跃用户数同比增长46%假设10%左右的用户参与签到，签到用户也高达3千万

小厂方法，传统mysql方式

CREATE TABLE user_sign
(
  keyid BIGINT NOT NULL PRIMARY KEY AUTO_INCREMENT,
  user_key VARCHAR(200),#京东用户ID
  sign_date DATETIME,#签到日期(20210618)
  sign_count INT #连续签到天数
)
 
INSERT INTO user_sign(user_key,sign_date,sign_count)
VALUES ('20210618-xxxx-xxxx-xxxx-xxxxxxxxxxxx','2020-06-18 15:11:12',1);
 
SELECT
    sign_count
FROM
    user_sign
WHERE
    user_key = '20210618-xxxx-xxxx-xxxx-xxxxxxxxxxxx'
    AND sign_date BETWEEN '2020-06-17 00:00:00' AND '2020-06-18 23:59:59'
ORDER BY
    sign_date DESC
    LIMIT 1;
  • 困难和解决思路
    • 方法正确但是难以落地实现
    • 签到用户量较小时这么设计能行，但京东这个体量的用户（估算3000W签到用户，一天一条数据，一个月就是9亿数据）
    • 对于京东这样的体量，如果一条签到记录对应着当日用记录，那会很恐怖…
  • 如何解决这个痛点？
    • 一条签到记录对应一条记录，会占据越来越大的空间。
    • 一个月最多31天，刚好我们的int类型是32位，那这样一个int类型就可以搞定一个月，32位大于31天，当天来了位是1没来就是0。
    • 一条数据直接存储一个月的签到记录，不再是存储一天的签到记录。

大厂方法，基于Redis的Bitmaps实现签到日历

  • 建表-按位-redis bitmap
  • 在签到统计时，每个用户一天的签到用1个bit位就能表示，一个月（假设是31天）的签到情况用31个bit位就可以，一年的签到也只需要用365个bit位，根本不用太复杂的集合类型

基本命令

在这里插入图片描述

  • setbit

    • setbit key offset value
    • setbit 键 偏移位 只能零或者1
    • Bitmap的偏移量是从零开始算的

  • getbit

    • getbit key offset

  • setbit和getbit案例说明

    • 按照天
    • 在这里插入图片描述
    • 按照年
      • 按年去存储一个用户的签到情况，365 天只需要 365 / 8 ≈ 46 Byte，1000W 用户量一年也只需要 44 MB 就足够了。
      • 假如是亿级的系统，
        每天使用1个1亿位的Bitmap约占12MB的内存（10^8/8/1024/1024），10天的Bitmap的内存开销约为120MB，内存压力不算太高。在实际使用时，最好对Bitmap设置过期时间，让Redis自动删除不再需要的签到记录以节省内存开销。

  • bitmap的底层编码说明，get命令操作如何

    • 实质是二进制的ascii编码对应
    • redis里用type命令看看bitmap实质是什么类型？？？
    • man ascii
    • 在这里插入图片描述

  • strlen

    • 在这里插入图片描述
    • 不是字符串长度而是占据几个字节，超过8位后自己按照8位一组一byte再扩容

  • bitcount

    • 全部键里面含有1的有多少个？
    • 在这里插入图片描述
    • 一年365天，全年天天登陆占用多少字节
    • 在这里插入图片描述

hyperloglog

名词

  • UV（Unique Visitor）：独立访客，一般理解为客户端IP，需要去重考虑
  • PV（需要去重考虑）：页面浏览量，不用去重
  • DAU（Daily Active User）
    • 日活跃用户量：登录或者使用了某个产品的用户数(去重复登录的用户)
    • 常用于反映网站、互联网应用或者网络游戏的运营情况
  • MAU（MonthIy Active User）：月活跃用户量

看需求

  • 统计某个网站的UV、统计某个文章的UV
  • 用户搜索网站关键词的数量
  • 统计用户每天搜索不同词条个数

是什么

  • 去重复统计功能的基数估计算法-就是HyperLogLog
  • 在这里插入图片描述
  • 基数
    • 是一种数据集，去重复后的真实个数
    • 在这里插入图片描述
  • 基数统计：用于统计一个集合中不重复的元素个数，就是对集合去重复后剩余元素的计算

去重复统计你先会想到哪些方式？

  • HashSet
  • bitmap

    • bitmap是通过用位bit数组来表示各元素是否出现，每个元素对应一位，所需的总内存为N个bit。

    • 基数计数则将每一个元素对应到bit数组中的其中一位，比如bit数组010010101(按照从零开始下标，有的就是1、4、6、8)。

    • 新进入的元素只需要将已经有的bit数组和新加入的元素进行按位或计算就行。这个方式能大大减少内存占用且位操作迅速。

    • But，假设一个样本案例就是一亿个基数位值数据，一个样本就是一亿
      如果要统计1亿个数据的基数位值,大约需要内存100000000/8/1024/1024约等于12M,内存减少占用的效果显著。

    • 这样得到统计一个对象样本的基数值需要12M。

    • 如果统计10000个对象样本(1w个亿级),就需要117.1875G将近120G，可见使用bitmaps还是不适用大数据量下(亿级)的基数计数场景，

    • 但是bitmaps方法是精确计算的。

  • 结论：样本元素越多内存消耗急剧增大，难以管控+各种慢，对于亿级统计不太合适，大数据害死人，o(╥﹏╥)o
  • 解决方案：概率算法
    • 通过牺牲准确率来换取空间，对于不要求绝对准确率的场景下可以使用，因为概率算法不直接存储数据本身
    • 通过一定的概率统计方法预估基数值，同时保证误差在一定范围内，由于又不储存数据故此可以大大节约内存。
    • HyperLogLog就是一种概率算法的实现。

HyPerLogLog如何做的？如何演化出来的？

  • 基数统计就是HyperLogLog
  • 原理说明
    • 只是进行不重复的基数统计，不是集合也不保存数据，只记录数量而不是具体内容。
    • 有误差
      • 非精确统计
      • 牺牲准确率来换取空间，误差仅仅只是0.81%左右
    • 这个误差如何来的?论文地址和出处
      • http://antirez.com/news/75
      • Redis之父安蒂雷斯回答
      • 在这里插入图片描述
  • 经典面试题
    为什么redis集群的最大槽数是16384个？
    • Redis集群并没有使用一致性hash而是引入了哈希槽的概念。Redis 集群有16384个哈希槽，每个key通过CRC16校验后对16384取模来决定放置哪个槽，集群的每个节点负责一部分hash槽。但为什么哈希槽的数量是16384（2^14）个呢？
    • CRC16算法产生的hash值有16bit，该算法可以产生2^16=65536个值。换句话说值是分布在0~65535之间。那作者在做mod运算的时候，为什么不mod65536，而选择mod16384？
    • 在这里插入图片描述
  • 说明：
    • 在这里插入图片描述
    • 正常的心跳数据包带有节点的完整配置，可以用幂等方式用旧的节点替换旧节点，以便更新旧的配置。这意味着它们包含原始节点的插槽配置，该节点使用2k的空间和16k的插槽，但是会使用8k的空间（使用65k的插槽）。同时，由于其他设计折衷，Redis集群不太可能扩展到1000个以上的主节点。因此16k处于正确的范围内，以确保每个主机具有足够的插槽，最多可容纳1000个矩阵，但数量足够少，可以轻松地将插槽配置作为原始位图传播。请注意，在小型群集中，位图将难以压缩，因为当N较小时，位图将设置的slot / N位占设置位的很大百分比。
    • 如果槽位为65536，发送心跳信息的消息头达8k，发送的心跳包过于庞大。在消息头中最占空间的是myslots[CLUSTER_SLOTS/8]。 当槽位为65536时，这块的大小是: 65536÷8÷1024=8kb 因为每秒钟，redis节点需要发送一定数量的ping消息作为心跳包，如果槽位为65536，这个ping消息的消息头太大了，浪费带宽。
    • redis的集群主节点数量基本不可能超过1000个。集群节点越多，心跳包的消息体内携带的数据越多。如果节点过1000个，也会导致网络拥堵。因此redis作者不建议redis cluster节点数量超过1000个。 那么，对于节点数在1000以内的redis cluster集群，16384个槽位够用了。没有必要拓展到65536个。
    • 槽位越小，节点少的情况下，压缩比高，容易传输。Redis主节点的配置信息中它所负责的哈希槽是通过一张bitmap的形式来保存的，在传输过程中会对bitmap进行压缩，但是如果bitmap的填充率slots / N很高的话(N表示节点数)，bitmap的压缩率就很低。 如果节点数很少，而哈希槽数量很多的话，bitmap的压缩率就很低。

基本命令

在这里插入图片描述
在这里插入图片描述

案例实战:天猫网站首页亿级UV的Redis统计方案

需求

  • UV的统计需要去重，一个用户一天内的多次访问只能算作一次
  • 淘宝、天猫首页的UV，平均每天是1~1.5个亿左右
  • 每天存1.5个亿的IP，访问者来了后先去查是否存在，不存在加入

方案讨论

  • 用redis的hash结构存储
    • 在这里插入图片描述
    • redis——hash = <keyDay,<ip,1>>
    • 按照ipv4的结构来说明，每个ipv4的地址最多是15个字节(ip = “192.168.111.1”，最多xxx.xxx.xxx.xxx)
    • 某一天的1.5亿 * 15个字节= 2G，一个月60G，redis死定了。o(╥﹏╥)o
  • hyperloglog
    • 在这里插入图片描述

代码实现

HyperLogLogController

package com.learn.controller;

import io.swagger.annotations.Api;
import io.swagger.annotations.ApiOperation;
import lombok.extern.slf4j.Slf4j;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import javax.annotation.Resource;

/**
 * @author YSK
 * @since 2023/5/30 18:01
 */
@RestController
@Slf4j
@Api(description = "案例实战总03:天猫网站首页亿级UV的Redis统计方案")
public class HyperLogLogController {
    @Resource
    private RedisTemplate redisTemplate;

    @ApiOperation("获得ip去重复后的首页访问量，总数统计")
    @GetMapping(value = "/uv")
    public long uv()
    {
        //pfcount
        return redisTemplate.opsForHyperLogLog().size("hll");
    }
}

HyperLogLogService

package com.learn.service;

import lombok.extern.slf4j.Slf4j;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Service;

import javax.annotation.PostConstruct;
import javax.annotation.Resource;
import java.util.Random;
import java.util.concurrent.TimeUnit;

/**
 * @author YSK
 * @since 2023/5/30 18:02
 */
@Service
@Slf4j
public class HyperLogLogService {
    @Resource
    private RedisTemplate redisTemplate;

    /**
     * 模拟有用户来点击首页，每个用户就是不同的ip，不重复记录，重复不记录
     */
    @PostConstruct
    public void init()
    {
        log.info("------模拟后台有用户点击，每个用户ip不同");
        //自己启动线程模拟，实际上产不是线程
        new Thread(() -> {
            String ip = null;
            for (int i = 1; i <=200; i++) {
                Random random = new Random();
                ip = random.nextInt(255)+"."+random.nextInt(255)+"."+random.nextInt(255)+"."+random.nextInt(255);

                Long hll = redisTemplate.opsForHyperLogLog().add("hll", ip);
                log.info("ip={},该ip访问过的次数={}",ip,hll);
                //暂停3秒钟线程
                try { TimeUnit.SECONDS.sleep(3); } catch (InterruptedException e) { e.printStackTrace(); }
            }
        },"t1").start();
    }
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/589966.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

3.java高级之GUI编程

3.java高级之GUI编程

1.gui (graphical user interface) awt sun公司最早的gui,不美观,不兼容各平台swing : awt升级2.顶层容器(只有一个)(其他的只能放这里)Jframe Jdialog对话框 Jwindow(x) //在main方法写fnew Jframe(); f.setSize(300,300); //设置大小f.setTitle("hello"); //设置…
阅读更多...
java条件语句

java条件语句

文章目录 一、java条件语句1、Java 条件语句 - if...else2、Java switch case 语句 总结 一、java条件语句 1、Java 条件语句 - if…else Java 中的条件语句允许程序根据条件的不同执行不同的代码块。 一个 if 语句包含一个布尔表达式和一条或多条语句。 语法 if 语句的语法…
阅读更多...
你真的了解kotlin中协程的suspendCoroutine原理吗?

你真的了解kotlin中协程的suspendCoroutine原理吗?

文章目录 什么是协程suspendCoroutineUninterceptedOrReturnsuspendCoroutineUninterceptedOrReturn存在的问题suspendCoroutinesuspendCancellableCoroutine ​ 引言&#xff1a; 在Kotlin协程中&#xff0c;如何让一个suspned 函数挂起&#xff1f;如何让挂起协程恢复&#…
阅读更多...
STM32G4 比较器COMPx（寄存器开发）

STM32G4 比较器COMPx（寄存器开发）

目录 1. 特性1.1 框图1.2 比较器输入信号SEL1.3 比较器滞回选择HYST1.4 比较器的输出1.5 LOCK机制 2. 编程2.1 初始化步骤2.2 举例 STM内部的比较器是模拟量的比较器&#xff0c;其与APB2时钟同步&#xff0c;在RCC时钟控制器中没有COMx时钟使能标志位&#xff0c;其时钟的使能…
阅读更多...
前端自学要多久？自学前端一般多久可以找到差不多的工作？

前端自学要多久？自学前端一般多久可以找到差不多的工作？

好程序员今天给各位同学分享自学前端的高效率路径&#xff0c;最快4个月&#xff0c;平均6个月&#xff01; 一、html, CSS (1月) 1.基本语法, 2.做2-3个项目实战 3.刷面试题 二、JavaScript (1.5月) 1.基本语法 2.实际案例练习融合HTML, Css项目实战 3.刷题面试题 三、Vue/Rea…
阅读更多...
Java 高级应用-多线程-（三）实现 Callable 接口与使用线程池创建线程

Java 高级应用-多线程-（三）实现 Callable 接口与使用线程池创建线程

实现 Callable 接口 • 与使用 Runnable 相比&#xff0c; Callable 功能更强大些 – 相比 run()方法&#xff0c;可以有返回值 – 方法可以抛出异常 – 支持泛型的返回值&#xff08;需要借助 FutureTask 类&#xff0c;获取返回结果&#xff09; • Future 接口&#xff08;…
阅读更多...
游戏研发项目管理

游戏研发项目管理

基于阶段模式进行游戏新产品研发过程&#xff0c;以及基于这种研发过程Leangoo 领歌提供的项目模板。 二、游戏产品开发流程 通常开发一款新游戏大体上会按照如下流程来进行&#xff1a; 1&#xff09; 概念阶段 – Concept 主策根据产品创意&#xff0c;确定游戏策划草案&a…
阅读更多...
C++中的内存空间管理详解【C++】

C++中的内存空间管理详解【C++】

文章目录 C/C内存分布C语言中动态内存管理方式&#xff1a;malloc/calloc/realloc/freeC内存管理方式new/delete操作内置类型new和delete操作自定义类型 operator new与operator delete函数重载operator new与operator deletenew和delete的实现原理内置类型自定义类型 定位new表…
阅读更多...
使用tomcat可能遇到的问题

使用tomcat可能遇到的问题

问题一&#xff1a;窗口一闪而过 如果双击startup.bat&#xff0c;启动tomcat&#xff0c;命令窗口一闪而过&#xff1b;或者用命令窗口执行startup.bat命令&#xff0c;未能启动tomcat&#xff0c;而是提示下面的文字&#xff1b; 说明可能是java的环境变量配置错误&#xf…
阅读更多...
让ChatGPT谈谈科技发展

让ChatGPT谈谈科技发展

ChatGPT谈科技发展 讲讲科技发展的那些事儿谈谈ChatGPT对科技发展的影响谈谈你对ChatGPT的看法ChatGPT对科技发展的负面影响ChatGPT的存在是利是弊&#xff1f;关于全国科技者工作日 讲讲科技发展的那些事儿 谈谈ChatGPT对科技发展的影响 谈谈你对ChatGPT的看法 ChatGPT对科技发…
阅读更多...
pdf怎么合并成一个文件？高效工具分享

pdf怎么合并成一个文件？高效工具分享

PDF是一种非常常用的文档格式&#xff0c;许多人经常需要合并多个PDF文件为一个文件。这是因为有时候我们需要将多个PDF文件打包成一个文件&#xff0c;以便于共享或归档。在本文中&#xff0c;我们将介绍如何使用电脑或手机合并PDF文件。 以下是常见的合并PDF的软件&#xff1…
阅读更多...
以太坊Layer 2即将爆发！加密巨头入场布局，或将迎来“百链大战”！

以太坊Layer 2即将爆发！加密巨头入场布局，或将迎来“百链大战”！

眼下&#xff0c;以太坊Layer 2发展势头强劲。在数十条Rollup Layer 2异彩纷呈之际&#xff0c;Coinbase、ConsenSys等加密巨头也开始下场参与竞争&#xff0c;部署原生Layer 2网络。 截至2022年底&#xff0c;Layer 2解决方案的日均交易数在持续增加&#xff0c;甚至超过了以太…
阅读更多...
牛客网语法篇刷题(C语言) — 基本类型

牛客网语法篇刷题(C语言) — 基本类型

&#x1f929;本文作者&#xff1a;大家好&#xff0c;我是paperjie&#xff0c;感谢你阅读本文&#xff0c;欢迎一建三连哦。 &#x1f970;内容专栏&#xff1a;这里是《C语言—语法篇》专栏&#xff0c;笔者用重金(时间和精力)打造&#xff0c;基础知识一网打尽&#xff0c;…
阅读更多...
如何制作插件使用案例？

如何制作插件使用案例？

UE5 插件开发指南 前言0 示例角色蓝图1测试关卡2 扩展物品数据3 小结前言 作为一款插件，我们一定想要开发者拿到之后立即知道如何使用，所以我们需要制作插件使用案例，最好搭配相应的文档教会插件的使用者如何使用插件，如何对插件的功能进行扩展。为了达到这样的目标，我们…
阅读更多...
TOPSIS(优劣解距离法)【附Python实现代码及可视化代码】

TOPSIS(优劣解距离法)【附Python实现代码及可视化代码】

目录 一、指标正向化 1.极小型指标->极大型指标 2.中间型指标->极大型指标 3.区间型指标->极大型指标 二、标准化处理 三、计算得分并归一化(不带权重) 四、计算得分并归一化(带权重) 熵权法 1&#xff09;判断输入的矩阵是否存在负数 2&#xff09;计算第j…
阅读更多...
通过 Wacom 的 Project Mercury 提高远程办公效率

通过 Wacom 的 Project Mercury 提高远程办公效率

过去几年中&#xff0c;我们的工作方式发生了翻天覆地的变化。疫情加快了对远程办公和协作的采纳&#xff0c;导致人们更加依赖技术来联系团队和提高工作效率。 但是&#xff0c;那些依靠专门硬件和软件来完成工作的创作者呢&#xff1f;艺术家、设计师和开发人员需要使用专门…
阅读更多...
34 KVM管理设备-管理虚拟磁盘

34 KVM管理设备-管理虚拟磁盘

文章目录 34 KVM管理设备-管理虚拟磁盘34.1 概述34.2 操作步骤 34 KVM管理设备-管理虚拟磁盘 34.1 概述 虚拟磁盘类型主要包含virtio-blk、virtio-scsi、vhost-scsi等。virtio-blk模拟的是一种block设备&#xff0c;virtio-scsi和vhost-scsi模拟的是一种scsi设备。 virtio-b…
阅读更多...
window部署redis集群

window部署redis集群

1.下载Redis-x64-3.2.100.zip 下载网址&#xff1a;https://github.com/microsoftarchive/redis 百度网盘下载&#xff1a;百度网盘 请输入提取码 提取码&#xff1a;j2js redis版本一定要大于3.0&#xff0c;原因&#xff1a;windows暂不支持redis-cli创建集群&#xff0c;…
阅读更多...
TPP0100泰克无源电压探头

TPP0100泰克无源电压探头

tektronix泰克TPP0100 和 TPP0101无源电压探头是输入电阻为 10 M? 的 100 MHz、10X 无源电压探头。这些探头是和 1 MΩ/13 pF (TPP0100) 和 1 MΩ/20 pF (TPP0101) 输入的 BNC示波器搭配 使用。 tektronix泰克TPP0100无源电压探头特点 带宽 直流至 100 M…
阅读更多...
Day5 统计回文、连续最大和

Day5 统计回文、连续最大和

✨个人主页&#xff1a; 北 海 &#x1f389;所属专栏&#xff1a; C/C相关题解 &#x1f383;操作环境&#xff1a; Visual Studio 2019 版本 16.11.17 文章目录 选择题1.C指针/链表/结构 编程题1.统计回文2.连续最大和 选择题 1.C指针/链表/结构 题目&#xff1a;下面两个结…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023