Go singleflight 第三方库在防止缓存击穿中的重要作用

news2024/9/25 17:18:53

参考:

  • Go并发——singleflight - 知乎
  • 十一. Go并发编程–singleflight - failymao - 博客园

一、背景

介绍:Go的singleflight库提供了一个重复的函数调用抑制机制。
场景:适用于并发读请求量较大的后台服务,以降低存储层的压力。
在大量请求同时请求某一个热点key的场景下,singleflight方法可以很好的解决缓存击穿问题。

  • 优点:可以避免同一时间内,大量相同的流量请求都打到数据库上进而引起其压力。通过限制对同一个键值对的多次重复请求,减少对下游如MySQL的瞬时流量。
  • 缺点:但是依然有可能阻塞大量请求导致系统等待获取缓存数据的goroutine激增,因此需要灵活使用 DoCall()异步调用方法和 Forget()方法。

二、原理

将一组相同的请求合并成一个请求。实际上最终只会有 第一个 请求会访问DB,在其获取到结果后,通过本地内存对剩余其他阻塞的请求返回相同结果
在这里插入图片描述
如上图所示:请求1、2、3同时请求相同的key,singleflight机制只会让请求1访问DB,请求1返回的value不仅返回给客户端1,也作为请求2、请求3的结果返回给客户端。这里的多请求理解为多个goroutine并发执行。

底层实际上是通过 go map(区分是否是相同key的请求) + lock(线程安全) + waitgroup(阻塞其他请求),将请求1从DB获取的结果直接通过本地内存去返回给其他相同的请求。

三、使用方法

// Do:传入key和fn回调函数,如果key相同,fn方法只会执行一次,同步等待
// 返回值v:表示fn执行结果
// 返回值err:表示fn的返回的err
// 返回值shared:表示是否是真实fn返回的还是从保存的map[key]返回的,也就是共享的
func (g *Group) Do(key string, fn func() (interface{}, error)) (v interface{}, err error, shared bool) {...}

// DoChan:与Do方法类似,区别在于执行函数fn非阻塞,结果通过chan返回给同组请求
func (g *Group) DoChan(key string, fn func() (interface{}, error)) <-chan Result {...}

// Forget:用于主动删除Group的m(map类型)成员中的指定key
// 这样同一批中具有相同key的其他请求,就不会被waitgroup阻塞而等待了 
// 控制key关联值是否失效,默认以上两方法只要fn执行完成,内部维护的fn值也删除(即并发结束后就失效了)
func (g *Group) Forget(key string) {...}

四、底层数据结构

// Group:实现singleflight机制的对象,多个请求共用一个group。
// mu:锁,该字段保证并发安全
// m:map类型,该字段保存请求键值对,使用m保证同一键只有一个call对象。
type Group struct {
   mu sync.Mutex       // 锁,保证m的并发安全
   m  map[string]*call // 保存请求(key),对应的调用信息(value)包括返回结果等 【懒加载】
}

// Call:调用信息,包括结果和一些统计字段。多个请求的key相同,只会有一个请求被调用
type call struct {
   // 通过wg的机制可以保证阻塞相同key的其他请求。
   wg sync.WaitGroup

   // 请求返回结果,保证在wg.Done之前只写入一次,且在wg.Done之后才会读
   val interface{}
   err error

   // 当前key是否调用了Forget方法
   forgotten bool

   // 统计相同key的次数
   dups  int
   // 请求返回结果,但是DoChan方法调用,用channel进行通知。
   chans []chan<- Result
}

// Result:请求的返回结果
type Result struct {
   // 返回值
   Val interface{}
   Err error
   // 是否共享(多个相同key的请求等待)
   Shared bool
}

Do
这里只介绍关键的Do方法,它用来执行传入的函数fn。更多源码剖析 参考:大佬文章

这里有两个关键步骤:

  • ★①★:针对第一个并发请求,这里只有第一个请求会调用 Add(1),其他的都会调用 wait 被阻塞掉
  • ★②★:针对除了第一个请求之外的其他并发请求,进来后会阻塞在Wait这里,等待第一个请求执行完毕或超时Forget
func (g *Group) Do(key string, fn func() (interface{}, error)) (v interface{}, err error, shared bool) {
	g.mu.Lock()
 
    // 前面Group.m中提到的【懒加载】
    if g.m == nil {
		g.m = make(map[string]*call)
	}
 
    // 先判断 key 是否已经存在
	if c, ok := g.m[key]; ok {
       	// 如果存在就会解锁
		c.dups++
		g.mu.Unlock()
 
        // ★②★ 除了第一个请求之外的其他请求,进来后会阻塞在Wait这里,等待第一个请求执行完毕或超时Forget
        // 然后等待 WaitGroup 请求执行完毕,只要一执行完,所有的 wait 都会被唤醒
		c.wg.Wait()
 
        // 这里区分 panic 错误和 runtime 的错误,避免出现死锁,后面可以看到为什么这么做
		if e, ok := c.err.(*panicError); ok {
			panic(e)
		} else if c.err == errGoexit {
			runtime.Goexit()
		}
		return c.val, c.err, true
	}
 
    // 如果我们没有找到这个 key 就 new call
	c := new(call)
 
    // ★①★ 这里只有第一个请求会调用 Add(1),其他的都会调用 wait 被阻塞掉
    // 所以这要这次调用返回,所有阻塞的调用都会被唤醒
	c.wg.Add(1)
	g.m[key] = c
	g.mu.Unlock()
 
    // 然后我们调用 doCall 去执行
	g.doCall(c, key, fn)
	return c.val, c.err, c.dups > 0
}

五、回顾与总结:

场景: 在大量请求同时请求某一个热点key的场景下,singleflight库可以很好的解决缓存击穿问题。它通过减少对下游的相同请求,来增加系统吞吐量和服务质量

作用:当多个goroutine并发执行时,它们会共享同一份内存。这意味着如果一个goroutine正在执行某个函数,而另一个goroutine同时或几乎同时也调用了同一个函数,那么第二个goroutine将会等待第一个goroutine完成,然后直接获取和使用第一个goroutine的结果。这就是singleflight库所做的事情:它确保了对函数的重复调用在逻辑上是串行的,以减少不必要的计算或网络请求(比如:可以减少其他被阻塞的一批请求,再次去访问MySQL或Redis获取重复结果,所带来的性能消耗)。

原理: 通过 go map(区分是否是相同key的请求) + lock(线程安全) + waitgroup(阻塞其他请求),将第一个请求从DB获取的结果直接通过本地内存去返回给其他相同的并发请求。

注意点: 不过在使用时,我们也需要注意以下几个问题:

  • singleflight 分别提供了同步和异步的调用方式,这让我们使用起来也更加灵活:
    • Do()用于同步阻塞调用传入的函数。
    • DoChan用于异步调用传入的参数并通过 Channel 接收函数返回值。
  • Forget用于主动丢弃超时或异常的key(删除map中某个key → Group.m),防止当前请求故障而导致所有相同key的请求都阻塞住
  • 一旦调用的函数fn返回了错误,所有在等待的其他 Goroutine 也都会接收到相同的错误。
  • DoDoChan方法的第一个参数为key,用于标识不同的任务或请求。在真实业务场景下,key的生成方式可以根据具体需求来确定,但通常需要遵循一定的规则和约定。举个例子:
// 场景:用户概览页 → 安全播报功能
// 在安全播报功能中,展示相关产品:功能更新、行业荣誉、紧急通知和版本发布信息。

// 付费用户类型:不同的付费用户类型有不同的安全播报信息(1-基础版、2-专业版、3-旗舰版...)

// 背景:1、日活用户3000;2、安全播报数据存于MySQL中,且数据量较多
// 为了避免缓存击穿问题的发生,这里引入了 singleflight

// getSafetyBroadcastKey 获取key,传入singleflight的Do/DoChan方法的参数key中
func (d *Dao) getSafetyBroadcastKey(userType int) string {
	// 1-基础版、2-专业版、3-旗舰版
	return fmt.Sprintf("safety_broadcast_%d", userType)
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1551605.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

I.MX6ULL_Linux_驱动篇(55)linux 网络驱动

网络驱动是 linux 里面驱动三巨头之一&#xff0c; linux 下的网络功能非常强大&#xff0c;嵌入式 linux 中也常常用到网络功能。前面我们已经讲过了字符设备驱动和块设备驱动&#xff0c;本章我们就来学习一下linux 里面的网络设备驱动。 嵌入式网络简介 网络硬件接口 首先…

Linux(3)软件安装-Centos 8.1安装-硬盘分区方案对比-linux上运行jar包-File上传下载

四、软件安装 1、Centos 8.1安装 1.1 安装过程 1、下载 CentOS 8.1 ISO 镜像文件 访问 CentOS 官方网站的下载页面。选择适当的版本&#xff0c;例如 CentOS Linux 8.1 (Linux Kernel 5.10.0-36)。根据您的硬件架构下载对应的 ISO 镜像文件&#xff08;如 CentOS-8.1-x86_6…

MySQL:十二类查询汇总(源码+解析 超全超详解!!!)

目录 一、全列查询 二、指定列查询 三、查询的字段为表达式 四、别名查询 五、去重查询&#xff1a;DISTINCT 六、排序查询&#xff1a;ORDER BY 七、条件查询&#xff1a;WHERE 注意&#xff1a; 范例&#xff1a; 1、基本查询 2、AND 与 OR 3、BETWEEN … AND ……

华为OD机试 - 考古问题 - 回溯、全排列问题(Java 2024 C卷 200分)

华为OD机试 2024C卷题库疯狂收录中&#xff0c;刷题点这里 专栏导读 本专栏收录于《华为OD机试&#xff08;JAVA&#xff09;真题&#xff08;A卷B卷C卷&#xff09;》。 刷的越多&#xff0c;抽中的概率越大&#xff0c;每一题都有详细的答题思路、详细的代码注释、样例测试…

外包干了4年,技术退步明显。。。。

说一下自己的情况&#xff0c;本科生&#xff0c;19年通过校招进入上海某软件公司&#xff0c;干了接近4年的功能测试&#xff0c;今年年初&#xff0c;感觉自己不能够在这样下去了&#xff0c;长时间呆在一个舒适的环境会让一个人堕落!而我已经在一个企业干了四年的功能测试&a…

Github万星项目lobe-chat,连接GPT4GPTs,平替chatgpt-plus

简介 Lobe Chat - 一个开源、高性能的聊天机器人框架&#xff0c;支持语音合成、多模态和可扩展的函数调用插件系统。支持一键免费部署您的私人 ChatGPT/LLM Web 应用程序。 项目地址&#xff1a; GitHub - lobehub/lobe-chat: &#x1f92f; Lobe Chat - an open-source, mo…

【学习】企业为什么要做性能测试?性能测试有何优势?

性能测试是一种软件测试&#xff0c;可确保应用程序在工作负载下运行良好。性能测试的目标不是发现错误&#xff0c;而是消除性能瓶颈&#xff0c;同时度量系统关键指标。 一、为什么要做性能测试 1.性能测试向利益相关者告知其应用程序的速度、可扩展性和稳定性。 2.它揭示了…

第5章.零、单例与小样本提示词的编写之道

零提示、单个提示和小样本提示是用于从ChatGPT中生成文本的技术。在数据匮乏或任务全新、定义模糊之时&#xff0c;我们用微妙的提示&#xff0c;让ChatGPT从无到有&#xff0c;生成文本。 面对任务&#xff0c;空无一例&#xff1a;模型凭借对任务的广泛理解&#xff0c;独辟…

【MongoDB】一问带你深入理解什么是MongDB,MongoDB超超详细保姆级教程

目录 1、MongoDB概述2、MongoDB 主要特点2.1、文档2.2、集合2.3、数据库2.4、数据模型 3、Windows安装MongoDB3.1、下载MongoDB3.2、安装MongoDB3.3、配置MongoDB 4、Linux安装MongoDB4.1、下载MongoDB4.2、解压安装4.3、安装一个可视化工具 5、MongoDB基本操作及增删改查5.1、…

数据结构进阶篇 之 【二叉树链序存储】的整体实现讲解

封建迷信我嗤之以鼻&#xff0c;财神殿前我长跪不起 一、二叉树链式结构的实现 1.二叉树的创建 1.1 手动创建 1.2 前序递归创建 2.二叉树的遍历 2.1 前序&#xff0c;中序以及后序遍历概念 2.2 层序遍历概念 2.3 前序打印实现 2.4 中序打印实现 2.4 后序打印实现 2.…

YOLOv9改进策略 :neck优化 | 路径融合GFPN,小目标到大目标一网打尽 | 轻骨干重Neck的轻量级目标检测器GiraffeDet

&#x1f4a1;&#x1f4a1;&#x1f4a1;本文改进内容&#xff1a;设计了一种新的路径融合GFPN&#xff1a;包含跳层与跨尺度连接&#xff0c;改进思路来自ICLR2022 GiraffeDet的核心思想。 &#x1f4a1;&#x1f4a1;&#x1f4a1;GFPN和六个检测头结合&#xff0c;这种跳层…

Git命令及GUI基本操作

不习惯使用Git命令的可移步下面Git GUI基本操作 Git 常用命令 git branch 查看本地所有分支 git status 查看当前状态 git commit 提交 git branch -a 查看所有的分支 git branch -r 查看本地所有分支 git commit -am "init" 提交并且加注释 git remote add orig…

20个超实用Python魔法方法

大家好&#xff01;今天我们要一起探索Python世界的神秘角落——那些被称为“魔法方法”的特殊成员方法。它们就像是编程中的魔法咒语&#xff0c;赋予你的类各种神奇特性&#xff0c;让你的代码更加简洁、强大且有趣味&#xff01; __init__&#xff1a;这是每个对象出生时都要…

Python爬虫实战—探索某网站电影排名

文章目录 Python爬虫实战—探索某网站电影排名准备工作编写爬虫代码代码解析运行情况截图进一步优化和说明完整代码总结 说明&#xff1a;本案例以XXX网站为例&#xff0c;已隐去具体网站名称与地址。 Python爬虫实战—探索某网站电影排名 网络爬虫是一种自动化程序&#xff0…

多线程的学习1

多线程 线程是操作系统能够进入运算调度的最小单位。它被包含在进程之中&#xff0c;是进程中的实际运作单位。 进程&#xff1a;是程序的基本执行实体。 并发&#xff1a;在同一个时刻&#xff0c;有多个指令在单个CPU上交替执行。 并行&#xff1a;在同一时刻&#xff0c…

js改变图片曝光度(高亮度)

方法一&#xff1a; 原理&#xff1a; 使用canvas进行滤镜操作&#xff0c;通过改变图片数据每个像素点的RGB值来提高图片亮度。 缺点 当前项目使用的是svg&#xff0c;而不是canvas 调整出来的效果不是很好&#xff0c;图片不是高亮&#xff0c;而是有些发白 效果 代码 …

OC对象 - Block解决循环引用

文章目录 OC对象 - Block解决循环引用前言1. 循环引用示例1.1 分析 2. 解决思路3. ARC下3.1 __weak3.2 __unsafe_unretained3.3 __block 4. MRC下4.1 __unsafe_unretain....4.1 __block 5. 总结5.1 ARC下5.2 MRC下 OC对象 - Block解决循环引用 前言 本章将会通过一个循环引用…

GitHub如何验证2FA,烦人的认证,看完几分钟解锁

序言 今天需要使用GitHub&#xff0c;还是不能用&#xff0c;需要2FA认证&#xff0c;没办法&#xff0c;还是让2FA认证流程来&#xff0c;一一解决&#xff0c;在解决这认证问题之前&#xff0c;先说说2FA认证是什么&#xff1f; 什么是2FA 2FA 是指两步验证&#xff08;Two…

用搜索引擎收集信息-常用方式

1&#xff0c;site csdn.net &#xff08;下图表示只在csdn网站里搜索java&#xff09; 2&#xff0c;filetype:pdf &#xff08;表示只检索某pdf文件类型&#xff09; 表示在浏览器里面查找有关java的pdf文件 3&#xff0c;intitle:花花 &#xff08;表示搜索网页标题里面有花…

【小尘送书-第十五期】Excel函数与公式应用大全for Excel 365 Excel

大家好&#xff0c;我是小尘&#xff0c;欢迎你的关注&#xff01;大家可以一起交流学习&#xff01;欢迎大家在CSDN后台私信我&#xff01;一起讨论学习&#xff0c;讨论如何找到满意的工作&#xff01; &#x1f468;‍&#x1f4bb;博主主页&#xff1a;小尘要自信 &#x1…