Golang | 每日一练 (3)

news2025/2/25 4:30:36

💢欢迎来到张胤尘的技术站
💥技术如江河，汇聚众志成。代码似星辰，照亮行征程。开源精神长，传承永不忘。携手共前行，未来更辉煌💥

文章目录

  • Golang | 每日一练 (3)
    • 题目
    • 参考答案
      • `map` 实现原理
        • `hmap`
        • `bmap`
        • 数据存储模型
        • 键值底层访问
          • 竞态检测
          • `Sanitizer` 检测
          • 空检查
          • 并发写检查
          • 哈希值计算
          • 桶定位
          • 扩容情况处理
          • 桶内查找
      • 安全并发访问 `map`
        • 使用 `sync.Mutex` 或者 `sync.RWMutex`
        • 并发安全的 `sync.Map`

Golang | 每日一练 (3)

题目

golang 中的 map 是如何实现的？如何安全地并发访问 map？

参考答案

map 实现原理

golang 中，map 是一种灵活且高效的数据结构，底层是基于哈希表实现，键值对存储数据。

在 map 的内部由两个核心结构体组成：hmap 和 bmap 。

hmap

hmap 是 golang 中 map 的底层核心数据结构之一，它封装了哈希表的所有关键信息。源码如下所示：

源码位置：src/runtime/map.go

// A header for a Go map.
type hmap struct {
	// Note: the format of the hmap is also encoded in cmd/compile/internal/reflectdata/reflect.go.
	// Make sure this stays in sync with the compiler's definition.
	count     int // # live cells == size of map.  Must be first (used by len() builtin)
	flags     uint8
	B         uint8  // log_2 of # of buckets (can hold up to loadFactor * 2^B items)
	noverflow uint16 // approximate number of overflow buckets; see incrnoverflow for details
	hash0     uint32 // hash seed

	buckets    unsafe.Pointer // array of 2^B Buckets. may be nil if count==0.
	oldbuckets unsafe.Pointer // previous bucket array of half the size, non-nil only when growing
	nevacuate  uintptr        // progress counter for evacuation (buckets less than this have been evacuated)

	extra *mapextra // optional fields
}
  • count：表示当前 map 中存储的键值对数量，len() 直接访问它。
  • flags：用于存储一些标志位，例如是否正在扩容、是否需要清理等。
  • B：表示桶的数量为 2^B。例如，如果 B = 3，则桶的数量为 2^3 = 8。B 的值决定了 buckets 数组的大小。
  • noverflow：表示溢出桶的数量。当一个桶满了（最多存储 8 对键值对），会创建一个溢出桶，并通过链表连接。
  • hash0：哈希种子，用于计算键的哈希值。通过哈希种子可以避免哈希冲突，增加哈希值的随机性。
  • buckets：指向底层桶数组的指针，桶数组的大小为 2^B，每个桶是一个 bmap 结构体。
  • oldbuckets：在扩容时，旧的桶数组会存储在这里。新的桶数组大小是旧数组的两倍。扩容完成后，oldbuckets 会被释放。
  • nevacuate：用于记录扩容进度的计数器。表示已经迁移完成的桶数量。
  • extra：存储一些可选字段。
bmap

bmap 是存储键值对的“桶”，每个桶可以存储最多 8 对键值对。源码如下所示：

源码位置：src/runtime/map.go

// A bucket for a Go map.
type bmap struct {
	// tophash generally contains the top byte of the hash value
	// for each key in this bucket. If tophash[0] < minTopHash,
	// tophash[0] is a bucket evacuation state instead.
	tophash [abi.MapBucketCount]uint8
	// Followed by bucketCnt keys and then bucketCnt elems.
	// NOTE: packing all the keys together and then all the elems together makes the
	// code a bit more complicated than alternating key/elem/key/elem/... but it allows
	// us to eliminate padding which would be needed for, e.g., map[int64]int8.
	// Followed by an overflow pointer.
}
  • tophash：abi.MapBucketCount 是一个常量，值为 8。存储每个键的哈希值的最高字节（top byte）。特殊情况：如果 tophash[0] < minTopHash，则表示该桶处于迁移状态，而不是存储键的哈希值。
// Maximum number of key/elem pairs a bucket can hold.
MapBucketCountBits = 3 // log2 of number of elements in a bucket.
MapBucketCount     = 1 << MapBucketCountBits

minTopHash     = 5 // minimum tophash for a normal filled cell.

  • 在 tophash 之后，bmap 会依次存储键和值。键和值的存储方式是连续的：先存储所有键（bucketCnt 个键），然后存储所有值（bucketCnt 个值）。这种设计可以减少内存对齐时的填充，从而节省内存。例如，在 map[int64]int8 的情况下，如果键和值交替存储，可能会因为对齐问题浪费内存。

  • 最后在每个 bmap 的末尾包含一个指向下一个溢出桶的指针（overflow）。当一个桶满了（最多存储 8 对键值对）时，会通过链表的方式创建一个溢出桶，用于存储额外的键值对。

数据存储模型

例如：在64位平台上有一个 map[int]string，键的大小为 8 字节（int64），值的大小为 16 字节（指向字符串数据的指针（8 字节）和字符串的长度（8 字节））。一个 bmap 的内存布局如下所示：

在这里插入图片描述

键值底层访问

由 map 数据存储模型可知，因为键和值的存储是动态的，访问键和值时就需要通过指针偏移来实现。源码内容如下所示：

源码位置：src/runtime/map.go

// mapaccess1 returns a pointer to h[key].  Never returns nil, instead
// it will return a reference to the zero object for the elem type if
// the key is not in the map.
// NOTE: The returned pointer may keep the whole map live, so don't
// hold onto it for very long.
func mapaccess1(t *maptype, h *hmap, key unsafe.Pointer) unsafe.Pointer {
    // ...
}
  • t *maptype：map 的类型信息，例如键的类型、值的类型、哈希函数等。
  • h *hmap： map 的底层结构，包含哈希表的元数据（如桶数组、键值对数量等）。
  • key unsafe.Pointer：查找目标键的指针。
  • 返回值：返回指向值的指针。如果键不存在，则返回值类型的零值的指针。

对于 mapaccess1 源码的流程进行了如下步骤的拆解：

  • 竞态检测
  • Sanitizer 检测
  • 空检查
  • 并发写检查
  • 哈希值计算
  • 桶定位
  • 扩容情况处理
  • 桶查找

下面针对每一步骤进行详细说明。

竞态检测

如果启用了竞态检测，记录当前操作的上下文，以便在发生竞态时能够追踪。

if raceenabled && h != nil {
    callerpc := getcallerpc()
    pc := abi.FuncPCABIInternal(mapaccess1)
    racereadpc(unsafe.Pointer(h), callerpc, pc)
    raceReadObjectPC(t.Key, key, callerpc, pc)
}
Sanitizer 检测

msanread 会标记对 key 的读取操作，确保该内存区域已经被正确初始化。防止程序读取未初始化的内存，从而避免潜在的未定义行为。

asanread 会检查对 key 的读取操作是否安全，例如是否越界或是否访问了已释放的内存。

if msanenabled && h != nil {
    msanread(key, t.Key.Size_)
}
if asanenabled && h != nil {
    asanread(key, t.Key.Size_)
}
空检查

如果 map 为空，直接返回值类型的零值。

if h == nil || h.count == 0 {
    if err := mapKeyError(t, key); err != nil {
        panic(err) // see issue 23734
    }
    return unsafe.Pointer(&zeroVal[0])
}
并发写检查

如果 map 正在被写入（hashWriting 标志被设置），抛出并发读写错误，这一点也表明 map 并不支持并发安全。

if h.flags&hashWriting != 0 {
    fatal("concurrent map read and map write")
}
哈希值计算

使用键的哈希函数计算哈希值，其中 h.hash0 是哈希种子，用于避免哈希冲突。

hash := t.Hasher(key, uintptr(h.hash0))
桶定位

代码中使用哈希值的低 B 位（bucketMask(h.B)）定位到初始桶。其中 BucketSize 是每个桶的大小（包括键和值的存储）。

m := bucketMask(h.B)
b := (*bmap)(add(h.buckets, (hash&m)*uintptr(t.BucketSize)))
扩容情况处理

如果当前真正在扩容，那么检查旧的桶数组 oldbuckets。如果旧桶尚未迁移完成（!evacuated(oldb)），使用旧桶进行查找。

if c := h.oldbuckets; c != nil {
    if !h.sameSizeGrow() {
        // There used to be half as many buckets; mask down one more power of two.
        // 如果扩容前的桶数量是当前的一半，进一步掩码哈希值
        m >>= 1
    }
    oldb := (*bmap)(add(c, (hash&m)*uintptr(t.BucketSize)))
    if !evacuated(oldb) {
        b = oldb
    }
}
桶内查找
// 获取键的哈希值的最高字节
top := tophash(hash)
bucketloop:
	// 遍历当前桶及其溢出桶
	for ; b != nil; b = b.overflow(t) {
        // 遍历桶内的所有键值对
		for i := uintptr(0); i < abi.MapBucketCount; i++ {
            // 检查当前个键的哈希值最高字节是否匹配，如果不相等，说明当前槽位的键与目标键不匹配
			if b.tophash[i] != top {
                // 如果遇到空槽（emptyRest）跳出桶循环，因为后续槽位都是空的
				if b.tophash[i] == emptyRest {
					break bucketloop
				}
                // 不匹配则跳过当前槽位
				continue
			}
            
           	// 计算第 i 个键的地址
			k := add(unsafe.Pointer(b), dataOffset+i*uintptr(t.KeySize))
            // 如果键是指针类型，解引用键的指针
			if t.IndirectKey() {
				k = *((*unsafe.Pointer)(k))
			}
            
            // 比较传入的键和当前键是否相等
			if t.Key.Equal(key, k) {
                // 计算第 i 个值的地址
				e := add(unsafe.Pointer(b), dataOffset+abi.MapBucketCount*uintptr(t.KeySize)+i*uintptr(t.ValueSize))
				// 如果值是指针类型，解引用值的指针
                if t.IndirectElem() {
					e = *((*unsafe.Pointer)(e))
				}
                // 返回值的指针
				return e
			}
		}
	}
	
	// 如果未找到，则返回值类型的零值指针
	return unsafe.Pointer(&zeroVal[0])

根据上一小结中的 bmap 数据存储模型可知，桶内查找中最为重要的就是键的偏移量计算和值的偏移量计算，如下所示：

k := add(unsafe.Pointer(b), dataOffset+i*uintptr(t.KeySize))

其中，dataOffset 是 tophash 数组之后的偏移量，i * uintptr(t.KeySize) 是计算得第 i 个键的偏移量。

e := add(unsafe.Pointer(b), dataOffset+abi.MapBucketCount*uintptr(t.KeySize)+i*uintptr(t.ValueSize))

其中，dataOffset + abi.MapBucketCount*uintptr(t.KeySize) 是值的起始偏移量（所有键之后）；i * uintptr(t.ValueSize) 是第 i 个值的偏移量。

安全并发访问 map

由前一节可知， map 并非并发安全的，直接在多个 goroutine 中并发的修改同一个 map 时，会导致数据竞争和不可预测的行为。

为了安全地并发访问 map，可以采用以下几种方法：

使用 sync.Mutex 或者 sync.RWMutex

代码如下所示：

package main

import (
	"fmt"
	"sync"
)

func main() {
	var mu sync.RWMutex
	myMap := make(map[int]int)

	var wg sync.WaitGroup
	for i := 0; i < 100; i++ { // 启动100个协程
		wg.Add(1)
		go func(val int) {
			defer wg.Done()
			mu.Lock() // 加写锁
			myMap[val] = val * 2
			mu.Unlock() // 释放写锁
		}(i)
	}

	wg.Wait() // 等待协程结束

	mu.RLock() // 加读锁
	fmt.Println("Map content:", myMap)
	mu.RUnlock() // 释放读锁
}

在读取时使用 mu.RLock() 和 mu.RUnlock()，在写入时使用 mu.Lock() 和 mu.Unlock()。另外 sync.RWMutex 允许多个读操作并发执行，但写操作互斥。

并发安全的 sync.Map

代码如下所示：

package main

import (
	"fmt"
	"sync"
)

func main() {
	var myMap sync.Map

	var wg sync.WaitGroup
	for i := 0; i < 10; i++ {
		wg.Add(1)
		go func(val int) {
			defer wg.Done()
			myMap.Store(val, val*2) // 存储键值对
		}(i)
	}

	wg.Wait()

	// Key: 0, Value: 0
	// Key: 2, Value: 4
	// Key: 3, Value: 6
	// Key: 7, Value: 14
	// Key: 8, Value: 16
	// Key: 9, Value: 18
	// Key: 1, Value: 2
	// Key: 4, Value: 8
	// Key: 5, Value: 10
	// Key: 6, Value: 12
	myMap.Range(func(key, value interface{}) bool { // 遍历所有键值对
		fmt.Printf("Key: %v, Value: %v\n", key, value)
		return true
	})
}

关于 golang 中的锁和并发编程相关的知识点，这里不在赘述，请后续关注文章 《Golang 并发编程》。

关于 golang 中 map 更多的知识点，请后续关注文章 《Golang 映射》。

🌺🌺🌺撒花！

如果本文对你有帮助，就点关注或者留个👍
如果您有任何技术问题或者需要更多其他的内容，请随时向我提问。

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2304688.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Docker入门及基本概念

Docker入门及基本概念

让我们从最基础的概念开始逐步理解。假设你已经准备好了docker 环境。 第一步&#xff0c;让我们先通过实际操作来看看当前系统中的镜像(images)和容器(containers)状态&#xff1a; docker images # 查看所有镜像 docker ps -a # 查看所有容器&#xff08;包括未运行…
阅读更多...
设备唯一ID获取,支持安卓/iOS/鸿蒙Next(uni-device-id)UTS插件

设备唯一ID获取,支持安卓/iOS/鸿蒙Next(uni-device-id)UTS插件

设备唯一ID获取 支持安卓/iOS/鸿蒙(uni-device-id)UTS插件 介绍 获取设备唯一ID、设备唯一标识&#xff0c;支持安卓&#xff08;AndroidId/OAID/IMEI/MEID/MacAddress/Serial/UUID/设备基础信息&#xff09;,iOS&#xff08;Identifier/UUID&#xff09;&#xff0c;鸿蒙&am…
阅读更多...
基于Springboot医院预约挂号小程序系统【附源码】

基于Springboot医院预约挂号小程序系统【附源码】

基于Springboot医院预约挂号小程序系统 效果如下&#xff1a; 小程序主页面 帖子页面 医生账号页面 留言内容页面 管理员主页面 用户管理页面 我的挂号页面 医生管理页面 研究背景 随着信息技术的飞速发展和互联网医疗的兴起&#xff0c;传统的医疗服务模式正面临着深刻的变…
阅读更多...
如何手动设置u-boot的以太网的IP地址、子网掩码、网关信息、TFTP的服务器地址,并进行测试

如何手动设置u-boot的以太网的IP地址、子网掩码、网关信息、TFTP的服务器地址,并进行测试

设置IP地址 运行下面这条命令设置u-boot的以太网的IP地址&#xff1a; setenv ipaddr 192.168.5.9设置子网掩码 运行下面这条命令设置u-boot的以太网的子网掩码&#xff1a; setenv netmask 255.255.255.0设置网关信息 运行下面这条命令设置u-boot的网关信息&#xff1a; …
阅读更多...
tortoiseGit的使用和上传拉取

tortoiseGit的使用和上传拉取

tortoiseGit的使用和上传拉取 下载TortoiseGit 通过网盘分享的文件&#xff1a;tortoiseGit.zip 链接: https://pan.baidu.com/s/1EOT_UsM9_OysRqXa8gES4A?pwd1234 提取码: 1234 在电脑桌面新建文件夹并进入 右击鼠标 将网址复制上去 用户名和密码是在git注册的用户名和…
阅读更多...
IDEA通过Maven使用JBLJavaToWeb插件创建Web项目

IDEA通过Maven使用JBLJavaToWeb插件创建Web项目

第一步&#xff1a;IDEA下载JBLJavaToWeb插件 File--->Settings--->Plugins--->Marketplace搜索: JBLJavaToWeb 第二步&#xff1a;创建普通Maven工程 第三步&#xff1a; 将普通Maven项目转换为Web项目
阅读更多...
【新手初学】SQL注入之二次注入、中转注入

【新手初学】SQL注入之二次注入、中转注入

二次注入 一、概念 二次注入可以理解为&#xff0c;攻击者构造的恶意数据存储在数据库后&#xff0c;恶意数据被读取并进入到SQL查询语句所导致的注入。 二、原理 防御者可能在用户输入恶意数据时对其中的特殊字符进行了转义处理&#xff0c;但在恶意数据插入到数据库时被处…
阅读更多...
【第四节】C++设计模式(创建型模式)-Builder(建造者)模式

【第四节】C++设计模式(创建型模式)-Builder(建造者)模式

目录 引言 一、Builder 模式概述 二、Builder 模式举例 三、Builder 模式的结构 四、Builder 模式的实现 五、Builder 模式的优缺点 六、总结 引言 Builder 模式是一种创建型设计模式&#xff0c;旨在将复杂对象的构建过程与其表示分离。通过一步步构建对象&#xff0c;…
阅读更多...
本地部署AI模型 --- DeepSeek（二）---更新中

本地部署AI模型 --- DeepSeek（二）---更新中

目录 FAQ 1.Failed to load the model Exit code: 18446744072635812000 FAQ 1.Failed to load the model Exit code: 18446744072635812000 问题描述&#xff1a; &#x1f972; Failed to load the model Error loading model. (Exit code: 18446744072635812000). Unkn…
阅读更多...
MariaDB 历史版本下载地址 —— 筑梦之路

MariaDB 历史版本下载地址 —— 筑梦之路

MariaDB 官方yum源里面只有目前在维护的版本&#xff0c;而有时候对于老项目来说还是需要老版本的rpm包&#xff0c;国内很多镜像站都是同步的官方仓库&#xff0c;因此下载老版本也不好找&#xff0c;这里主要记录下从哪里可以下载到历史版本的MariaDB rpm包。 1. 官方归档网…
阅读更多...
Qt中使用QPdfWriter类结合QPainter类绘制并输出PDF文件

Qt中使用QPdfWriter类结合QPainter类绘制并输出PDF文件

一.类的介绍 1.QPdfWriter介绍 Qt中提供了一个直接可以处理PDF的类&#xff0c;这就是QPdfWriter类。 &#xff08;1&#xff09;PDF文件生成 支持创建新的PDF文件或覆盖已有文件&#xff0c;通过构造函数直接绑定文件路径或QFile对象&#xff1b; 默认生成矢量图形PDF&#…
阅读更多...
使用 DeepSeek 生成流程图、甘特图与思维导图：结合 Typora 和 XMind 的高效工作流

使用 DeepSeek 生成流程图、甘特图与思维导图：结合 Typora 和 XMind 的高效工作流

在现代工作与学习中&#xff0c;可视化工具如流程图、甘特图和思维导图能够极大地提升信息整理与表达的效率。本文将详细介绍如何使用 DeepSeek 生成 Mermaid 文本&#xff0c;结合 Typora 快速生成流程图和甘特图&#xff0c;并通过 Markdown 格式生成思维导图&#xff0c;最终…
阅读更多...
Oracle 连接报错：“ORA-12541：TNS:no listener ”，服务组件中找不到监听服务

Oracle 连接报错：“ORA-12541：TNS:no listener ”，服务组件中找不到监听服务

一、 报错&#xff1a; navicat连接数据库报错&#xff1a;ORA-12541&#xff1a;TNS:no listener 二、排查问题 三、 解决问题 删除Oracle安装目录下选中的配置&#xff1a;listener.ora 及 listener*.bak相关的 cmd&#xff0c;用管理员打开 执行&#xff1a;netca 命…
阅读更多...
一文详解U盘启动UEFI/Legacy方式以及GPT/MBR关系

一文详解U盘启动UEFI/Legacy方式以及GPT/MBR关系

对于装系统的老手而说一直想研究一下装系统的原理&#xff0c;以及面对一些问题时的解决思路&#xff0c;故对以前的方法进行原理上的解释&#xff0c;主要想理解其底层原理。 引导模式 MBR分区可以同时支持UEFI和Legacy引导&#xff0c;我们可以看一下微pe制作的启动盘&#…
阅读更多...
计算机毕设-基于springboot的汽车配件销售管理系统的设计与实现（附源码+lw+ppt+开题报告）

计算机毕设-基于springboot的汽车配件销售管理系统的设计与实现（附源码+lw+ppt+开题报告）

博主介绍&#xff1a;✌多个项目实战经验、多个大型网购商城开发经验、在某机构指导学员上千名、专注于本行业领域✌ 技术范围&#xff1a;Java实战项目、Python实战项目、微信小程序/安卓实战项目、爬虫大数据实战项目、Nodejs实战项目、PHP实战项目、.NET实战项目、Golang实战…
阅读更多...
嵌入式八股文（五）硬件电路篇

嵌入式八股文（五）硬件电路篇

一、名词概念 1. 整流和逆变 &#xff08;1&#xff09;整流&#xff1a;整流是将交流电&#xff08;AC&#xff09;转变为直流电&#xff08;DC&#xff09;。常见的整流电路包括单向整流&#xff08;二极管&#xff09;、桥式整流等。 半波整流&#xff1a;只使用交流电的正…
阅读更多...
C语言番外篇（3）------------＞break、continue

C语言番外篇（3）------------＞break、continue

看到我的封面图的时候&#xff0c;部分读者可能认为这和编程有什么关系呢&#xff1f; 实际上这个三个人指的是本篇文章有三个部分组成。 在之前的博客中我们提及到了while循环和for循环&#xff0c;在这里面我们学习了它们的基本语法。今天我们要提及的是关于while循环和for…
阅读更多...
Mac下Python版本管理，适用于pyenv不起作用的情况

Mac下Python版本管理，适用于pyenv不起作用的情况

前言 声明&#xff1a;之前也在网上看到过可以使用pyenv来管理python版本&#xff0c;但由于作者的python安装路径实在是繁杂不堪&#xff0c;因此安装完成pyenv体验下来没有任何用处&#xff0c;但偶然发现vscode似乎可以看到各个python版本&#xff0c;因此写下这篇博客记录…
阅读更多...
网络安全知识--网络、网络安全产品及密码产品概述

网络安全知识--网络、网络安全产品及密码产品概述

&#x1f345; 点击文末小卡片 &#xff0c;免费获取网络安全全套资料&#xff0c;资料在手&#xff0c;涨薪更快 网络结构 网络设备&#xff1a;交换机、路由器、负载均衡 安全设备&#xff1a; 通信网络安全类:通信安全、网络监测与控制 区域边界安全类&#xff1a;隔离类…
阅读更多...
WiFi相关功能使用教程(wpa_supplicant及wpa_cli)

WiFi相关功能使用教程(wpa_supplicant及wpa_cli)

WiFi相关功能使用教程(wpa_supplicant及wpa_cli) 在之前的博客文中&#xff0c;我们已经成功交叉编译了wpa_supplicant和wpa_cli相关文件。 此篇文章中我们将介绍如何使用和配置WiFi模块。 先将生成的可执行文件拷贝到设备里 采用TFTP的方式拷贝到设备中并全都加上可执行权限…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023