哈希应用: 位图 + 布隆过滤器

news2024/12/24 9:25:53

文章目录

  • 哈希应用: 位图 + 布隆过滤器
    • 1. 位图
      • 1.1 提出问题
      • 1.2 位图概念
      • 1.3 位图实现
      • 1.4 位图应用
        • 1.4.1 变形题1
          • 代码
        • 1.4.2 变形题2
        • 1.4.3 找文件交集
          • 思路1
          • 思路2
        • 1.4.4 总结
      • 1.5 位图优缺点
    • 2. 哈希切割
    • 3. 布隆过滤器
      • 3.1 提出问题
      • 3.2 布隆过滤器概念
      • 3.3 布隆过滤器的各个接口
        • 3.3.1 布隆过滤器的插入
        • 3.3.2 布隆过滤器的查找
        • 3.3.3 布隆过滤器删除
      • 3.4 布隆过滤器的实现
      • 3.5 布隆过滤器的优缺点
      • 3.6 布隆过滤器的应用
        • 3.6.1 问题
        • 3.6.2 实例

哈希应用: 位图 + 布隆过滤器

1. 位图

1.1 提出问题

给40亿个不重复的无符号整数,没排过序。给一个无符号整数,如何快速判断一个数是否在这40亿个数中。

常见解决方式:

  1. 遍历,时间复杂度O(N)
  2. 排序(O(NlogN)),利用二分查找: logN

分析:

无论是法1还是法2,40亿个整数,每个整数4个字节,一共需要160亿字节,所占用空间是16GB,占用太多空间,所以上面的方法都是不可取的。因此我们提出了使用位图来解决问题。

速记: 1G ≈ 10亿字节

1.2 位图概念

所谓位图,就是用每一位来存放某种状态,适用于海量数据,数据无重复的场景。通常是用来判断某个数据存不存在的。比如: 如果二进制比特位为1,代表存在,为0代表不存在。

还是上面的问题,40亿个不重复的无符号整数,使用位图后就是40亿个比特位,40亿/8 = 5亿Byte,5亿Byte = 512MB,大大节省了空间。

我们无法开这么大的数组,但我们采用的是bit位的标记,即值是几,就把第几个位标记成1。

那么如何去找呢?实际上我们把数组的元素类型规定为char(int也可以),这样就可以通过如下的方式去找任意一个数:x

  • i = x / 8 计算x映射的位在第i个char数组的位置
  • j = x % 8 计算x映射的位在这个char的第j个比特位

比特位顺序问题:

事实上,比特位的顺序与机器的大小端(大小端是按照字节序的,一个char就是一个字节)无关,这里定义左边是高地址,右边是低地址(也可以右高左低),与我们平时习惯保持一致,也方便理解后续的操作

在这里插入图片描述

1.3 位图实现

对于位图的实现,主要是插入,删除,检测这3个功能,这3个功能的实现依赖的就是位运算

namespace yj
{
	template<size_t N>    //非类型模板参数
	class bitset
	{
	public:

		bitset()
		{
			_bits.resize(N / 8 + 1, 0);
		}

		bool test(size_t x)   //检测这个值是否存在
		{
			size_t i = x / 8;    
			size_t j = x % 8;

			return _bits[i] & (1 << j);
		}


		void set(size_t x)   //将某比特位置1
		{
			size_t i = x / 8;     //计算x映射的位在第i个char数组的位置
			size_t j = x % 8;     //计算x映射的位在这个char的第j个比特位

			_bits[i] |= (1 << j);
		}

		void reset(size_t x)  //将某比特位置0
		{
			size_t i = x / 8;     //计算x映射的位在第i个char数组的位置
			size_t j = x % 8;

			_bits[i] &= ~(1 << j);
		}

	private:
		vector<char> _bits;
	};
}

位图的结构是按照范围去开空间的,如果我们想要开满空间可以这样写:

void test_bitset2()   //开满的写法, 按照范围去开
{
    //两种写法均可
	yj::bitset<-1> bs1;
	yj::bitset<0xFFFFFFFF> bs2;      //整型的最大值
}

1.4 位图应用

1.4.1 变形题1

给定100亿个整数,设计算法找到只出现一次的整数?

对于此整数有三种状态:

  1. 出现0次 00
  2. 出现1次 01
  3. 出现2次及以上 10

因此,我们可以通过两个比特位来标记:此方式虽然可行,但需要第上述代码做出很大变动。那么我们可以采用另一种方式代表两个比特位,即以开两个位图的方式,每个位图的一个比特位组合成两个比特位进行标记:

代码
template<size_t N>
class twobitset
{
public:

	void set(size_t x)
	{
		// 00 -> 01
		if (_bs1.test(x) == false
			&& _bs2.test(x) == false)
		{
			_bs2.set(x);
		}
		else if (_bs1.test(x) == false
			&& _bs2.test(x) == true)
		{
			// 01 -> 10
			_bs2.reset(x);
			_bs1.set(x);
		}
		//10 -> 11
	}


	void Print()
	{
		for (int i = 0; i < N; ++i)   //找只出现1次的
		{
			if (_bs2.test(i))
			{
				cout << i << endl;
			}
		}
	}

private:
	bitset<N> _bs1;   //标记前一位
	bitset<N> _bs2;   //标记后一位
};

测试:

在这里插入图片描述

1.4.2 变形题2

位图应用变形:1个文件有100亿个int,1G内存,设计算法找到出现次数不超过2次的所有整数。

和第一题的思路相同,就是变形题1的变形题,开两个位图进行处理即可

对于此整数有三种状态:

  1. 出现0次 00
  2. 出现1次 01
  3. 出现2次 10
  4. 出现3次及以上 11

1.4.3 找文件交集

给两个文件,分别有100亿个整数,我们只有1G内存,如何找到两个文件交集?

虽然这里给了100亿个整数,但是整型最大值是42亿多,这就注定了,这里会存在大量重复数据

思路1

其中一个文件的值,读到内存的一个位图中,再读取另一个文件,判断在不在第一个位图中,在,就是交集

但是这里还会存在一定问题: 比如第一个文件中值是{1, 3, 6},第二个文件中值是{1, 2, 3, 1, 1, 6} 那这种方法找出的交集就是: {1, 3, 1, 1, 6} 即找出的交集存在重复的值,我们必须要对其再次去重才可以。

改进方法:

每次找到交集值,都将上面位图的值设置为0,可以解决找到交集有重复值的问题

此类方法适用于数据数量较少的问题,比如有10亿个数据

思路2

给两个位图,位图1和位图2,读取文件1的数据映射到位图1,读取文件2的数据映射到位图2,遍历检测这两个位图,如果该位既在位图1存在又在位图2存在就是交集

在这里插入图片描述

1.4.4 总结

  1. 快速查找某个数据是否在一个集合中
  2. 排序 + 去重
  3. 求两个集合的交集、并集等
  4. 操作系统中磁盘块标记

1.5 位图优缺点

优点: 速度快,节省空间

缺点: 只能映射整型,其他类型如: 浮点数,string等等不能存储映射

所以我们引出了布隆过滤器

2. 哈希切割

给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址?

用map显然是不行的,因为内存过大。位图同样不适用,因为找到出现次数最多的ip地址属于<key, value>的模型,而位图的功能是找在或者不在的问题,以及出现的次数是确定的问题,属于<Key, Key>的模型,所以与位图无关。

100个G显然放不进内存。因此我们要考虑将100G的文件细分成小文件,但是直接细分会导致统计不全,所以采用哈希切分的方式将HashFunc(ip)%500分成500个小的Ai号文件,这个ip就在第i个小文件中,依次处理每个小文件,使用一个unordered_map/map来统计ip出现的次数。

这里会现两种情况:

  1. 如果统计过程中,出现抛内存异常,则说明单个小文件过大,冲突太多,需要重新更换哈希函数,再次哈希切分这个小文件。
  2. 如果没有抛异常,则正常统计。统计完1个小文件,记录最大的。清空(clear),再统计下一个小文件。

总结特点: 相同的ip一定会进入相同的小文件,读取单个文件,就可以统计ip出现的次数

与上题条件相同,如何找到top K的IP?如何直接用Linux系统命令实现?

我们可以建一个小堆来实现,堆中存放的是pair键值对,其中key是ip,value是次数

3. 布隆过滤器

3.1 提出问题

我们在使用新闻客户端看新闻时,它会给我们不停地推荐新的内容,它每次推荐时要去重,去掉那些已经看过的内容。问题来了,新闻客户端推荐系统如何实现推送去重的? 用服务器记录了用户看过的所有历史记录,当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选,过滤掉那些已经存在的记录。 如何快速查找呢?

  1. 用哈希表存储用户记录,缺点:浪费空间
  2. 用位图存储用户记录,缺点:位图一般只能处理整形,如果内容编号是字符串,就无法处理了。
  3. 将哈希与位图结合,即布隆过滤器

3.2 布隆过滤器概念

布隆过滤器是由布隆(Burton Howard Bloom)在1970年提出的 一种紧凑型的、比较巧妙的概率型数据结构,特点是高效地插入和查询,可以用来告诉你 “某样东西一定不存在或者可能存在”,它是用多个哈希函数,将一个数据映射到位图结构中。此种方式不仅可以提升查询效率,也可以节省大量的内存空间。

比如这样的问题: 将以下字符串映射到各个比特位,但字符串数量较小时可能不会出现冲突,但是一旦来了一个新的字符串就可能会出现冲突,此时要如何解决呢?

在这里插入图片描述

首先要明白冲突是一定会存在的,我们要考虑降低冲突的概率

一个值映射一个位置,容易误判;一个值映射多个位置,就可以降低误判率

上面的问题,我们可以考虑每个值映射2个位置

在这里插入图片描述

但是还可能会存在冲突,我们发现:

  • 在,不准确,会存在误判。

  • 不在,是准确的。

可能存在是因为映射可能出现重复,即产生冲突,这是布隆过滤器无法避免的,但是可以通过增加HashFunc的映射次数从而降低冲突引起的误判率。

很显然,过小的布隆过滤器很快所有的 bit 位均为 1,那么查询任何值都会返回“可能存在”,起不到过滤的目的了。布隆过滤器的长度会直接影响误报率,布隆过滤器越长其误报率越小。

另外,哈希函数的个数也需要权衡,个数越多则布隆过滤器 bit 位置位 1 的速度越快,且布隆过滤器的效率越低;但是如果太少的话,那我们的误报率会变高。

k 为哈希函数个数,m 为布隆过滤器长度,n 为插入的元素个数,p 为误报率

在这里插入图片描述

如何选择适合业务的 k 和 m 值呢,这里直接贴一个公式:k = m ∗ l n 2 / n k = m*ln2 / nk=m∗ln2/n

可以看出,当k=3时,m≈4.2*n。因此,下面代码中我们采用6N大小的布隆过滤器长度无疑是非常合适的。

3.3 布隆过滤器的各个接口

3.3.1 布隆过滤器的插入

在这里插入图片描述

向布隆过滤器中插入:“baidu”

在这里插入图片描述

3.3.2 布隆过滤器的查找

布隆过滤器的思想是将一个元素用多个哈希函数映射到一个位图中,因此被映射到的位置的比特位一定为1。所以可以按照以下方式进行查找:分别计算每个哈希值对应的比特位置存储的是否为零,只要有一个为零,代表该元素一定不在哈希表中,否则可能在哈希表中

注意:布隆过滤器如果说某个元素不存在时,该元素一定不存在,如果该元素存在时,该元素可能存在,因为有些哈希函数存在一定的误判。
比如:在布隆过滤器中查找"alibaba"时,假设3个哈希函数计算的哈希值为:1、3、7,刚好和其他元素的比特位重叠,此时布隆过滤器告诉该元素存在,但实该元素是不存在的。

3.3.3 布隆过滤器删除

布隆过滤器不能直接支持删除工作,因为在删除一个元素时,可能会影响其他元素。

比如:删除上图中"tencent"元素,如果直接将该元素所对应的二进制比特位置0,“baidu”元素也被删除了,因为这两个元素在多个哈希函数计算出的比特位上刚好有重叠。
一种支持删除的方法:将布隆过滤器中的每个比特位扩展成一个小的计数器,插入元素时给k个计数器(k个哈希函数计算出的哈希地址)加一,删除元素时,给k个计数器减一,通过多占用几倍存储空间的代价来增加删除操作。

缺陷:

  1. 无法确认元素是否真正在布隆过滤器中。
  2. 存在计数回绕。

3.4 布隆过滤器的实现

仿函数实现的参考:

各种字符串Hash函数 - clq - 博客园 (cnblogs.com)

struct BKDRHash
{
	size_t operator()(const string& s)
	{
		size_t hash = 0;
		for (auto ch : s)
		{
			hash += ch;
			hash *= 31;
		}
		return hash;
	}
};

struct APHash
{
	size_t operator()(const string& s)
	{
		size_t hash = 0;
		for (long i = 0; i<s.size(); i++)
		{
			size_t ch = s[i];
			if ((i & 1) == 0)
			{
				hash ^= ((hash << 7) ^ ch ^ (hash >> 3));
			}
			else
			{
				hash ^= (~((hash << 11) ^ ch ^ (hash >> 5)));
			}
		}
		return hash;
	}
};

struct DJBHash
{
	size_t operator()(const string& s)
	{
		register size_t hash = 5381;
		for(auto ch:s)
		{
			hash += (hash << 5) + ch;
		}
		return hash;
	}
};


template<size_t N, class K = string, 
	class Hash1= BKDRHash, class Hash2= APHash, class Hash3= DJBHash>  //K是存放的类型
class BloomFilter
{
public:
	void set(const K& key)
	{
		size_t len = N * _X;

		size_t hash1 = Hash1()(key) % len;
		_bs.set(hash1);

		size_t hash2 = Hash2()(key) % len;
		_bs.set(hash2);

		size_t hash3 = Hash3()(key) % len;
		_bs.set(hash3);

		//cout << hash1 << " " << hash2 << " " << hash3 << " " << endl;
	}

	bool test(const K& key)
	{
		size_t len = N * _X;

		size_t hash1 = Hash1()(key) % len;
		if (!_bs.test(hash1))
		{
			return false;
		}

		size_t hash2 = Hash2()(key) % len;
		if (!_bs.test(hash2))
		{
			return false;
		}

		size_t hash3 = Hash3()(key) % len;
		if (!_bs.test(hash3))
		{
			return false;
		}

		//在    不准确的, 存在误判
		//不在  准确的

		return true;
	}

private:
	static const size_t _X = 6;  
	bitset<N*_X> _bs;
};

3.5 布隆过滤器的优缺点

优点:

  • 增加和查询元素的时间复杂度为:O(K), (K为哈希函数的个数,一般比较小),与数据量大小无关
  • 哈希函数相互之间没有关系,方便硬件并行运算
  • 布隆过滤器不需要存储元素本身,在某些对保密要求比较严格的场合有很大优势
  • 在能够承受一定的误判时,布隆过滤器比其他数据结构有这很大的空间优势
  • 数据量很大时,布隆过滤器可以表示全集,其他数据结构不能
  • 使用同一组散列函数的布隆过滤器可以进行交、并、差运算

缺点:

  • 有误判率,即存在假阳性(False Position),即不能准确判断元素是否在集合中(补救方法:再建立一个白名单,存储可能会误判的数据)
  • 不能获取元素本身
  • 一般情况下不能从布隆过滤器中删除元素
  • 如果采用计数方式删除,可能会存在计数回绕问题

3.6 布隆过滤器的应用

3.6.1 问题

给两个文件,分别有100亿个query,我们只有1G内存,如何找到两个文件交集?分别给出精确算法和近似算法

  • 近似算法:使用布隆过滤器,先将其中一个文件set进布隆过滤器中,再将另一个文件的数据进行比对,可以淘汰一定不是交集的那部分,不过余下的那部分数据中,仍会有非交集的存在。
  • 精确算法:使用哈希切分,将两个大文件分别切成一个个小文件A0-A999,B0-B999(单个小文件超过1G参照上文哈希切分对于此问题的解决方法);因为使用的是相同的哈希函数,所以A和B相同query字符串会进入编号相同的小文件,那么交集必定存在于A0和B0,A1和B1等这种相同下标的小文件中。但是由于不是平均切分可能会出现冲突多使Ai,Bi小文件过大。此时有两种情况: 单个文件中有某个大量重复的query;单个文件中有大量不同的query。这时直接使用一个unordered_set/set,依次读取文件query,插入到set中,若读取整个小文件query都可以成功插入set,那么说明是情况1;若读取整个小文件query,插入过程中抛异常则是情况2需要更换哈希函数,再次分割,再求交集。求交集: 将Ai号小文件query放入set中,Bi小文件query去比对看是否在这个set中,在就是交集。

在这里插入图片描述

3.6.2 实例

在这里插入图片描述

判断昵称是否使用过: 直接把昵称放入布隆过滤器中,查找结果不在,则是准确的;查找结果在,那就会存在误判,但只要误判率不高,这里可以接受。

判断手机号是否使用过: 在客户端和数据库之间建立一个布隆过滤器,如果通过布隆的结果发现没有找到,那么一定不在,也就不用继续向数据库中查找了。如果在,那么就需要进数据库中一一查找,因为布隆对于找到的值是不一定存在的。所以通过布隆可以提高数据不在时查找的效率。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/579715.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

MySQL---优化(insert、order by 、group by 、limit、子查询)

1. insert语句优化 当进行数据的insert操作的时候&#xff0c;可以考虑采用以下几种优化方案: -- 如果需要同时对一张表插入很多行数据时&#xff0c;应该尽量使用多个值表的insert语句&#xff0c;这种方式将大大的缩减 -- 客户端与数据库之间的连接、关闭等消耗。使得效率比…

R-Meta分析与【文献计量分析、贝叶斯、机器学习等】多技术融合实践与拓展

Meta分析是针对某一科研问题&#xff0c;根据明确的搜索策略、选择筛选文献标准、采用严格的评价方法&#xff0c;对来源不同的研究成果进行收集、合并及定量统计分析的方法&#xff0c;最早出现于“循证医学”&#xff0c;现已广泛应用于农林生态&#xff0c;资源环境等方面。…

ARM体系结构

目录 ARM体系架构 一、ARM公司概述 二、ARM产品系列 三、指令、指令集 指令 指令集 ARM指令集 ARM指令集 Thumb指令集 &#xff08;属于ARM指令集&#xff09; 四、编译原理 五、ARM数据类型 字节序 大端对齐 小端对齐 六、ARM工作模式 1.AR…

Java中synchronized锁的深入理解

使用范围 synchronized使用上用于同步方法或者同步代码块在锁实现上是基于对象去实现使用中用于对static修饰的便是class类锁使用中用于对非static修饰的便是当前对象锁 synchronized的优化 在jdk1.6中对synchronized做了相关的优化 锁消除 在synchronized修饰的代码块中…

如何实现局域网下设备之间的互通互联和外网访问?

两台电脑怎么在同一路由下访问共享文件夹&#xff1f;两台不同系统的电脑在同一个路由器下访问共享文件夹进行数据共享&#xff0c;从本质上说就是在同一个局域网下设备之间的互通互联&#xff0c;这就需要我们搭建一个内网文件共享服务器来实现此功能 &#xff0c;比如常见的W…

linux系统中通配符与常用转义字符

通配符 在平时我们使用使用linux系统的过程中会遇到忘记文件名称的问题&#xff0c;这时候呢&#xff0c;通配符就发挥它的作用啦。 顾名思义啦&#xff0c;通配符就是用来匹配信息的符号&#xff0c;如何&#xff08;*&#xff09;代表零个或多个字符&#xff0c;&#xff08;…

Unity烟花特效实现(附源码)

Unity烟花特效 附代码 写在前面效果代码地址核心步骤 写在后面 写在前面 朋友过生&#xff0c;不知道送什么礼物&#xff0c;就想着用自己所学知识做个特效当礼物吧&#xff0c;嘿。 主要参考了 这位up的视频 &#xff0c;感谢 效果 代码地址 https://github.com/hahahappyb…

【LeetCode热题100】打开第5天:最长回文子串

文章目录 最长回文子串⛅前言&#x1f512;题目&#x1f511;题解 最长回文子串 ⛅前言 大家好&#xff0c;我是知识汲取者&#xff0c;欢迎来到我的LeetCode热题100刷题专栏&#xff01; 精选 100 道力扣&#xff08;LeetCode&#xff09;上最热门的题目&#xff0c;适合初识…

linux高级---k8s中的五种控制器

文章目录 一、k8s的控制器类型二、pod与控制器之间的关系三、状态与无状态化对特点四、Deployment1、Deployment的资源清单文件2、在配置清单中调用deployment控制器3、镜像更新4、金丝雀发布5、删除Deployment 五、Statefulset六、DaemonSet1、daemonset的资源清单文件2、在配…

车载T-BOX

Telematics BOX&#xff0c;简称车载T-BOX&#xff0c;车载T-BOX主要用于和后台系统/手机APP通信&#xff0c;实现手机APP的车辆信息显示与控制 目录 1、车载T-BOX的定义 2、车载T-BOX的主要功能 2.1、数据采集和存储 2.2、远程查询和控制 2.3、道路救援 2.4、故障诊断 …

vue2_计算属性

目录 计算属性 计算属性缓存vs方法 计算属性vs侦听属性 getter和setter 计算属性和监听器 前端调用api实现问答 侦听器 计算属性 鉴于能在插值表达式中写js表达式&#xff1b;这样做也一定程度上违背了设计插值表达式的初衷&#xff1b;特别是&#xff1a; 其实就相当于…

nginx(七十九)rewrite模块指令再探

一 rewrite模块再探 ① 知识回顾 1) 结合自己遇到过的案例场景2) 关注一些易错点、难点3) 本文内容很杂,建议读者选取感兴趣的阅读 rewrite模块 rewrite功能 ② nginx中利用if 等价&&多条件 需求背景&#xff1a; 1) nginx不支持&&、||、and、or等逻辑…

设备描述符

前言 一直以来对设备描述符这个概念云里雾里的&#xff1a; 什么是设备描述符&#xff1f;设备描述符是个结构体还是结构体指针&#xff1f;为什么要有设备描述符&#xff1f;设备描述符的作用&#xff1f;设备描述符是根据什么定义的&#xff1f; 启发 今天看《Linux那些事…

【喜闻乐见,包教包会】二分图最大匹配:匈牙利算法(洛谷P3386)

&#x1f3ad;不要管上面那玩意。。。 引入 现在&#xff0c;你&#xff0c;是一位酒店的经理。 西装笔挺&#xff0c;清瘦智慧。 金丝眼镜&#xff0c;黑色钢笔。 大理石的地板&#xff0c;黑晶石的办公桌&#xff0c;晶莹的落地玻璃。 而现在&#xff0c;有几个雍容华贵的…

Spring高手之路——深入理解与实现IOC依赖查找与依赖注入

本文从xml开始讲解&#xff0c;注解后面给出 文章目录 1. 一个最基本的 IOC 依赖查找实例2. IOC 的两种实现方式2.1 依赖查找&#xff08;Dependency Lookup&#xff09;2.2 依赖注入&#xff08;Dependency Injection&#xff09; 3. 在三层架构中的 service 层与 dao 层体会依…

Opencv(图像处理)-基于Python-绘图功能

1.介绍2. line()3.rectangle()4.circle()5. ellipse()6.polylines()7.fillPoly()8. putText()代码示例9.用鼠标在图片上作图 1.介绍 OpenCV为开发者还提供了绘图功能&#xff0c;我们可以通过函数来实现在图片上作图。 2. line() 画线 cv2.line(img&#xff0c;开始点&#x…

G0第23章:GORM基本示例、GORM Model定义、主键、表名、列名的约定

04 GORM基本示例 注意: 本文以MySQL数据库为例&#xff0c;讲解GORM各项功能的主要使用方法。 往下阅读本文前&#xff0c;你需要有一个能够成功连接上的MySQL数据库实例。 Docker快速创建MySQL实例 很多同学如果不会安装MySQL或者懒得安装MySQL&#xff0c;可以使用一下命令…

STL好难(3):vector的使用

目录 1.vector的介绍和使用 2.vector的常见构造&#xff1a; 3.vector的遍历方式 &#x1f349;[ ] 下标 &#x1f349;通过迭代器进行访问&#xff1a; &#x1f349;范围for&#xff1a; 4.vector的迭代器 &#x1f349;begin 和 end &#x1f349;rbegin 和 rend …

【论文阅读】Densenet:Densely Connected Convolutional Networks 密集连接的卷积网络

文章目录 前言一、摘要二、网络架构2.1. densenet2.2. dense block2.3 与resnet对比2.4 pytorch代码 三.实验结果四.结论 前言 从今天开始总结一下之前看的一些深度学习相关的论文。 今天的这篇还是比较经典的论文&#xff1a;密集连接网络。在很多国内的硕士毕业论文里都出现…

XDP入门--eBPF程序实现网桥/二层交换机转发功能

本文目录 1、试验环境2、eBPF字节码源代码实现3、用户态应用层管理与控制程序的源代码实现4、编译与运行5、测试结果 我们在此文的进阶部分 或者 此文中已经描述了如何设置Linux网桥&#xff0c;并将多个以太接口加入网桥后实现一个最基本的二层交换机的二层交换转发功能。Linu…